海南省干部教育培訓項目質量評估研究

海南行政學院 劉利波

開展干部教育培訓項目質量評估研究是落實中央和省委關于干部教育培訓工作新精神、新要求的重要舉措，是提升干部教育培訓質量的有效手段，也是加強干部教育培訓機構自身建設的客觀需要。開展干部教育培訓項目質量評估研究，有利于對海南省的培訓項目進行考核測評，有利于優化培訓設計，提高干部教育培訓的針對性和實效性，進一步引導培訓機構推動教學改革、提高辦學水平、加強自身建設。

一、國內外干部教育培訓項目評估工作概況

按照目前國內外通用的評估做法，干部教育培訓項目質量評估主要是對培訓項目各個環節的評估，主要包括對培訓設計、培訓實施、培訓管理、培訓效果的評估，不涉及對培訓機構硬件的測評。

（一）從國外情況來看

歐美發達國家在公務員培訓項目評估方面的制度相對成熟和完善，其中較有代表性的是美國模式、法國模式、英國模式和加拿大模式。如美國公務員培訓把培訓項目作為一種投資，注重對培訓過程進行評估，有一套完整的系統量化評估表，培訓效果評估注重對培訓后業績的評估，并注重分析培訓的收益和成本。法國公務員培訓注重評估過程的完整性，每個培訓機構都通過完善的培訓評估不斷提高培訓質量，重視對培訓結果的應用，將培訓考評的結果如實記入培訓檔案，作為職務晉升、工資和職位調整的重要依據。英國公務員培訓建立了有效的培訓評估機制，實行培訓評估主體外部化，有完整的培訓評估循環系統，在培訓前、培訓中、培訓后分別進行評估，各環節相互銜接，相互結合。加拿大公務員培訓將量化評估貫穿于培訓項目始終，其評估框架包括三個部分：對培訓對象的需求進行評估、課程效率評估、課程效益評估等。

（二）從國內情況來看

干部教育培訓項目評估工作起步較晚，2003年人力資源和社會保障部印發《關于進一步加強國家公務員培訓質量評估工作的意見》后，我國才初步確定了干部教育培訓項目評估的主體、目標原則和相對完整的評估內容，個別省市和系統才開始在干部教育培訓項目評估辦法和指標體系方面有了嘗試。另外，我國在這方面系統性、針對性的研究甚少，相關研究大多是基于國外理論，再根據中國國情和培訓評估實踐，對國外經典模型進行各有重點的修正。目前積極探索開展這方面工作的省市有重慶、廣西、貴州、河南、江西、天津、上海、江蘇、甘肅等地。其中，重慶、廣西的干部教育培訓評估工作走在了全國前列。如，重慶出臺了《重慶市國家公務員培訓質量評估辦法》，規定培訓項目從培訓方案、培訓實施、培訓保障和培訓效果等4個方面進行評估，設定評估指標20個，每項評估指標分優、良、中、差4個等級。廣西先后出臺了《關于開展在職干部全員培訓評估工作的通知》《廣西在職干部全員培訓評估方案》等指導文件，將培訓項目評估作為經常性工作來抓，其重點抓好三方面工作：一是對教學質量進行雙向評估，主要是在黨校建立了主體班教學質量評估制度，學員和教師互評；二是對項目實施過程中的組織管理進行動態評估，邊評邊改；三是對學習效果進行追蹤評估。

（三）從海南情況來看

近年來一直在積極采取各種措施推動干部教育培訓項目質量評估工作：一是不斷完善培訓評估的方式方法。省委組織部先后成立督查組對部分市縣和省直單位進行實地抽查；派出跟班管理員參與培訓項目指導培訓工作；向學員發放“評估表”進行隨機檢查；督促市縣黨委組織部、有關培訓機構提交培訓情況報告，等等。二是在境外培訓項目、干部選學和省委黨校主體班次的評估工作中嘗試構建指標體系。如在境外培訓項目評估方面，專門設計了供學員填寫的《海南省委組織部境外培訓班項目質量評估表》（見表1），將培訓設計、培訓實施、培訓管理和培訓效果等4項作為評估內容，并分設了11個評估指標，5個評價等級。

在干部選學評估方面，面授類課程統一采用省委組織部制作的《海南省干部選學工作質量評估表》，對教學質量和培訓機構這兩方面進行評估。對教學質量的評估包括理論闡述、聯系實際、講課藝術、課件制作等內容，對培訓機構的評估包括課前準備、組織教學、師資水平、學員管理等內容，均設4個評估等級。而網上選學則針對課程（課件）的質量進行評價。在省委黨校主體班次培訓項目評估方面，每個主體培訓班次結束時給學員發放《教學滿意度學員測評表》，對每個課程進行綜合滿意度測評。三是開展與評估工作相關的課題研究。2012年海南省委黨校開展了評估市縣黨校的調研工作，形成了專題調研報告，報告中提出了市縣黨校辦學水平評估指標要目、等級標準、科研成果賦分等級、結果等級標準等評估指標體系。在這套評估指標中，一級指標、二級指標和主要觀測點，及其對應的參考權重（分值）一應俱全，等級標準則分設為3個。2013年臨高縣黨委組織部自發開展了培訓效果評估問題研究，設計出《臨高縣干部教育培訓效果評估指標體系（試行）》，含5個一級指標和21個二級指標，每個二級指標設4個等級，每一等級對應相應分值，評估結論分4種。總的來說，通過近幾年的探索和實踐，海南省干部教育培訓項目評估工作取得了一定的成效，評估內容基本涵蓋了課程設置、教師授課水平、教學管理、教學效果等方面，有效地提升了海南省干部教育培訓的質量和效益。

二、海南省干部教育培訓項目質量評估存在的問題

（一）評估理念較滯后

一方面，培訓機構普遍存在評估理念落后，對通過培訓項目評估促進自身辦學水平提高的重要性認識不足，評估工作組織不科學、不嚴密，對評估結果的運用重視不夠。另一方面，各單位領導、干部教育工作者、參訓學員對培訓項目評估思想不夠重視，認識不到位。如一些干部教育工作者認為培訓的流程就是：接受上級的培訓任務→制訂培訓計劃→實施培訓→頒發畢（結）業證書，而對培訓的評估及培訓效果沒有足夠的認識；一些學員對于培訓項目評估的態度比較模糊，認為培訓項目評估與自己關系不大，參與積極性不高。問卷調查顯示，近三年來有38%的學員參加培訓時沒有對項目進行評估，對項目設計進行評估的僅有13%，對教師授課、課程設置、培訓管理、培訓效果進行評估的不足五成。

（二）評估標準不科學

調研發現，干部教育培訓項目評估標準存在偏差。有的培訓機構、委托辦學單位或干部教育工作者錯誤地把投入多少作為評估標準，以培訓規模大小、培訓時間長短、培訓頻率、投入經費多少為標準來衡量培訓情況，認為時間越長，規模越大，投入經費和人力越多，班次越多，培訓成效就越好，而并非以培訓效果、參訓學員能力素質的提升和組織績效的提升來衡量培訓效果；有的片面地把評估認同為對教學的評估，即只是對教學內容、教學組織、教學方式的評估，甚至只是理解為學員對教師的滿意度評估，而忽視對學員的學習收獲、工作績效的提高及對組織推動作用的評估，忽視了教學對組織需求、崗位需求、個人需求滿足程度的評估。

（三）評估主體較單一

目前我省干部教育培訓評估主體主要有三個，分別是組織部門負責干部教育培訓工作的處（科）室（如，省委組織部干部培訓處）、培訓機構（如，省委黨校）和參訓學員。除此之外，學員所在單位、教師、第三方評估機構等其他相關人員未能參與到培訓評估工作中。單一的評估主體有其難以克服的局限性。一是評估主體的專業化程度不高。無論是培訓主管部門還是培訓機構，既沒有專門的評估領導機構，也缺乏專門人員、專項經費，時間、精力等方面受到限制，開展評估工作不夠專業化。二是評估信息收集不全面，評估結果的可信度與效度不高。評估方式單向運作，缺乏學員自我評估、教師評估、培訓機構內部評估、社會評估，因此得到的信息較為片面。三是評估結果的公平性、公正性受質疑。培訓機構自評，既是運動員、又是裁判員；一些評估人員出于自身利益考慮，輕描評估結果的消極方面，重墨積極方面；一些學員也基于面子或者其他考慮，在評估過程中會給予教師、課程高于實際的打分。

（四）評估內容不全面

經調研，海南省委黨校和海南省委組織部組織實施的各類培訓項目中，普遍開展了課程評估，了解教師的教學態度、教學內容、教學方法、教學效果等情況，但是對教學計劃設計、計劃實施的程度、教輔資料、設備設施、教學環境的評估幾近缺失。一是沒有對培訓需求調研作評估。對于是否開展了培訓需求調研工作，未納入評估范疇，調研內容是否全面、方式是否科學更無從談及。二是沒有對培訓計劃設計作評估。好的設計是成功的一半。對于教學目標設定是否合理、課程安排是否突出針對性、培訓資料選擇是否得當、培訓方式方法選擇是否科學、學制長短是否妥當等都沒有評估。三是沒有對培訓管理者的管理作評估。沒有對班主任、項目負責人、跟班組織員、教學教務負責人等培訓項目管理人員的工作情況作評估。四是對培訓效果評估不全面。如在培訓中，沒有對學員的學習狀況、分組討論的效果進行評估。培訓結束后，沒有對學員所提交的心得體會、班級總結報告的質量進行評估，沒有對學員返回工作單位后的學用結合情況進行評估。另外，也沒有對學員所在單位對學員參訓效果的評價進行評估。

（五）指標體系不完備

目前，我國尚未建立起一套適用于干部教育培訓的完整的評估指標體系。海南省開展干部教育培訓項目評估時運用的評估指標，存在兩方面的突出問題：一是評估指標操作性不強。指標體系粗放、簡單、不完整，以課堂滿意度評價為主，對培訓需求、培訓設計和培訓管理的評估缺失。指標體系無法覆蓋全部教學環節，反饋信息有限，可操作性不強。二是評估指標科學性不足。定性指標多，定量指標少，“長官意志”起重要作用，主觀色彩濃重。在權重分值設置上靠經驗、拍腦袋，沒有運用統計學、模糊數學、層次分析等方法做數理支撐。

（六）評估制度不健全

科學完善的評估制度是有效開展干部教育培訓評估工作的重要保證。與國外相比，我國干部教育培訓項目質量評估還處于探索發展階段，沒有明確的規章制度或相應的辦法文件，對評估的周期、程序、使用方法等都缺乏指導性意見。盡管《2013—2017年全國干部教育培訓規劃》《公務員法》等中央文件都對干部教育培訓評估作了規定，但都較為宏觀，不利于具體操作。以《干部教育培訓工作條例》為例，條文中分別對培訓機構評估、培訓項目評估、課堂評估的評估主體、評估內容、結果運用等作了簡要規定，但未對評估目標、評估原則、評估對象、評估內容、評估流程、評估方法、評估工具作相應的規范或細則說明。從海南省實踐來看，較少有地方建立干部教育培訓評估的配套規章制度，沒有相應的經費保障制度、獎勵激勵制度，尤其是評估結果對培訓機構評優、整改沒有直接聯系，對相關責任人的職級晉升、轉崗、薪酬待遇沒有直接聯系。

（七）評估結果運用不到位

當前，海南省干部教育培訓評估結果沒有得到很好的運用，不能有效發揮對學員、教師、培訓機構等主體的推動、督導作用。一是評估結果不分析、不反饋。沒有對評估結果進行有效分析、撰寫評估報告，也沒有選用適當的形式公布，沒有及時向干部教育培訓主管部門、教師、學員、學員所在單位進行反饋，導致干部教育培訓主管部門不能掌握培訓效果、教師不知道授課效果、學員及所在單位不知道學習效果，而是將評估結果束之高閣。二是評估結果與改進工作聯系不夠緊密。對評估中發現的問題，沒能在以后的培訓項目設計、教學、管理、考核和后勤保障等環節中加以改進，培訓機構沒有認真將有關評估結果作為加強和改進自身建設、提高辦學能力的依據。三是評估結果沒有與干部的激勵獎懲掛鉤。國外公務員培訓評估多將評估結果與晉升、錄用、獎懲等聯系起來。例如美國規定，公務員晉升之前必須進行兩周培訓，評估合格方可晉升。法國規定，按照學習成績排名，由學員自己選擇公職部門提供的空缺崗位。培訓項目的評估結果與干部的考核、評優、工資待遇、晉升等人事管理脫節，會導致大家對參與評估的積極性不高，影響評估結果的真實性和有效性。

三、加強海南省干部教育培訓項目質量評估的對策

針對以上情況，構建海南省科學、合理、有效的干部教育培訓項目質量評估體系要著力解決“為啥評，誰來評，評什么，怎樣評，如何用”等方面的問題。

（一）強化干部教育培訓評估理念

認識是行動的基礎和先導。做好干部教育培訓項目質量評估工作，必須要有正確的工作態度和理念，要通過培訓、會議、文件、考評等多種途徑加強和提升認識。一是要充分認識到評估工作的重要性。無論是培訓機構還是主管部門都要認識到干部教育培訓項目評估既是科學管理培訓項目的必要手段，也是提升培訓效果、適應新形勢發展的客觀要求，更是提高培訓項目質量的重要途徑。二是要認識到開展培訓項目質量評估的必要性。開展培訓項目質量評估，不僅有利于干部教育培訓主管部門宏觀統籌培訓工作，還可以增強培訓機構的工作動力和提升學員的學習效果。各級干部教育培訓主管部門和培訓機構都應予以高度重視，將干部教育培訓項目評估落到實處。

（二）構建項目質量評估主體

“誰來評”就是要科學界定評估的主體，要保證項目質量評估公正、客觀，就應該構建多元的評估主體。一是構建“自評”的評估主體。培訓機構可以組建有分管領導和相關部門負責人為主體的評估工作領導小組，對照評估要求、內容、指標開展自評，查找問題，改進不足。二是構建“他評”的評估主體。培訓機構可邀請非本地區、非本單位具有干部教育培訓評估經驗的專家組成評估組，進行檢查評估，也可以由各級干部教育培訓主管部門邀請第三方評估機構定期或不定期對培訓項目進行評估。三是構建“上評”的評估主體。由省委組織部牽頭，邀請各級黨校、行政學院、有關培訓機構的專家成立海南省干部教育培訓項目評估工作指導委員會，負責組織、指導、協調、監督、檢查全省干部教育培訓項目質量評估工作。各市縣黨委組織部也可參照此做法，成立本級干部教育培訓項目評估工作指導委員會。構建多元化的評估主體，既有利于培訓機構及時查找整改問題，又有利于培訓主管部門有效地加強監督管理。

（三）明確項目質量評估內容

“評什么”非常關鍵，就好像“指揮棒、方向標”，會對培訓機構起到至關重要的指導、約束、監督作用。從培訓項目的實際運作流程考慮，課題組認為應當按“培訓設計、培訓實施、培訓管理、培訓效果”四個大項分類來設計評估內容，并在此基礎上設計“需求調研、培訓計劃、經費保障、教學內容、授課教師、培訓資料、授課方式方法、教學設施設備、學員管理、項目管理、教學信息管理、學員學習成果、學員滿意度、教師滿意度、學員所在單位滿意度”等15項評估內容。這些評估內容不僅覆蓋培訓的“教、學、管”全過程，而且是培訓過程中的關鍵環節，可以真實地反映培訓項目的全貌和質量等級。

（四）確定項目質量評估指標

指標是量化的標準，評估指標體系的設計是“評什么”的具體化，是評估的參考和依據，可以說是整個評估的重中之重。對照培訓項目要評估的內容，可以將“培訓設計、培訓實施、培訓管理、培訓效果”作為一級評估指標，在此基礎上分解出二級評估指標，并列出各項指標評估的要點和比分權重，將指標進行分解、細化。設計整體指標時，要著重考慮培訓設計是否量身打造、合理可行，培訓實施是否規范嚴謹、組織嚴密，培訓管理是否科學有序、嚴格到位，培訓效果是否達到預期目的，等等。

（五）建立項目質量評估機制

“怎么評”決定了培訓項目評估工作開展是否能夠正常、良性運轉，是否能夠達到預期的目標和效果。從工作機制上看，開展干部教育培訓項目評估應抓好以下幾項工作：一是正式出臺評估辦法。如可以研究制定《海南省干部教育培訓項目質量評估實施辦法》，對評估目的、評估范圍、評估原則、評估時間、評估內容、評估組織、評估實施、評估結果等要素作出詳細具體、易操作、實用性強的規定，為評估工作開展提供制度保障。二是組建評估隊伍。根據上述提到的“自評、他評、上評”不同評估主體，由各級培訓主管部門、培訓機構、委托辦班單位等組建評估團隊，培訓評估骨干，承擔評估工作。三是開發評估軟件。參照《海南干部選拔任用紀實監督系統》的做法，運用信息化技術創新評估手段，解決評估信息收集難的問題，擴大評估的覆蓋面，以便了解全省干部教育培訓有關信息，加強工作指導。四是保障評估經費。建議各級培訓主管部門和培訓機構應該將評估工作經費納入培訓經費的總盤子，列入年度財政預算，予以保障。

（六）用好項目質量評估結果

評估是手段，其目的是改進工作、確保質量。因此，必須解決好“如何用”的問題。課題組認為，為有效運用評估結果，應建立以下幾項制度：一是結果反饋制度。無論是“自評”“他評”還是“上評”，評估結果都應該以適當的方式在一定范圍內反饋，必要時可以下發文件進行通報，促進培訓機構和相關部門就存在問題進行整改。二是整改幫扶制度。干部教育培訓主管部門要認真指導培訓機構研究評估結果，對好的方面予以肯定，對存在的問題要分析研究，提出整改措施。必要時可以在培訓機構之間開展結對幫扶活動，促進共同提高，提升整體培訓質量。三是激勵約束機制。干部教育培訓主管部門可以依據評估結果，對培訓質量較高的培訓機構給予不同等次的獎勵，此外還可以在培訓任務分配、資金劃撥、科研立項、教師培訓等方面給予優先政策。培訓機構內部也可以將各個培訓項目的評估結果，作為有關干部和教師年度考評、選拔任用、優秀評比的參考依據。四是建立回評督查制度。干部教育培訓主管部門對評估中發現的問題，要責令培訓機構及相關部門限期整改。對評估成績較差、問題較多的培訓機構要跟蹤了解整改情況，必要時要“回頭看”，進行二次評估；對存在問題依舊不改的，可以采用“約談、督辦、通報”等方式促其加大整改力度，確實整改不到位的，采取相應的措施取消其作為干部教育培訓基地的資格。