評估思考框架 BetterEvaluation Rainbow Framework
因最近稍微看了一點社會影響力的資料，介紹此主題的資源多偏向「評估、評量」討論，方才意識到自己對此方面的涉獵認識卻很不足(不曉得這是否反應了部份 NGO 工作「專案」一大堆，但業務告一段落後卻欠缺系統化檢討的評量？更遑論在工作開始之前先冷靜地評估投入某件事的必要性、替代手段或成本代價…..)。想起之前曾經提過 Hewlett Foundation 發佈的非營利組織能力評估工具整理資源（Assessing nonprofit capacity: A guide to tools)，但一直沒動力好好用了解其中一二具代表性的評估方法。這陣子隨著摸索social impact 之勢頭，偶而瞥見了"Better Evaluation" 網站。或許先從一般性、通用性的評量思索、討論起手，了解別人家非營利組織(或營利公司、公務機構等….)如何推動評量檢討所思考的課題、所採取的步驟建議、所使用的方法，從中一探規劃評量之門檻吧。
Better Evaluation 網站收錄的資源非常豐富，第一次訪問該網站時大概會有一兩秒不知從何下手的大腦空白。Better Evaluation 計畫的啟動與維持團隊主力是來自南半球澳洲與紐西蘭政府資助的學術型非政府組織 ANZSOG ，Australia and New Zealand School of Government)，此跨國型合作計畫宗旨在：透過創立/策劃擇取使用評估方法和過程之種種資訊(包括管理評估和加強評估能力)，改進評估實踐和理論。
即便自己對規劃評估理論和操作再怎麼陌生，也知道外面花花世界早已存在許多研究機構、商管顧問、智庫 NPO 提出的各式評量評估方法，因為太多所以無知主要來自於沒有一個方向不知道從何下手去找到最符合自己(或組織)需求的評量工具吧。
BetterEvaluation 本身並不是眾多評估方法其中的某一個，它無寧是提供一個當事人在打算啟動評估念頭時會思考、應思考的種種問題，順著問題的對應脈絡，梳理出一套整理框架。在考慮問題、回應問題的同時，也是在釐清思路，索驥惦量評估該怎麼做。故此框架整理收集 34 個重要問題，再將之依屬性劃分成七大類進行分組群集(該好搭配七色彩虹取名為「Rainbow Framework 」)，在 34 道題目底下會再提供更詳細的內容或提問方向，使用者可從豐富的資源當中，輕鬆又快速地針對不明白之處，找尋和挑選適當的方法，策略或流程。
看到官網提供了Rainbow Framework 精華簡化版的多語系翻譯文件卻未有中文，故多事地把簡要版正體中文翻譯如下
1. 管理評估/評量系統：管理評估（一個或一系列評估），包括決定誰將進行評估以及由誰來做出評估。
* 了解且能吸引利益相關者：誰需要參與評估？ 如何識別利益相關者和鼓勵其參與？
* 建立決策過程：誰有權對評估做出某種類型的決策？ 誰可提供評估建議？ 將使用哪些流程來製定決策？
* 決定由誰進行評估：哪些人實際負責評估之執行？
* 決定和確保資源：需要哪些資源（時間，金錢和專業知識）、如何獲取這些資源？ 請考慮內部（例如工作人員時間）和外部（例如先前參與者的時間）資源。
* 定義道德和質量評估標準：什麼要素與標準才被視為高質量和道德評估？ 如何解決道德問題？
* 文件管理流程和協議：如何記錄評估的管理流程和協議？
* 制定評估規劃文件：設計，規劃和實施評估需要做些什麼？ 需要創建哪些規劃文件（評估框架、評估計劃、評估設計、評估工作計劃）？
* 審核評估（進行詮釋評估 meta-evaluation）：如何評估評估本身，包括計劃，流程和報告？
* 培養評估能力：如何加強個人，團體和組織開展和使用評估的能力？
2. 決定評估內容：發展對評估內容及工作方式之描述（或採用現有版本）。
* 制定初步說明：究竟在評估什麼？
* 開發方案理論/邏輯模型：理解干預是如何奏效的（方案理論，變革理論，邏輯模型）？
* 識別潛在的意外結果：在評估中，哪些可能的意外結果（正面和負面）很重要需要加以說明？
3. 界定評估範疇：設置評估的參數 — 其目的，關鍵評估問題以及要使用的規範和標準。
* 確定主要目標用戶：誰是此評估的主要目標用戶？
* 決定目的：評估的主要目的和用途是什麼？
* 指定關鍵評估問題：評估將尋求回答的高級問題是什麼？ 如何開發這些？
* 確定”成功”的含義：判斷績效的標準和標準應該是什麼？ 誰的標準和標準很重要？ 應該用什麼過程來製定這些協議？
4. 描述相關活動、成果、影響力和關聯性 ：收集和檢索數據，以回答有關項目/計劃/政策活動的描述性問題，各項結果以及實施的背景。
* 樣本：您將使用哪些採樣策略來收集數據？
* 使用度量，指標或指標：將使用哪些度量或指標？ 是否應該使用現有的或者您需要製定新的措施和指標？
* 收集和/或檢索數據：您將如何收集和/或檢索有關活動，結果，背景和其他因素的數據？
* 管理數據：您將如何組織和存儲數據並確保其質量？
* 結合定性和定量數據：您將如何結合定性和定量數據？
* 分析數據：您將如何調查數字或文本數據中的模式？
* 可視化數據：您將如何直觀地顯示數據？
5. 了解成果和影響力之間因果：收集和分析數據，以回答觀察到發生的結果和影響之間的因果問題。
* 檢查結果支持因果歸責：如何評估結果是否與理論上預期干預的效果一致？
* 將結果與反事實進行比較：如何將事實與反事實進行比較 — 若無干預介入，會發生什麼情況？
* 調查可能的替代解釋：如何調查其他解釋？
6. 綜合評估的數據：合併數據以形成介入干預好處或價值之總體評估，或總結多個評估的證據。
* 從單一評估中綜合數據：如何從單一評估中綜合數據？
* 跨評估合成數據：是否需要從不同的評估眾綜合數據？ 如果是，該怎麼做？
* 概括調查結果：如何將此評估的結果推廣到未來，其他地方和其他計劃？
7. 報告與支援發現之利用：透過有效的方式向使用者呈現評估結果，協助他們進而利用、使用評估結果。
* 確定報告要求：需要的時間範圍和格式？
* 發展報告媒介：哪些類型的報告格式適合目標受眾？
* 確保親近性：不同用戶如何輕鬆取用報告？
* 制定建議：是否包含建議？ 這些建議如何發展以及由誰負責？
* 使用支援：除了讓目標使用者參與評估過程外，如何支持評估結果的使用？
無聊之餘多事地按簡要版文件格式作了二頁 pdf 檔供中文便於讀者直接下載，也許在編輯過的文件上更能呈現彩虹色譜的問題層次吧。
上述七大主題底下各子項的子項選項或方法的進一步說明都可以從網站找到連結資訊，例如主題一 1. 管理評估/評量系統底下的第一個問題選項：誰需要參與評估？ 如何識別和參與？則會進一步對如何了解、如何與之互動提供進一步的說明相關:
* 了解利益相關者(誰需要參與評估？ 如何識別利害相關者和鼓勵其參與？)
** 社群對象界定：從社會多樣性、歷史、現有網絡和整體社會經濟特徵等資訊，對相關利益社群進行更深入的了解。
** 利益相關者關係繪製和分析：識別各個利益相關者的利益和影響程度。
* 吸引利益相關者 (誰需要參與評估？ 如何識別利害相關者和鼓勵其參與？)
** 社區/社群集會：組織社區/社群活動，提供項目相關資訊以提高其對相關問題的認識。
** Fishbowl Technique ：Fishbowl Technique 是一種控制問題討論手段，它取代開放式的大群組討論，而是從中挑出5~6人，由代表的焦點小組在原大群群人前進行議題討論，其它人只能先暫時「圍觀」焦點小組。
** 正式會議進展：進行正式會議的指導。
** 非正式會議：評估者與關鍵利益相關者之間對話，以非正式方式進行，但仍和正式會議一樣尋求相同的結果。
** 啟動工作坊：主要利益相關者聚會，評估和建立評估準備。
若再點入 “社群對象界定 (community scoping)"，就會進入另一頁更詳細的資料，包括 scoping 定義、進行這個動作的目標與預期的結果、操作此動作的建議、相關資源參考……。因為資訊量太大，想來就點到為止。建議 NGO/NPO 有興趣了解 PE (Plan and Evalation 規劃評估管理)，可以先從簡要版的七大類 34 個問題開始思考，待對這些問題的回答稍有腹案把握後，想來對於為何、如何進行評估與評估後還該作什麼…..，應會有更清楚的方向吧。
除了每週二固定發佈一篇主題專文外，每週五另外再發表一篇網摘性質的非營利組織資訊週報 — 灰暗星期五，簡單分享筆者最近一週讀了什麼、看到什麼有趣的相關內容。若有任何建議或指教，可留言、來信或加入 TWNGO slack 安靜聊天室製造一點喧嘩的噪音。
NGO 推進器 