工藤 三耶子（2022年度選科A／社会人）
2022年９月１０日、モジュール３「活動のためのデザイン」２つ目の講義は、明治大学公共政策大学院ガバナンス研究科教授の源由理子さんに登壇いただきました。
講義テーマは「社会課題解決のための協働型評価～対話とエビデンスの交差」です。源先生が評価学に目覚めたのは、ケニアのナイロビのスラムの生活改善プロジェクト評価がきっかけだそうです。ナイロビでの生活改善を評価する際に、資金・所得が増えたといった基準、つまり援助する側の視点のみで評価していいのか？といった疑問にぶつかったそうです。そこで、評価方法について調査していたところ、「参加型評価（協働型評価を含む）の方法論」に出会ったとのことです。
生活改善された状態はその地域の人がどういうことをもって改善したとなるのか、どんな状態になることが望ましいのか、彼らがどう思っているのか引き出す、このプロセスこそが評価になると言います。人によって多様な価値があるため、どこに価値基準をおくのかが重要であり、当事者の意見を吸い上げながら評価していくことに重きを置いて、先生は現在も評価に取り組んでいます。
評価とは？
まず、評価（Evaluation）とは何でしょうか。評価とは、成績付けやランキングというイメージを持ちがちですが、「物事のメリット・価値・意義を体系的に明らかにすること」とであり、事実を測定するだけでなく、評価対象の価値を引き出し、評価を通してより価値の高いものにすることです。
例えば、お掃除ロボットのルンバを評価するとなった場合、製品の内在的価値があるのは理解できますが、その価値が良いか悪いかは個人によります。つまり評価をする際に、凄く良いサービスを持っていたとしても、購入者のニーズと合わないと、受け手はその価値を見出す事が出来ません。そのため、サービスを提供する前に、ニーズの評価というのも重要になってきます。
今回は製品評価ではなく、事業（プログラム）を評価する方法論、「プログラム評価論」について紹介いただきました。プログラム評価とは、社会調査手法を活用し、社会的介入プログラムの有効性を体系的に調査するものです。その評価はプログラムを取り巻く政治的・組織的な文脈を考慮して行われ、社会的活動によって社会状況を改善するための情報源となります。つまり、評価は結果・成果の達成度を把握することだけでなく、実施プロセスやプログラムのデザインなども評価し、結果が社会に活用されることを目指しているのです。評価は、より良い社会を実現するための道具であり、活用されなければ意味がありません。
ロジックモデルとは？
次に、プログラム評価の方法論、つまり考え方の紹介をしましょう。
ロジックモデルとはある事業がその目的を達成するに至るまでの論理的な因果関係を表すものです。対象である事業の構造を「言葉」で可視化し、関係者間でプログラムの手段と目的の道筋の仮説を立て、より効果的な事業を検討し、説明するための「コミュニケーション」の道具として使用されます。また、はじめに立てたモデルに縛られるのではなく、活動の進捗に応じてモデルを修正していくことも必要です。
アウトカムは、アウトプット（結果）からもたらされると考えられる成果を整理し、事業の成果について期待される内容を論理的に検討し整理することです。社会課題に取り組むプログラムを実施するには、必ずアウトカムには外部要因の影響があり、リスクが伴う事を、まず理解しなければなりません。あまりにリスクが大きいのであれば、実施自体を考え直さなければならないですが、組織のミッションと照らし合わせながら、アウトカムを明確にすることで、より戦略的な手段を考えることが出来るのです。そのため、まず始めに事業を実施するにあたりどんな複雑な課題があるかを考える必要があります。これがニーズ評価にもつながるのです。
プログラム評価における５つの評価
プログラム評価では、５つの評価を提唱しています。
まずは、評価の目的ごとに大きく分けて形成的評価と総括的評価があります。評価をして形成しなおすことを形成的評価といいます。形成的評価には、アウトカムの妥当性や事業の必要性について問う「ニーズ評価」、事業の設計の妥当性を問う「セオリー評価」、そして実施過程を問う「プロセス評価」が含まれます。
そして上記３つを踏まえた上で、総括的評価には、事業のアウトカムやインパクトについて問う「インパクト評価」、そして事業全体の効率性を問う「効率性評価」が含まれます。この一連の流れは、一方向で進めるのではなく、たとえば、プロセス評価の結果をセオリー評価につなげたり、ニーズ評価の結果をセオリー評価につなげるというように、一つ前の評価に戻ったりする事を繰り返す事で、より良い事業を実施することが出来ます。
通常の評価は、内部評価と外部評価があります。評価の主体は実施者であったり、外部に評価を依頼するのが通常です。しかし、協働型評価とは、そういった実施者、受益者、外部評価者が皆で一緒に評価する方法です。評価基準については、皆で合意形成して決めていき、またそれぞれ立場（経験）が違うため、同じ目的に向かって相互の学び合いが自然に生まれていきます。
誰のための評価？協働型評価の取り組み
ここで今一度振り返りますが、まず評価結果は誰が使うのでしょうか？使用するのはその事業を実施している人や資金提供者、あるいは提供されるサービスの利用者です。そのため、彼らの疑問や懸念が評価に反映されないと、彼らの理解を得る事は出来ません。評価の目的によってアプローチ方法が変わりますが、関係者のエンパワーメントや組織強化、事業改善においては、協働型評価は非常に効果的であると言えます。
５つの評価階層を協働型評価の視点で捉えた時に、特に重要な部分は、実施過程で出てくる現場の声（プロセス評価）を、事業の設計（セオリー評価）につなぎ直してくこととです。またアウトカムの評価に基づき、実施過程を見直していくことです。このサイクルが適切に行われていれば、おのずと事業の効果が上がると考えています。
しかし行政では、予算にひもづく事務事業それぞれに評価を求められますが、一般的にはアウトプット達成度や予算の使い道の評価が中心で、政策の改善、つまりアウトカムの評価に基づく見直しに繋げる事がむずかしいのが現状です。
兵庫県豊岡市では、このような問題を踏まえて、協働型評価を取り入れました。たとえば、災害による被害を少なくなるために、「地域の防災力の向上」を目指し、町内会、学校、消防団、教育委員会等様々なアクター皆で評価を行いました。
まず、関係者たちとロジックモデルを確認するワークショップを行います。関係者間の対話の場を提供し、問題の共有と相互学習 • 納得性と合意形成 • 関係性の形について模索します。
では、「地域の防災力が向上した状態」はどうやって測るのでしょうか？これも関係者全員で考えます。市民の一人から、「災害が起きた時に隣同士助け合えれば良いのではないか」という意見があり、皆が納得したという例があります。実際、災害が起きた場合はすぐに支援が来るわけでは無いので、それまではお互いに助け合っていかなければならないという、活動現場の人ならではの意見なのです。研究者の結果からはなかなか見つけられない質的なデータの１つと言えます。
災害による被害を少なくする方法は、もちろん地域の防災力向上以外にも方法はあります。今回の事例では、防災力向上という戦略をアウトカムに置き、それに対してどのような手法があるか、というのを協働型評価で検討し、検証していきました。当事者のニーズ、つまり現場の声を反映するのと同時に、客観的かつ科学的なエビデンスを活用することも勿論重要です。この２つの相互作用によって、新たな知識創造をすることが出来、次の新しい変革につながっていくと考えます。参加者からは、行政と市民の壁がなくなった、自分自身の考え方が変わった、政策課題の理解が進んだ、政策実施過程の理解につながった、等のコメントを得る事が出来ました。
まとめ
本講義では、参加型評価のひとつである協働型評価について紹介されました。評価を内部だけ、或いは外部だけでは無く、事業に関わる全ての人が、共に実施プロセスを評価し、共にプログラムの成果を評価することで、アウトカムの把握や実施上の課題を把握する事が出来ると考えられています。インパクト評価による客観的な科学的な評価によるエビデンスも重要ですが、現場の人たちの経験に裏付けられた暗黙知、主観的なエビデンスも重要です。協働型評価では、個人が自らの体験経験を振り返る事で、その経験を再確認することを重要視しています。また、事業結果は誰のためのものであるのか、という視点から、行政だけでは無く市民やその他のアクターが協働で取り組む事により、今まで築けなかった互いの関係性や、コミュニケーションを通じて新しい視点や視野、知識が作られていく効果も期待されます。知識創造とそれによる社会変革は、新たな専門知識を知ることによってのみ起こるのではなく、既存の知識財産を、これまでになかった関係性によって生み出し、組合せ、事業価値に変換することによって起こっていきます。
また 、この評価方法により、一度決めたらその通りにやる計画指向が、戦略指向、改善‧改革指向へと変化することによって、組織風土へのインパクトも生まれていきます。いわゆる前例踏襲主義からの脱却も期待できるかもしれません。
