生成AIの効果測定KPI設定｜取れる指標だけを3本に絞る

生成AIの効果測定でKPIが機能しない4つのパターン

生成AIのKPIがうまく回らないというご相談の多くは、指標の選び方を間違えたことが原因ではありません。候補として挙がる指標はどの会社でも似た顔ぶれになりますし、それ自体が的外れということはめったにないからです。それでも翌月のレビューで数字が揃わず、いつのまにか誰も見なくなるのは、設定という作業が「候補を並べる」ところで終わっているためです。KPIは指標名だけでは成立せず、指標と目標値と測定手段と本数が決まって初めて設定が終わります。機能しなくなる型は次の四つで、いずれも候補を選んだ後の段階で起きています。

機能しないパターン	何が起きているか	立て直す章
指標名だけがあって目標値がない	「削減時間を測る」は測定の宣言であって、KPIにはなっていません。良し悪しを判定できないので、レビューが感想会になります	目標値の決め方の章
数字の出どころが決まっていない	誰がどこから取るかを決めないまま設定するため、初回のレビューに数字が集まりません	候補を仕分ける章
本数が多すぎて誰も追わない	候補一覧をそのままKPIにすると、集計が常設業務になり、数か月で更新が止まります	本数と捨て方の節
実証期のKPIを本導入でも使い続けている	測る目的が変わったのに指標が変わらないため、達成しているのに誰も価値を感じない状態になります	フェーズで差し替える章

この四つは、この後の各章にそのまま対応しています。順に読み進めれば、候補一覧の状態から、来月のレビューで実際に回るKPIまで組み上がるようになっています。

KPIは効果を映す鏡ではなく、現場の行動を決めるルール

KPIの解説はたいてい、生成AIの効果は見えにくいので、指標を分類して網羅的に並べ、可視化しましょう、という筋で書かれています。効果を正確に写し取るための道具としてKPIを扱う考え方です。ですが、実際に現場でKPIを置いてみると、この前提は成り立ちません。KPIは実態を後から映す鏡ではなく、設定した瞬間から現場の行動を変えるルールとして働くからです。

利用率を目標に置けば、現場は使う理由を探し始めます。削減時間を自己申告で集めれば、申告値は大きくなる方向に寄ります。品質スコアを人が採点する形にすれば、採点者は角の立たない点をつけるようになります。どれも現場の不誠実さの話ではなく、追われる数字があれば人はその数字が良くなるように働く、という当たり前の反応です。つまりKPIを置くという行為は、測定を始めることではなく、現場に新しい行動の基準を配ることにほかなりません。

そうであれば、良いKPIの条件も変わります。「効果を正確に表せているか」では選べません。選ぶ基準は、その数字を追わせたときに、起こしたい行動が実際に起きるかです。この定義を置くと、以降の章はすべて同じ原理から導けます。取れるかどうかは、その行動が確認できるかどうかです。本数は、現場が実際に守れる本数です。目標値は、目指させたい水準です。副作用の確認は、望まない行動が起きていないかの点検です。フェーズごとの差し替えは、起こしたい行動が変わったかどうかの判断です。

この記事は、「何を測るか」からではなく、「何を起こすか」から指標を決めるという順序で進みます。次章で候補の一覧を出しますが、そこを読むときも、効果を正確に映すかどうかではなく、その数字を追わせたら現場がどう動くかという目で見てください。同じ表を見ていても、選び方が変わります。

何を測るか——効果測定KPIの3層（利用・業務・成果）

候補となる指標は、三つの層に分けて考えると整理できます。一つ目は利用層で、何人がどれくらい使っているかを表します。ツールの管理画面から取れるので測りやすい反面、使っていること自体は成果ではありません。二つ目は業務層で、一件あたりの所要時間、やり直しや差し戻しの発生率、単位時間あたりの処理件数など、仕事のやり方が変わったかを表します。効果測定の主戦場はここです。三つ目は成果層で、売上、コスト、顧客満足といった経営の数字を指します。動くまでに時間がかかり、生成AI以外の要因も混ざります。

よく見かける「定量と定性」「技術指標とビジネス指標」といった分け方も、この三層に畳めます。大事なのは分類の名前ではなく優先順位です。設定の主対象は業務層であり、利用層は前提条件、成果層は遅れて動く確認用の指標として置きます。投資対効果の金額換算は成果層の代表的な指標ですが、金額に換算してよい条件は別の論点になるため、ここでは深入りしません。

業務別のKPI候補一覧（営業・CS・バックオフィス・マーケ）

業務別の候補は次のとおりです。ただし、この表は自部門の行を探して丸写しするためのものではありません。「時間が減る」「やり直しが減る」「量が増える」という三つの列のどれに当たるかで引いてください。自部門の業務が表になくても、生成AIに任せた作業が今どのくらいの時間を食っていて、どれくらい戻され、月に何件発生しているかを考えれば、同じ三列のどこかに必ず落ちます。逆に、この三列のどこにも落ちない指標は、業務層の指標ではなく成果層か、あるいは測れないものです。まずは一つの業務を選び、その行の三列から候補を拾ってください。

業務	時間が減る	やり直しが減る	量が増える
営業	提案書作成にかかる時間、商談準備にかかる時間	上長レビューでの差し戻し回数	一人あたりの提案件数
カスタマーサポート	一次回答までの時間	回答の差し戻し・再問い合わせの率	一人あたりの応対件数
バックオフィス	定型文書一件あたりの作成時間	修正依頼の発生率	期間内の処理件数
マーケティング	コンテンツ初稿までの時間	初稿からの修正回数	期間内の公開本数

取れないKPIは設定しない——数字の出どころで候補を仕分ける

候補の一覧を手に入れた読者が次にやるべきことは、足すことではなく落とすことです。多くの解説は候補を増やす方向にしか書かれていませんが、設定という作業の実体は、並んだ候補から実際に運用できるものだけを残す選別にあります。ここで持ち込む基準が、その数字が実際にどこから出てくるのかという測定可能性です。測定の話は普通、KPIを決めた後の運用手順として登場します。ですが順序が逆です。取れない指標をKPIに据えてしまえば、どれだけ立派な運用手順を用意しても初回のレビューで数字は揃いません。仕分けを先に済ませ、それから本数を絞ります。

3層の仕分け（自動で取れる／申告で取る／取れない）

候補は、数字の出どころで三つに分かれます。自動で取れるものは、ツールの利用ログ、問い合わせ管理や顧客管理システムのタイムスタンプ、勤怠記録、送信数など、業務を回すだけで勝手に残るデータから計算できる指標です。これはKPIに設定してかまいません。申告で取るものは、体感の所要時間や品質の自己評価のように、誰かが入力してくれないと存在しない数字です。これは期間を区切ったサンプル測定にとどめ、常時追うKPIにはしません。取れないものは、創造性、意思決定の質、コミュニケーションの改善のように、そもそも数値の定義から揉める指標です。これはKPIにせず、区切りごとのアンケートの自由記述に落とします。

判定は三つの問いで済みます。誰がその数字を入力するのか。その入力は今の業務の中ですでに発生しているのか。集計に毎月どれだけの時間がかかるのか。 既存の業務では発生しない入力を新たに求める指標は、原則として設定しません。現場は必ず止めますし、止まった時点でKPIごと機能しなくなるからです。

1業務あたり3本まで——捨てるKPIの決め方

残った候補にも、まだ多すぎるという問題があります。目安は一つの業務あたり3本です。内訳は、利用層から1本、業務層から1本か2本、成果層は置いても1本までとします。3本という数の根拠は、月次のレビューで一本あたり数分の説明ができる上限だからです。指標が多いほど良い測定になるわけではありません。追える本数を超えた瞬間、集計そのものが誰かの常設業務になり、更新が止まります。

捨てる基準は四つです。第一に、取れない層に入るもの。第二に、誰も打ち手を持っていない指標です。数字が悪化しても動けないのであれば、測る意味がありません。第三に、他の指標と同じ動き方をするものです。利用率と利用者数のように連動する指標を両方置いても、分かることは増えません。第四に、集計だけで毎月まとまった時間を要するものです。測定にかかる工数は、そのまま効果を目減りさせます。

そして、捨てたKPIは消さずに「今は測らない」欄に残してください。フェーズが変われば、そこから復活させる指標が出てきます。

目標値の決め方——「30%削減」の30はどこから出すのか

指標が3本に絞れても、まだ設定は終わっていません。「削減時間を測る」は測定の宣言であって、KPIではないからです。KPIは、指標と目標値と期限と測定手段の四つが揃って初めて設定が完了します。このうち最も飛ばされやすいのが目標値の決め方で、経営会議で根拠を問われて答えられなくなるのもここです。削減率の目標を掲げたとき、その数字はどこから出したのかと聞かれて、他社の事例で見た数字ですとしか言えないなら、その目標は守られません。決め方は次の四段で考えます。

第一に、基準値を取ります。比べる相手がなければ、達成も未達も判定できません。第二に、基準値に対する変化幅で目標を置きます。業界平均や他社の改善率をそのまま持ってきてはいけません。業務の中身も、今の効率も違うため、根拠を問われたときに説明できないからです。第三に、水準は「その数字が動いたら次に何をするか」から逆算します。所要時間がここまで減れば残業が要らなくなる、ここまで減れば予定していた増員を見送れる、という打ち手に接続する水準こそが、その指標の合格ラインです。切りの良い数字ではありません。第四に、期限は次の判断日に合わせます。契約更新月、予算編成、全社展開の可否を決める会議など、暦ではなく意思決定の日で区切ります。

導入前の基準値を半日で取る

基準値は、精緻に取ろうとした瞬間に取れなくなります。対象の業務を一本に絞り、半日で終わる粒度にとどめてください。数日分の実測でもかまいませんし、すでに残っている記録から復元してもかまいません。勤怠、問い合わせ管理、送信ログ、受発注の履歴など、業務のために取っていたデータが所要時間や件数の代わりになることは珍しくありません。完璧な基準値を取ろうとして測定そのものが始まらないのが、最も多い失敗です。

すでに導入が始まっていて導入前の数字が残っていない場合は、まだ使っていない部署や拠点の数字を代わりに使うか、それも難しければ推定と明記したうえで使います。推定であることを書いた数字は信頼を落としません。出どころを言えない数字を実測のように出すほうが、後で全体を疑われます。

最初の3か月は改善幅を目標にしない

もう一つ、初回のつまずきを避けるための注意があります。最初の3か月は、改善幅を目標値に置かないでください。導入直後は使い方の習熟度がばらつくため、数字は大きく上下しますし、慣れない操作のぶん一時的に悪化することさえあります。この時期に改善幅の目標を掲げると、初回のレビューで効果が出ていないと誤って判定され、施策ごと止まってしまいます。

最初の周期のKPI目標は、基準値と同じ方法で毎月数字が取れている状態に置きます。誰が、どのデータから、どの手順で集計したかが同じであること。これが達成できていれば、その周期は成功です。改善幅の目標は、測定が安定したことを確認してから、次の周期で入れます。順序を逆にしないでください。

KPIを置くと現場はこう動く——活用率を追ったときに起きること

目標値まで決まると、設定は終わったように見えます。ですがここからが本題です。設定した瞬間から、現場の行動が変わり始めます。最も分かりやすいのが活用率です。利用率を目標に掲げると、現場は使う理由を探し始めます。検索すれば数秒で済む調べ物をわざわざ生成AIに投げ、返ってきた出力の裏取りに時間をかける。結果として、利用率は上がるのに一件あたりの所要時間は伸びるという事態が起きます。数字は良くなっているのに、業務は遅くなっているわけです。

ですから、利用層の指標は下限を割っていないかを見張る前提条件として置き、目標として追わないのが原則です。削減時間の自己申告も同じ構造で、その数字が部門評価や個人評価に接続した瞬間に上振れします。副作用を前提にした設計の原則は三つです。第一に、評価に紐づけるのは業務層の客観指標だけにすること。申告値は改善のための材料であって評価材料ではない、と先に宣言します。第二に、申告を取るなら匿名にするか、集計の単位を部門以上に上げること。第三に、KPIとセットで、悪化を見張る指標を1本置くことです。削減時間を追うならやり直しや差し戻しの率を、利用率を追うなら一件あたりの所要時間を並べます。望まない行動が起きたときに真っ先に動く数字を用意しておくことが、副作用に気づく唯一の手段です。

自己申告に頼る数字を評価に紐づけない

自己申告の数字を取ること自体は問題ありません。問題は使い道です。原則は三つあります。まず、申告値を評価に使わないと最初に明言し、それを守ります。一度でも評価に転用すれば、以後の申告値はすべて上振れし、二度と使い物になりません。次に、レビューでは申告値と客観指標を必ず並べて、差分を見ます。申告では大きく短縮しているのに、システムに残るタイムスタンプが動いていないなら、そこには何かがあります。そして、差分が大きい業務は、現場を疑う前に測定設計を疑ってください。多くの場合、申告している作業の範囲と、システムが記録している範囲がずれています。差分は不正の証拠ではなく、測り方のずれを教えてくれる信号として扱います。

フェーズでKPIを差し替える——PoC・定着・全社展開

KPIは一度設定して終わりではありません。フェーズが変われば、測るべき対象そのものが変わります。半年後に「そのKPI、もう意味がないよね」と言われるのは、設定が甘かったからではなく、差し替えを前提に組んでいなかったからです。フェーズは三つに分けて考えます。

実証（PoC）期は、「使えるか」を測ります。対象業務での成功率、出力のやり直し回数、想定していた業務に本当に適用できたかどうか。効率も金額も、この段階では測りません。定着期は、「使われるか」を測ります。継続して使われているか、利用が一部の人に偏っていないか、一件あたりの所要時間が動き始めたか。ここで初めて業務層が主役になります。全社展開期は、「効いているか」を測ります。部門をまたいだ所要時間と処理量、成果層の指標、そして投資に見合っているかどうか。

差し替えの原則は、追加ではなく置換です。前のフェーズのKPIは監視項目に降格させ、追う対象は常に3本に保ちます。フェーズが進むたびに指標を足していくと、本数の原則が崩れ、結局どれも追えなくなります。

差し替えるタイミングの見分け方

差し替えは、暦ではなく条件で切ります。何か月経ったからではなく、何が確認できたかで判断してください。実証期から定着期へは、対象業務で想定どおりに動くことが確認できたときです。定着期から全社展開期へは、利用が一部の人に偏らなくなり、業務層の指標が二周期続けて安定して取れるようになったときです。逆に、この条件を満たしていないのに期日が来たからと次のフェーズへ進めると、測る対象と現場の実態がずれたまま数字だけが積み上がります。

実証期のKPIをそのまま本導入でも使い続けてしまう失敗は、卒業条件を先に決めていないから起こります。ですからKPIを設定する時点で、目標値と一緒に「次のフェーズへ進む条件」も一行書いておいてください。これがあるだけで、差し替えは判断ではなく確認作業になります。

設定したKPIを1枚にまとめてレビューする

設定が終わったら、運用の形に落とします。ここでダッシュボードから作らないでください。追う指標が3本なら、表計算ソフト1枚で十分です。列は、指標、基準値、今月の値、目標値、期限、担当、打ち手の七つ。これ以上は要りません。仕組みづくりから始めると、仕組みが完成するまで測定が始まらず、完成したころには測るべき対象が変わっています。レビューは月に一度、30分で終わらせます。見るのは、基準値と同じ方法で数字が取れているか、悪化を見張る指標が崩れていないか、そして次の打ち手が一つ決まったか。この三点だけです。

経営層に出す1枚に載せる3行

経営層への報告では、載せるのを3行に絞ります。一行目は、この期間で何がどれだけ変わったか。業務層の実数を、基準値と並べて出します。二行目は、その数字が何に接続するか。残業、増員の見送り、外注、処理量の増加のうち、どれに効いているのかを一つ書きます。三行目は、次の判断日に何を決めるのか。契約を更新するのか、対象業務を広げるのか、対象を入れ替えるのかです。

やってはいけないのは、設定時に検討した指標を全部見せることです。候補一覧をそのまま報告資料に載せると、読み手はどこを見ればよいか分からず、「で、結局どうなったのか」で会議が終わります。決めてほしいことが一つあるなら、材料も一つに絞ってください。

まとめ：まず設定する3本

最後に、明日から動ける形にまとめます。まず、対象業務を一本だけ決めて、基準値を半日で取ります。全社を一度に測ろうとしないことが、続くかどうかの分かれ目です。次に、業務層から「一件あたりの所要時間」を1本選びます。量の変動に振り回されず、他チームとの比較にもそのまま使える指標だからです。そして、悪化を見張る指標を1本セットで置きます。やり直しの率でも、一件あたりの所要時間でもかまいません。この3本に、次の判断日から逆算した目標値と期限を入れれば、設定は完了です。候補一覧を全部埋めようとしないでください。KPIの設定とは、測る対象を増やす作業ではなく、現場に起こしてほしい行動を、追える本数の数字に翻訳する作業です。

あわせて読みたい

• 営業組織の成果を最大化させる営業KPIの設定について
• 営業マネージャの役割とは？　仕事内容と求められるスキル｜チームで数字を作る営業マネージャの実務 ── 案件管理・育成の仕組み化・対上マネジメント