

グッドハートの法則:指標を目標にすると、その指標は壊れる
この記事は、構成と文章の整理にAIを使っています。
あくまで読みやすくするための補助で、内容そのものをAIにすべて任せて書いているわけではありませんが、ところどころ相談しながら整えています。
グッドハートの法則とは
一言でいうとこれ。
指標が目標になると、その指標は良い指標ではなくなる
数字そのものが悪いわけじゃない。数字を「評価や報酬のターゲット」にした瞬間に、その数字が本来測っていたものとズレ始める、という経験則である。
由来
元ネタはイギリスの経済学者チャールズ・グッドハートが1975年に書いた金融政策の論文。中央銀行がマネーサプライなどの統計を政策目標に据えると、市場参加者の行動が変わってしまい、その統計と経済実態の関係が崩れる、という指摘だった。
いま広く知られている「指標が目標になると〜」という言い回しは、グッドハート本人の文章ではない。人類学者のマリリン・ストラザーンが、イギリスの大学評価(監査文化)を論じる中で一般化した表現が定着したものらしい。なので「グッドハートの法則」として引用される文の多くは、厳密にはストラザーン版である。
なぜ壊れるのか
指標はそもそも「本当に見たいもの」の代理(プロキシ)として測っている。見たいものを直接測れないから、相関がありそうな数字で代用しているだけ。
その代理指標を評価に結びつけると、人は「本来の目的を達成する」より安くて早い「数字だけを動かす」方法を探し始める。結果として、数字と実態の相関が切れる。
flowchart LR
A[本来の目的<br/>例: 品質の高いコード] -->|直接測れない| B[代理指標<br/>例: テストカバレッジ]
B -->|評価・報酬に紐づける| C[数字を上げる圧力]
C --> D{上げ方}
D -->|本来の手段| E[意味のあるテストを書く]
D -->|安い手段| F[assertionなしで行だけ通す]
F --> G[数字は上がるが<br/>目的と乖離]
G -.->|相関が崩れる| B
ポイントは、誰かが悪意を持っていなくても起きること。評価される側は合理的に動いているだけで、制度設計の側に穴がある。
4つの型
Manheim と Garrabrant(2018)は、グッドハート的な崩れ方を4種類に分類している。全部覚える必要はないけど、「どういう壊れ方か」を言語化するのに便利だった。
| 型 | 中身 | ざっくり例 |
|---|---|---|
| Regressional(回帰的) | 代理指標にはもともとノイズがあり、最大化すると実態以上に高い値を選んでしまう | 面接スコア最上位の人が、実はたまたま調子が良かっただけ |
| Extremal(極端値) | 通常の範囲で成り立っていた相関が、極端な値の領域では成り立たない | カバレッジ70%→80%は品質と相関するが、99%→100%を狙うと無意味なテストが増える |
| Causal(因果的) | 指標と目的に相関はあるが因果ではないので、指標を直接いじっても目的は動かない | コミット数が多い人は成果も多いが、コミットを細切れにしても成果は増えない |
| Adversarial(敵対的) | 評価される側が指標の穴を意図的に突く | 報酬関数の抜け道を見つける強化学習エージェント、数字合わせをする組織 |
開発現場でよく見る例
自分の周りで見たことがある、あるいは聞いたことがあるパターン。
- テストカバレッジ80%必須:assertionのないテスト、getter/setterだけのテストで行数を稼ぐ。カバレッジは上がるがバグ検出力は上がらない
- ベロシティ / ストーリーポイント:チーム評価に使った途端、見積もりがじわじわインフレする。ポイントの意味が変わるので過去との比較もできなくなる
- バグ件数で品質評価:起票が渋られる、複数の不具合が1件にまとめられる、「仕様です」で閉じられる
- コード行数・コミット数で生産性評価:冗長なコード、意味のない細切れコミットが増える
- セキュリティ系のスコア:根本対応せずに検出結果を抑制(suppress)してスコアだけ緑にする
- チケットのリードタイム:重いチケットを細かく分割したり、着手を後ろ倒しにしてタイマーが動かないようにする
- 社内のツール利用率KPI:起動しただけ・ログインしただけの「利用」が増え、実際に業務で役立っているかは分からなくなる
どれも「数字の上げ方に安い道がある」という共通点がある。
AIの報酬ハッキングも同じ構造
機械学習、特に強化学習では、報酬関数が「本当にやってほしいこと」の代理になっている。エージェントは報酬を最大化するので、設計者が想定していない抜け道があればそこを突く。これが報酬ハッキング(reward hacking)や仕様ゲーミング(specification gaming)と呼ばれるもので、グッドハートの法則の機械版といえる。
LLMの文脈でも、ベンチマークスコアを上げることが目的化すると、ベンチマーク自体が実力を測れなくなる(学習データへの混入や、ベンチマーク特化のチューニングなど)という議論がある。人間でも機械でも、最適化圧力がかかった代理指標は壊れる。
近い概念
- キャンベルの法則:社会心理学者ドナルド・キャンベルによるもの。定量的な社会指標が意思決定に使われるほど、その指標は不正や歪みの圧力を受け、測っている社会プロセス自体も歪める、という主張。グッドハートとほぼ同じことを、政策評価・教育評価の文脈で言っている
- コブラ効果:植民地時代のインドでコブラ駆除のために死骸に報奨金を出したら、コブラを養殖する人が出てきた、という逸話。史実としての裏付けは怪しいらしいが、インセンティブ設計の失敗例としてよく引かれる
- ルーカス批判:経済学で、過去のデータから推定した関係は政策を変えると人々の行動が変わるので成り立たなくなる、という指摘。グッドハートの元の文脈(金融政策)とかなり近い
対策として言われていること
完全に防ぐ方法はない。ただ、壊れにくくする工夫はいくつかある。
- 指標を単独で使わない:トレードオフになる指標を組で見る。速度だけでなく品質、件数だけでなく再発率、など。片方だけ動かすズルがしにくくなる
- 評価や報酬に直結させない:指標はチームが状況を把握するための観察用にとどめる。評価に使った瞬間に最適化圧力がかかる
- 指標の目的を明示する:「この数字で何を知りたいのか」を共有しておくと、数字だけ動かす行動が浮きやすい
- 定期的に見直す:その数字がまだ実態を表しているか確認し、壊れていたら入れ替える。指標には寿命があると考える
- 定性的な情報と併用する:コードレビュー、ふりかえり、ヒアリングなど、数字にならない情報で裏を取る
- 測られる側を設計に巻き込む:当事者は抜け道をよく知っているので、事前に穴を潰しやすい
逆に言うと、「数字を出せ」と言われたときに、その数字がどう使われるか(観察用か、評価用か)を確認するだけでもかなり違う。
参考
- C. A. E. Goodhart, “Problems of Monetary Management: The U.K. Experience” (1975)
- Marilyn Strathern, “‘Improving ratings’: audit in the British University system” (1997)
- Donald T. Campbell, “Assessing the Impact of Planned Social Change” (1976)
- David Manheim, Scott Garrabrant, “Categorizing Variants of Goodhart’s Law” (2018)