AIで19%遅くなった開発者が、20%速くなったと感じた実験

AI導入の効果を社内で議論するとき、この研究を知っておくと話が正確になります。

METRが2025年7月10日に公表したランダム化比較試験です。経験豊富なオープンソース開発者を対象に、自分が普段扱っているリポジトリで実際の課題に取り組んでもらい、AIツールの使用可否をランダムに割り当てました。

結果は、AIを使った条件のほうが完了までの時間が19%長くなりました。

同じ参加者は、AIによって20%速くなったと報告しています。

この研究の正しい扱い方

まず、この結果を「AIは効果がない」の根拠として使うのは誤りです。研究には条件があります。

対象は、自分が熟知しているコードベースで作業する熟練開発者でした。この条件は、AIの相対的な優位が最も小さくなる設定です。すでに全体像が頭に入っている人が、慣れた場所で作業する場合、外部から提案を受け取るコストのほうが高くつくことがあります。

不慣れな言語、初めて触るコードベース、定型的な実装。こうした条件では結果は変わり得ます。

そしてMETR自身が2026年2月24日に、当初の解釈の一部を修正しています。両方を引用するのが誠実な扱い方だと思いますし、この誠実さ自体がこの研究の価値です。

重要なのは19%ではなく、認識のずれ

実務にとって本当に効くのは、19%という数字ではありません。遅くなった人たちが速くなったと感じた、という部分です。

差は39ポイントあります。

これは、AI導入の効果を体感で評価してはいけないということを意味します。使っている本人の実感は、この研究では逆方向を向いていました。

多くの会社が、AI導入の成果を利用者アンケートで測っています。「業務は効率化されましたか」と聞く形式です。この研究が示しているのは、その設問では実態が取れない可能性があるということです。

なぜ速く感じるのか

推測が入りますが、待ち時間の質が変わることが関係していると考えられます。

自分で考えている時間は、負荷として認識されます。生成を待っている時間は、負荷として認識されにくい。総所要時間が同じでも、疲労感は下がります。

疲労が下がると、速くなったと感じます。これは錯覚ではなく、実際に体験の質は改善しています。ただし、それは時間の指標とは別のものです。

AIの導入で楽になったという報告は、たいてい正確です。速くなったという報告は、測るまで信じないほうがいい。

測り方を決めておく

導入前に決めておくべきなのは、次の3点です。

1. 時間は自己申告以外で取る。 チケットの作成から完了まで、プルリクエストの作成から承認まで。システムに記録が残る指標を使う。
2. 品質も同時に見る。 速度だけを見ると、レビューの負荷が増えている場合に見落とします。差し戻し率、レビュー指摘数、リリース後の修正件数。
3. 主観は別枠で聞く。 体感を聞くこと自体は有用です。ただし、時間の指標とは分けて扱う。

日本企業の生成AI利用は86.4%に達しました。ここから先の議論は、入れるかどうかではなく、入れた結果どうだったかになります。そのとき、測り方が決まっていない会社は、体感で判断することになります。

この研究は、体感で判断すると39ポイント間違えることがある、という記録です。