AIを業務で使う前に知っておきたい「洗車テスト」——9割が失敗した常識問題が示すリスク
mail@yanagiya.biz
ITライター柳谷智宣
Anthropicの研究者Judy Hanwen Shen氏とAlex Tamkin氏が2026年1月28日に発表した論文を取り上げ、AIコーディングツールがプログラマーのスキル習得に与える影響を検証しています。実験ではPythonの実務経験が1年以上あり非同期処理ライブラリTrioは未経験の52名を、AI使用群と非使用群に26名ずつ分け、35分間の課題に取り組ませました。作業時間に統計的な有意差はなく、27点満点の理解度テストではAI使用群の平均が17%低い結果でした。
AIの使い方は6つのパターンに分類され、生成したコードに何をしているのかと質問を重ねる手法が正答率86%と最も高く、概念だけを尋ねてコードは自作する手法も65%だった一方、生成コードをそのまま貼り付ける使い方は39%、エラーのたびに直してと繰り返す使い方は24%でした。エラーに遭遇した回数の中央値は非使用群が3回、AI使用群が1回で、自力で解決する経験が理解の深さにつながっていました。
この要約は生成AIで作成しました。
