- 1,222人を対象に、AI利用後の自立した課題遂行力を測る3つの実験を実施
- AIを外した直後、AI利用群は正答率が急落し、誤答や放棄が増えた
- 「生産的な苦闘」の喪失が背景にあると研究チームは指摘
何が発表されたのか
米カリフォルニア大学バークレー校の研究チームが、AIツールへの短時間の依存が、その後の集中力と粘り強さを大きく損なうという研究結果を発表しました。査読を経た論文は、言語モデリングに関する国際会議「Conference on Language Modeling」で報告されています。研究にはカーネギーメロン大学、マサチューセッツ工科大学、オックスフォード大学、UCLAの研究者も参加しました。
著者の一人は、同校Center for Human-Compatible AIのリサーチフェローを務めるBrian Christian氏です。同氏は2020年の著書「The Alignment Problem」で知られ、AIの進歩に期待を寄せる一方、AIと長時間作業することで自身の研究能力が落ちるのではないかという懸念を抱えてきたと記事は伝えています。
研究は今年前半に予備草稿が公表された時点で注目を集め、WIREDやPsychology Todayなどが取り上げました。先週にはNew York Timesもこの論文と関連研究について記事を出しています。
3つの実験で見えたこと
研究チームはオンラインで1,222人の参加者を募り、ランダム化比較試験を3回実施しました。最初の実験には354人が参加し、15問の分数の問題に取り組みました。一方の群はAIの助けなしで解き、もう一方の群はChatGPTを使える状態で解きました。
AIを使える群は開始時点では正答率が高い状態でしたが、12問を終えたところで研究チームがAIを取り上げると、ほぼ即座に正確に解けなくなりました。2回目の実験は667人を対象に行われ、AI利用者は支援がなくなると誤答したり完全に諦めたりした一方、AIを使わなかった群は粘り強く課題に取り組み、最後にはより良い成績を収めました。
3回目は201人を対象にSATの読解問題で実施され、同じ傾向が確認されました。Christian氏は「これ以上ないほど明確な結果だ」と述べています。
「生産的な苦闘」の喪失
研究チームは、AIへの過度な依存が認知的な力を削るという近年の調査や経験談を裏付ける結果だと位置づけています。AIが数秒で答えを出すことに慣れると、時間のかかる作業は非効率に感じられるようになります。さらに、チームが「生産的な苦闘(productive struggle)」と呼ぶ過程が失われ、自分の研究の強みや情熱を見つけにくくなる可能性があるとしています。
Christian氏は、AIは役立つように作られているが、それが本当に人間のためになっているのかを問い直す必要があると述べています。フロンティアAI企業も、チャットボットに作業を任せると基礎的な理解や習熟度が下がりうることを認めていると記事は伝えています。同氏は、即答を既定の動作にするのではなく、家庭教師のように教示的になる方向へ設計を見直すべきだと提案しています。
同氏は特に研究や学術の現場を懸念しています。データに近づき、対象に没入し、チームの一員として働くことが良い科学者を育てる要素であり、10人のチームが2〜3人とチャットボットに縮小されると重要なものが失われかねないとしています。
現時点での限界と注意点
この研究が扱った課題は分数計算とSATの読解問題であり、業務そのものを対象にしたものではありません。参加者はオンラインで募集された一般の協力者で、実験で使われたAIツールはChatGPTです。他の生成AIを使った場合や、より長い期間の利用、実務での影響については原文では触れられていません。
また、記事で示されている数値は参加者数と問題数が中心で、群ごとの正答率などの詳細な統計は原文には記載がありません。認知能力の低下が一時的なものか、長期的に続くものかも明らかにされていません。
| 実験 | 参加者数 | 課題 | AI撤回後の結果 |
|---|---|---|---|
| 実験1 | 354名 | 分数の問題15問 | 正答率がほぼ即座に低下 |
| 実験2 | 667名 | 原文に明記なし | 誤答または完全な放棄が増加 |
| 実験3 | 201名 | SAT読解問題 | 持続性と正答率が低下 |
We need to work toward a future in which human abilities are, as much as possible, augmented rather than supplanted.
私たちは、人間の能力ができる限り「代替」されるのではなく「拡張」される未来に向けて取り組む必要があります。
今後の見通し
今後は、査読済み論文の詳細な分析と、他機関による追試が判断材料になるとみられます。特に、AI利用をやめた後に認知的な力がどの程度回復するのか、AIの応答を「家庭教師型」に変えることで持続性の低下を防げるのかが焦点になりそうです。教育現場や企業の研修でAI利用のルールをどう設計するかは、こうした追試の結果を待って検討する段階と考えられます。原文では日本の教育機関や企業を対象にした調査には触れておらず、国内での再現研究や業務データでの検証が明らかになれば、実務判断の材料が増えるでしょう。
日本の開発者・IT企業にとっての意味
日本のIT企業にとって、この研究はAIコーディング支援やチャットボットを日常業務に組み込む際の設計方針に関わります。短時間のAI利用でも、いざ自力で考える場面での粘り強さが落ちる可能性があるなら、若手エンジニアの育成や障害対応のような「答えがすぐ出ない」業務で影響が出かねません。AIに答えを出させるのではなく考え方を示す形にする、AIを使わない時間を意図的に設ける、といった運用の工夫が検討材料になります。一方で、この実験は分数とSAT読解という短時間の課題が対象で、ソフトウェア開発のような長期の業務にそのまま当てはまるかは不明です。ツール導入の効果測定と合わせ、自立して問題を解く力が保たれているかを測る指標を用意することが現実的な対応といえそうです。
気になる点
- 業務でChatGPTを使うと、エンジニアの能力は下がるのでしょうか
- この研究で示されたのは、分数問題やSAT読解といった短時間の課題で、AIを外した直後に正答率と粘り強さが下がるという傾向です。ソフトウェア開発のような長期的な業務で同じ影響が出るかは検証されていません。ただし、AIに頼るほど「生産的な苦闘」が失われるという指摘は、業務設計を考える上での参考になります。
- ChatGPT以外のAIツールでも同じ結果になりますか
- 原文で言及されている実験はChatGPTを使ったものです。他のモデルやコーディング支援ツールを使った場合の検証結果は原文には記載がありません。研究チームは、AIの応答を即答型ではなく教示型に変える方向を提案していますが、それで持続性の低下を防げるかは今後の検証を待つ必要があります。
- この論文はどこで読めますか
- 論文のタイトルは「AI Assistance Reduces Persistence and Hurts Independent Performance」で、査読を経た版が言語モデリングに関する国際会議「Conference on Language Modeling」で発表されました。原文の記事には論文へのリンクや掲載先の詳細までは示されていません。全文の入手方法やデータの公開範囲は会議の情報で確認することになりそうです。
用語解説
- ランダム化比較試験
- 参加者を無作為に複数の群に分け、条件の違いによる効果を比べる実験手法。因果関係を調べる際の標準的な方法とされる。
- 生産的な苦闘(productive struggle)
- すぐに答えが出ない課題に粘り強く取り組む過程を指す、研究チームが用いた表現。この過程を通じて自分の強みや関心に気づくとされる。
- 査読
- 論文を専門家が事前にチェックする審査過程。通過した論文は一定の品質が担保されたとみなされる。
- フロンティアAI企業
- 最先端の大規模AIモデルを開発する企業を指す表現。原文では具体的な企業名は挙げられていない。
出典
Using AI for just 10 minutes erodes your ability to persist at hard things
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する