ChatGPT利用と批判的思考訓練が学生の成果を相補的に向上、1,000人超の実験

実験の概要

ボッコーニ大学の研究者らは、OpenAI Economic Researchと共同で、1,000人以上の学部1年生を対象にした無作為化実験を実施した。学生は実際のビジネス課題として、大学のグッズショップ向けのマーケティング提案を作成した。

学生はクラスごとに4群へ無作為に割り付けられ、ChatGPT（GPT-4o）へのアクセスあり・なし、因果推論の訓練あり・なしの組み合わせで比較された。因果推論は「原因と結果を結びつけて、解決策が機能する理由や失敗する条件を説明する」批判的思考の一種で、訓練はAIとは無関係に行われた。

成果物は訓練された評価者が5段階のルーブリックで採点し、さらに自動テキスト分析でアイデアの数や多様性、因果推論の兆候、専門家の回答との類似度が測定された。

ChatGPTの効果

ChatGPTにアクセスできた学生は、5段階評価でほぼ1点高いスコアを得た。回答にはより多くのアイデアが含まれ、論理の筋道が明確で、専門家が書いた推薦文との類似度も高かった。つまり、AI支援によって初心者がよりプロフェッショナルな成果物を作れるようになった。

ただし、学生がChatGPTに課題を丸投げしていたわけではない。学生は何を質問するか決め、応答を評価し、最終提出物に何を含めるかを選択していた。AIはあくまで作業の補助として使われたとみられる。

思考力訓練の効果

因果推論の訓練を受けた学生は、自分のアイデアが機能する理由や失敗しうる条件をより明確に説明できた。しかし、従来型のルーブリックによる採点では、ChatGPT利用ほどのスコア向上は見られなかった。

ところが、テキスト分析からは別の利点が明らかになった。訓練を受けた学生のグループ全体で、アイデアの種類が広がり、他の学生の回答と比較してより独創的なものが増えた。標準的なルーブリックは明確で構造化された回答に高得点を与える一方、他の学生と異なる独自のアイデアを評価し損ねる可能性がある。

組み合わせの相乗効果

ChatGPTへのアクセスと思考力訓練の両方を受けた学生は、それぞれの効果を併せ持っていた。アイデアの多様性は訓練のみの学生と同じ水準で、ルーブリックスコアとアイデア数はChatGPTのみの学生と同程度だった。

さらに、論理的整合性が強く、説明や仮定の疑いを探る兆候も多く見られた。このグループは全測定項目で最も広い改善を示しており、AI活用と思考力訓練が互いに補完し合うことが示唆される。

教育現場への示唆

この実験が示すのは、AIは学生が洗練された成果物を作るのを助けるが、最終的な回答だけを見ても学生が実際に理解していることは分からないという点だ。教育現場では、成果物が評価の中心である限り、AIの影響が大きい時代には評価方法の見直しが必要になる。

従来のルーブリックでは、独創性や複数の視点の検討を適切に評価できない可能性がある。この結果は、単に最も慣用的で洗練された回答だけでなく、独創性や理由付け、複数のアプローチを考慮した成果を評価する重要性を示している。