子どもはAIの10万分の1のデータで言語を習得、その謎を探る「BabyLM」

データ効率ギャップとは

人が言語を話し始めてから10万年以上が経ちます。しかし、人間の言語を完全に習得できる存在は、これまで人間の子どもだけでした。ChatGPTの登場以降、LLMもまた自然な会話ができるようになりましたが、その裏には大きな問題があります。

LLMは学習に膨大なデータを必要とします。メタのLlama 3.1は事前学習で15兆トークンを使いました。子どもが思春期までに触れる言葉が約1億語であるのに対し、LLMはその10万倍以上のデータを処理します。スタンフォード大学の認知科学者マイケル・フランク氏は、「森を燃やし、全人類の知識をかき集めても、居間で1年かけて起こる出来事を再現するのは難しい」と述べています。

言語習得論の歴史

なぜ子どもが少ないデータで言語を学べるのかという問いは、長い論争の的です。1950年代、言語学者ノーム・チョムスキーは、子どもは生まれながらに文法の知識を持つと主張しました。これは、心理学者B.F.スキナーの環境説への反論であり、「刺激の貧困」論に基づいています。

チョムスキーの考え方は生成文法として支配的になり、初期のAI研究にも影響を与えました。しかし、明示的なルールで言語を教えようとしたシンボリックAIは失敗し、1970年代にはAI冬の時代を迎えました。その後、ニューラルネットワークが復活し、Transformerの登場によって大規模データ学習が可能になり、2022年のChatGPTで大きな成功を収めました。

BabyLMの挑戦

LLMの高性能は統計学習の成果ですが、子どものような効率性は実現できていません。そこで、言語学者のアレックス・ワースタット氏らは2022年、子どもと同じ規模のデータでモデルを訓練する競技会BabyLMを立ち上げました。

BabyLMでは、物語、対話、映画の字幕、Simple English Wikipedia、通常のWikipedia、実際の子ども向け音声文字起こしから構築された1億語のコーパスが使われます。モデルは心理言語学の文法ベンチマークで評価され、例えば「The keys to the cabinet are on the table」と誤りの「is」をどれだけ予測して驚くかが試されます。

まだ分からないこと

BabyLMの初期の結果は、いくつかの仮説に疑問を投げかけています。単純なデータから複雑なデータに段階的に学習させるカリキュラム学習は、最も人気のある手法でしたが、効果は限定的でした。

しかし、子どもがどのようにして少ないデータから言語を習得するのかは依然として謎です。チョムスキーの生得的文法理論が正しいのか、それとも統計学習で十分なのかは、現時点では結論が出ていません。データ効率ギャップは、認知科学とAI研究の両方にとって未解決の課題です。