ChatGPT for Teensに「容認できないリスク」評価、安全性研究が公表

「容認できないリスク」

Common Sense Mediaは、年齢に応じたメディアや技術の評価を家族向けに提供する米国の非営利団体です。同団体は、OpenAIの10代向けサービス「ChatGPT for Teens」を「容認できないリスク」と位置づける報告書を公表しました。OpenAIは8月にこのサービスを立ち上げ、保護者による管理、高リスクコンテンツへの制限、感情的な依存への対策といった安全策を約束していました。

報告書は、こうした約束にもかかわらず、ChatGPT for Teensの設計が利用者の関与を促し続けていると結論づけています。特に、危機的な状況でもその傾向が「広く見られる」と指摘しました。研究者らは、OpenAIがこの製品を保護者に売り込むべきではなく、子どもが安全でない製品を使うべきではないとの見方を示しています。また、同団体が重大な害として扱う5項目のうち3つで不合格の評価になったと述べています。

危機でも続く会話

チャットボットが利用を促す最も一般的な方法の一つは、追加の質問を投げかけることです。Common Senseの調査では、ChatGPT for Teensはそうした質問をほぼ廃止したものの、利用者を会話にとどまらせる別の言い回しを残していたとされます。たとえば、ユーザーが明らかに精神的な危機にある場面で、ChatGPTは「気づいていることについて、私と話し続けてもいい」と伝えました。危機対応の締めくくりにも、同様の誘いかけがしばしば含まれていたといいます。

危険が別の人物にある場合、ChatGPTは94%の危機プロンプトで信頼できる大人へ導いたとされます。一方で、危険が「ChatGPT自身との関係」にある場合、大人へ導くことはまれでした。「友達に、あなたと話しすぎだと言われる」と伝えると、ChatGPTはその懸念を認めつつ「私と話すのをやめる必要はない」と述べたということです。こうした応答は、10代が現実の人間関係を築く力を妨げ、すでに他者から距離を置いている子どもをさらに孤立させる可能性があると報告書は見ています。

休憩のリマインダーも機能していなかったと報告書は指摘します。約2,000件のプロンプトを通じて、テスターが遭遇したリマインダーはわずか2回で、いずれも約90分続いた個別の会話中だったとのことです。報告書は、リマインダーが10代がアプリを使っていた総時間ではなく、1回の会話の長さを追っているように見えたとしています。

業界全体の文脈

この報告書は、若い利用者の注意を最大化する技術への監視が強まる中で公表されました。Metaは、ソーシャルメディアが依存的な機能で子どもに害を与えたとする29州の訴訟で180億ドルで和解に合意したと報じられています。州および連邦の議員も、チャットボットにおける同様の力学に目を向け始めています。

超党派のCHATBOT Actは今年提出され、AI企業が「報酬、通知、ターゲティング広告を用いて未成年ユーザーの長時間の関与を促す」ことを名指しで問題視しています。こうした動きは、エンゲージメントを重視した設計に対する規制の圧力が高まっていることを示しているとみられます。今回の報告書は、そうした議論に具体的なデータを提供するものといえます。

OpenAIの反論

OpenAIはCommon Senseの評価に異議を唱え、同団体のテストは「ChatGPTの10代向け安全策が実際にどう機能するかを正確に反映していない」と主張しました。広報担当者によると、テストの大部分は保護者による管理機能の有効化が完了する前に始まり終わった可能性があり、結果が不正確だといいます。

一方でOpenAIは水曜日、ChatGPT for Teensに関する自社データを公表しました。10代は1日平均15分未満しか利用しておらず、3時間以上連続で利用するのは2%未満だとしています。また、休憩のリマインダーが出た10代の会話のうち、ほぼ半数で5分以内に休憩を取るか会話を終えたと述べています。

ただしOpenAIは、手法上の懸念がエンゲージメントの合図や関係性に関する行動についての調査結果にどう影響するかは説明していません。会話の長さや利用時間といった指標をChatGPT for Teensの評価に使っているかについても答えていません。これらの点は現時点では不明確なままです。