Google研究、特許弁護士133人の3カ月実験 AIは品質を上げるが若手の技能形成に効かず

3カ月の実証実験

Google Researchは、知的財産法の実務家を対象にした3カ月間のランダム化比較試験の結果をブログで公表した。執筆はDavid Autor氏(Technology & Society Visiting Fellow)とTanya Rodchenko氏(AI & Economy Principal)による。米国の特許事務所11社に所属する弁護士133人が参加し、当時未公開だったGoogle Labsの特許明細書作成支援ツール(現在はGemini Notebookの一部)が使われた。研究の詳細は米国NBER(全米経済研究所)の論文「Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting」にまとめられている。

各事務所の弁護士の3分の2が「処置群」として早期アクセスを与えられ、残りは「対照群」としてAIの使い方のトレーニングだけを受け、3カ月の研究期間が終わるまでツールを使えなかった。評価は独立した法律の専門家が、権利行使可能性、正確性、戦略的曖昧性(請求項の戦略的な範囲設定)、網羅性、明瞭性という5つの観点で採点した。採点者は対象者がどちらの群かを知らないブラインド形式が取られている。

品質は一貫して向上

研究チームは10日後と90日後に、架空の発明に関する発明者資料を渡して特許明細書を起草させる課題を実施した。10日時点で、AIを使えた群のスコアは対照群を0.34標準偏差上回り、これは対照群の分布で10パーセンタイル相当の順位上昇にあたる。90日時点では0.38標準偏差(11パーセンタイル相当)に拡大した。

注目すべきは改善の中身である。低い評価の頻度が下がり、良い評価が増えた一方で、最上位の「優れた」評価の頻度は変わらなかった。スコア分布が下位から中位へ移動した形で、卓越した成果が増えたわけではない。この傾向は品質の5観点を通じておおむね一貫していた。

ジュニア弁護士では品質の向上に加えて時間短縮も確認された。10日時点の課題で、対照群の平均が124分だったのに対し、AIを使えたジュニアは18分速かったと報告されている。

AIを外すと差が出る

90日時点では、誤りを含む架空の特許をレッドライン(手作業で修正)させる課題が追加された。この課題ではAIツールの使用が一切認められておらず、ツールなしで発揮できる判断力を測る設計になっている。処置群の弁護士は起草課題ではAIの利用を促されたが、レッドライン課題では使えなかった。

結果として、AIを使ってきた群は対照群を0.32標準偏差上回った(9パーセンタイル相当)。ただしこの効果はシニア弁護士(経験7年以上)の0.45標準偏差(13パーセンタイル相当)によるもので、ジュニア(経験7年未満)には明確な改善が見られなかった。ジュニアのスコアはむしろ二極化し、非常に低い評価と良い評価が増え、平凡な評価が減り、最上位は増えなかった。

編集内容の質的分析では、ジュニアは冒頭の重要度が低い部分の校正に時間を使い、語句の言い換えにとどまりがちだった。重大な欠陥を見つけても修正を実行せず、指摘コメントを残す傾向があり、この「指摘はするが実行しない」姿勢はAIを使わなかった対照群のジュニアにも同様に見られた。一方でシニアは低リスクな文章を飛ばして請求項を組み立て直し、権利範囲を狭めかねない表現を削り、編集に法的根拠を添える傾向があったという。フォローアップのインタビューで、シニアはAIの出力を完成品ではなく「logic auditor(論理監査役)」として扱っていたと述べている。

限界と今後の研究

著者らは研究の限界も明示している。対象は特許弁護士の限られたサンプルで、これは第一線の専門職の時間単価が高いことを反映している。観察期間も3カ月にとどまり、持続的な専門性の形成に数年かかることを考えれば短い。モデル能力やAIへの慣れ、法務分野でのAI製品の普及はこの1年で急速に進んでおり、同じ試験を今やり直せば結果が変わりうるという。

著者らは、AI支援が専門的技能にどう影響するかを知るには、ツールを使ったときの成果と、ツールなしで発揮される実力を分けて測る試験が必要だと結論づけている。より良い仕事を生むツールが、若手が将来必要とされる専門家に育つことを妨げないようにすることを、このAI時代の重要な課題として挙げている。