顧客データが見えない法務AIエージェント、Legoraが語る評価と開発手法

Legoraとは何か

Legoraは、法律事務所向けにAIエージェントを提供する企業です。CTOのJacob Lauritzen氏が、Latent Spaceのポッドキャストで開発と評価の手法を語りました。同社はストックホルムの地下室で、ChatGPTとスウェーデン法、検索ツールを組み合わせた取り組みから始まったとされています。

現在のLegoraでは、弁護士がWord文書の作成・編集、1万件の契約を1つの表でレビューする作業、デューデリジェンス(買収前の契約・資産調査)などをエージェントで支援できます。エージェントは弁護士、顧客、他のエージェントの間の作業調整も担うということです。同社は自社の買収案件のデューデリジェンスにも自社製品を使ったと述べています。

見えないデータの評価

Legoraは、エージェントが弁護士のために行った処理のトレース(実行ログ)を一切読めないといいます。データは法律事務所の顧客に帰属するためです。この制約の中で、どうエージェントを構築しテストするかが中心的な課題となります。

同社では3人のエンジニアと3人の弁護士が、顧客の業務を模したテスト環境を構築しているとされます。これは強化学習で使われる「worlds(世界)」に近い考え方だと説明されています。加えて、トレースを言い換えた上で、失敗を10〜20種類に絞り込むという手法も取られているということです。

引用精度とモデル選択

引用の正答率について、あるリリースで70%だったものが99%に改善した一方、Legora側は何も変更しなかったと述べられています。モデルはすでに法務作業の約60%をうまくこなせる水準に達している、というのがJacob氏の見立てです。

同社は長年、利用者がモデルを選ぶ機能(モデルピッカー)の追加に慎重でしたが、最終的にこれを追加しました。Jacob氏は、FableとOpusは下書きには「おしゃべりすぎる」と感じ、Astraの簡潔な文章を好むと語っています。長い契約書の作成を「検索の問題」と捉えている点も、設計思想として興味深いところです。

Tabular Reviewと構成

特徴的な機能の一つが「Tabular Review」で、100万セル規模のスプレッドシートだと表現されています。業界がその名前まで模倣したとされている点も語られました。弁護士がどう使うか、最初の10行から何が分かるかといった実務的な内容も含まれています。

基盤はすべてAzure上で動かしており、その理由はデータプライバシーだとされています。文字起こしにはElevenLabsを使わないことも言及されました。APIの構築には長く慎重な姿勢を取っており、「エージェント自体をAPIにできるか」という問いを立てているとされます。

現時点の不確実性

Fable、Opus、Astraといったモデル名が具体的にどの製品を指すのかは、原文では明確にされていません。また、法務作業の約60%という数値や引用の70%から99%という改善は、Jacob氏の発言に基づくもので、外部で検証されたものではない点に注意が必要です。

法律事務所のパートナーシップモデルや請求時間(billable hour)、若手弁護士やパラリーガルの仕事がどう変わるかについても議論されていますが、いずれも今後の見通しの域を出ません。モデル提供元が法務ツールを制限するかどうかも、現時点では結論が出ていない論点として挙げられています。