Microsoft、顧客データを使わずにCopilotを評価する合成企業環境を構築

何が発表されたのか

Microsoftの研究ブログは2026年10月30日付で、Microsoft Copilotの評価に用いる合成企業環境「Industry Evaluation Data Generation Platform」の取り組みを公開しました。狙いは、実顧客データを使わずに、実際の組織に近い複雑さを持った評価用データを用意することにあります。同社は、現実の企業データには評価に使えない機密情報が含まれるという課題を挙げています。

プラットフォームは3つの柱で構成されます。現実のユーザーや会議、メール、文書、組織構造を模した「合成企業環境」、評価データセットを再現性をもって大量に作る「自動クエリ生成パイプライン」、そして合成データが評価に耐える品質かを確かめる「構造化品質フレームワーク」です。同社はこの仕組みによって、Copilotが利用者の求める動作をしているかを、顧客データに触れずに確かめられると説明しています。

現実の組織をどう模すか

合成環境は、米国労働省の職業データベースO*NET、オンライン求人情報、SEC提出書類といった公開データに基づいて作られます。O*NETは職務と責任の現実味、求人情報は職種名や報告階層、SEC提出書類は組織規模や事業部門の構造に反映されるといいます。いずれも公開情報で、Microsoftの法務・ポリシー部門の確認と承認を得たとされています。

特徴的なのは時間軸の扱いです。環境は静的なスナップショットではなく、数週間にわたって展開する会議履歴、プロジェクトのタイムライン、メールスレッド、組織変更を再現します。「先週の木曜にチームは何を決めたか」「前回の四半期レビューから何が変わったか」といった時間に依存する質問は、元データに時間構造がなければ意味のある評価にならないためです。

業種ごとの環境も用意されました。規制申請や臨床試験の議論を含む製薬、ディールパイプラインやコンプライアンス連絡を含む資本市場、スプリント計画やコードレビューを含むIT・ソフトウェア企業の3つです。汎用的なテストケースでは見つからない、業種固有の失敗の型を洗い出す狙いがあるとみられます。

クエリ生成と品質の見極め

評価にはクエリ、つまりCopilotに投げる質問が必要になります。何千もの業種固有の質問を手作業で書くのは費用も時間もかかりすぎるため、同社は6段階の自動パイプラインを構築しました。よくある業務タスクのライブラリから業種に関係するものを絞り込み、業種固有の言い回しと文脈に合わせ、合成環境のデータに基づくクエリをAIで生成します。その後、より自然な表現に書き換え、正確さと重複のなさを検証する流れです。

合成データの品質は、社内のセマンティック評価フレームワークで測ります。組織構造の現実味を見る「構造的忠実性」、実際の企業利用に近いかを見る「文脈的関連性」、模擬ユーザーのコミュニケーションが人間らしいかを見る「行動的リアリズム」、有害・攻撃的・個人識別可能な内容や実在人物のなりすましがないかを見る「コンテンツ安全性」の4項目です。なお原文は「3つの次元」と書きながら4項目を挙げており、数え方には整理の余地があります。

プライバシー面では、パイプラインのどの段階でも実顧客データを使わないことが前提とされています。実世界の統計分布を参照する際にはプライバシー保護型の集約手法を用い、公開データ源は法務のレビューを受け、データの来歴と系譜を追跡する仕組みも備えます。完全に合成で安全性スクリーニング済みであるため、チームはコンプライアンス上の追加審査を挟まずにデータを共有・再利用できるとしています。

成果と社内での位置づけ

同社は、合成データの品質が構造・文脈・統計的忠実性の各面で改善したと報告します。複合品質指標のスコアは初期の生成手法と比べて39%向上し、一部の業種別環境では1.0満点中0.9超に達しました。現実的な業種シグナルの取り込みと、品質指標を用いた自動改善の両方が寄与したということです。

効率面では、各合成環境に数百人規模のユーザーと完全なコミュニケーション履歴が含まれるようになりました。データセット作成は数日がかりの手作業から自動実行に変わり、データセットあたり約10万ドル、プロジェクト全体で約30万ドルの削減を見積もっています。同社は再現性の向上をより重要な成果として挙げ、同じ設定から同じデータセットを再生成できることがリリース間の比較を可能にすると説明します。

この評価データは社内の共有カタログに公開され、チームをまたいだ再利用に供されています。さらにMicrosoft Copilotの最初の標準評価ベースラインとして位置づけられたとしています。

現時点で分かっていないこと

一方で、公表されている情報だけでは判断しづらい点も多くあります。合成環境やクエリ生成パイプラインがMicrosoftの外部に提供されるのか、ライセンスや料金がどうなるのかは示されていません。共有カタログへの公開は社内での話であり、外部向けの提供形態については言及がないためです。

また、合成データによる評価結果が実顧客データでの評価とどの程度一致するのかを示す定量比較は、この記事では示されていません。品質スコア0.9超や39%向上はあくまで社内の複合品質指標による値であり、その指標の定義や算出方法の詳細も公開されていません。評価の妥当性を外部から検証するには、指標の設計と実データとの突き合わせが公開されるかが鍵になるとみられます。