北京大学ら「DataFlow-Harness」公開、LLMによるパイプライン生成を構造化

背景と発表内容

AIコーディングエージェントは、単一のJSONファイルを解析する独立したPythonスクリプトを書くようなタスクでは、数秒で正確な回答を返せる。一方、数千件の非構造化文書を取り込み、チャンク分割や品質スコアリング、ノイズのフィルタリングを行う体系的なデータ処理パイプラインの構築を依頼すると、同じエージェントが失敗することが多い。大規模言語モデル（LLM）は一回限りのコード生成には強いが、本番運用を前提とした複雑なワークフローでは自由形式で使い捨てのスクリプトを出力しがちで、監査や編集が難しいという課題がある。

この課題に対処するため、北京大学、Zhongguancun Academy、上海のInstitute for Advanced Algorithms Researchの研究チームは、オープンソースのフレームワーク「DataFlow-Harness」を発表した。このフレームワークは、LLMエージェントに構造化された視覚的なデータ処理ワークフローを段階的に構築させ、生のコードを最初から書かせるのではなく、永続的で編集しやすい成果物を生成する。これにより、AIが生成したパイプラインを既存のアーキテクチャへ統合しやすくなることを目指す。

NL2Pipelineギャップ

研究チームは、ユーザーが自然言語でワークフローの要件を表現することと、本番環境が構造化された永続的なパイプライン資産を要求することの間に存在する乖離を「NL2Pipelineギャップ」と定義した。論文の筆頭著者であるRunming He氏は、最初の壁はPythonを書くことではないと述べている。現代のコーディングエージェントはそれらしいスクリプトを素早く生成できるが、実際にインストールされているオペレーターの利用や、実データセットのスキーマへの整合、登録済みデータセットやモデルサービスの参照、ステージ間の依存関係の保持など、本番プラットフォームへの接地が難しいという。

実験では、Claude Codeがコードベースのコンテキストを利用して自由形式のスクリプトを書いた場合の成功率は94.2%だった。一方、プラットフォーム固有のビルディングブロックだけを使ってネイティブなワークフローグラフを作成する場合、成功率は83.3%に低下した。この10.9ポイントの差が論文の中心的な発見であり、管理・監査可能なパイプラインの生成は、使い捨てコードに比べてエージェントにとって本質的に難しいことを示している。

性能とコスト削減

DataFlow-Harnessは、12のタスクで構成されるデータエンジニアリングベンチマークにおいて、93.3%のエンドツーエンド成功率を達成したと報告されている。標準的なClaude Codeと比較して、APIコストを最大72.5%、応答遅延を49.9%削減し、コードベース全体を与えられて標準的なスクリプトを書くAIとほぼ同じ成功率を達成したという。これらの数字は、構造化されたパイプラインを生成するアプローチが、性能とコストの両面で実用性を持つことを示唆している。

研究チームは、企業はAI自動化の速度を活かしつつ、管理不能な技術的負債を蓄積せず、セキュアで監査可能、本番準備が整ったパイプラインを維持できると主張する。ただし、この数字は特定のベンチマークに基づくものであり、あらゆる環境での性能を保証するものではない。実際の運用環境での効果は、対象となるデータや既存基盤によって異なるとみられる。

仕組みと今後の課題

DataFlow-Harnessはエージェントの行動空間を変えるアプローチだとHe氏は説明している。任意のコードを生成させる代わりに、プラットフォームのセマンティクスに基づいて段階的に構築させることで、利用できないオペレーターや古いプラットフォームの前提への依存といった幻覚（ハルシネーション）を減らすとみられる。これにより、生成されたパイプラインが他のエンジニアにとっても理解・修正しやすい成果物になることを目指す。

論文では4つのコンポーネントから構成されるとされているが、現時点で公開されている記事ではその詳細は明らかにされていない。実装の詳細や、特定プラットフォームへの依存度、他のデータ基盤への応用可能性については、論文の公開情報を確認する必要がある。また、ベンチマークは12タスクという限定的な範囲であり、より多様な実運用環境での検証が今後の課題となるだろう。