コードで水彩画を描くAI——オープンなRL環境で美的嗜好を学習させる試み

発端と公開の狙い

Hugging Faceのブログで、コード生成モデルに水彩画を描かせるという実験が詳しく紹介された。この記事は2026年9月3日付で、アーティストのSurya Narreddi氏が8月23日に投稿した動画が発端だ。動画にはモデルが生成した水彩画が映っており、執筆時点で再生回数は150万回を超えている。

モデルはp5.brushというライブラリを使い、JavaScriptのコードとして絵を描く。Narreddi氏のブログには初期段階の学習内容が説明されているが、データやコードは公開されていなかった。そこでHugging Face側が、同じアイデアをオープンに再現する試みを始めた。

報酬: 美しさをどう測るか

通常の言語モデルRLは、数学の答えやテストに通るコードなど、検証可能な報酬を使う。これに対し、このプロジェクトは美的な好みを報酬にする。正解がない点が最大の難しさであり、「RLで個人の趣味を学習できるか」という問いがプロジェクトの中心にある。

報酬は2つのモデルを組み合わせて計算する。1つはHPSv3と呼ばれる7Bパラメータのオープンな選好モデルで、画像と説明文から人間が好みそうかをスコア化する。もう1つはQwen3-VL-30B-A3B-Instructによるペアワイズ判定で、候補の絵をプールから無作為に選んだ4枚の参照画像と比較し、勝った割合を報酬とする。

ペアワイズ判定には、にじみや透明感、柔らかい輪郭などの観点が指定され、左右の提示順も入れ替えて2回評価する。この判定によって、個人の好みが反映されたプールが教師の役割を果たす。

RL環境と描画の制約

学習ではTRLとOpenEnvを使ってパイプラインを構築する。モデルはQwen/Qwen3.5-35B-A3BをベースにLoRAで軽量化されており、指定した1コマンドで学習が実行できる。全てのコードと学習済みモデルはHugging Face Hubに公開されている。

描画環境ではp5.brushが実際の紙や顔料をシミュレートする。ライブラリには47のメソッドがあるが、学習時のプロンプトでは10個だけが使える。これにより線やハッチングなどを排除し、水彩らしい塗りの表現に限定している。

また、生成されたスケッチがコンパイルできるか、p5を直接呼んでいないか、キャンバスに本物の絵の具があるかなどを検査するゲートも用意されている。不正にスコアを欺こうとするコードは弾かれる仕組みだ。

手選別プールの役割と限界

報酬の基準となる参照プールは、著者が個人的に選んだ178枚の絵で構成される。これらの絵はすべてモデルが生成したもので、人間の絵画は含まれていない。4種類のオープンなモデルが、iNaturalistの公開ライセンス写真を基にp5.brushでスケッチを作り、それをビジョンモデルのフィードバックで3回改善した後、著者が1枚ずつ選別した。

プールは「love」と「okay」の2段階に分けられており、ペアワイズ判定の際は両方から半分ずつ参照画像を選ぶ。この設計は、初期の弱いモデルでも勝てる相手を残すための工夫だ。人間の作品を使っていない点は限界として明記されている。