FLUX.3 Image Klein公開、Diffusersで画像生成から編集まで1モデル

公開された内容

Black Forest Labsが公開した画像生成モデル「FLUX.3 Image Klein」が、Hugging FaceのDiffusersで扱えるようになりました。2つのオープンなチェックポイントが「FLUX.3 Image Klein」コレクションに含まれており、Hugging Face Spaceからすぐに画像生成を試せると案内されています。利用には最新のdiffusersとtransformersが必要で、これはQwen3-VLベースのテキストエンコーダを使うためです。

読み込みはModularPipeline.from_pretrainedで行い、load_componentsでdtypeを指定してからパイプラインをGPUに移します。Modular Diffusersのパイプラインとして提供されるため、ブロック単位で差し替えたり独自のブロックを追加したりできる点が特徴として挙げられています。

1モデルで3つの用途

FLUX.3は、テキストからの生成、複数の参照画像を使った画像編集、バウンディングボックス(矩形領域)によるレイアウト制御を1つのモデルでこなします。テキストからの生成では、被写体・状況・光・構図・スタイルを含むシーン全体の記述が効果的とされ、蒸留版はデフォルト16ステップで1024×1024の画像を生成します。ステップ数や縦横のサイズは引数で変更できます。

参照画像はimage引数で渡し、複数ある場合はプロンプト中で<ref_image_0>、<ref_image_1>のように、渡した順に参照します。レイアウト制御では、キャプションの後にid・bbox・descを持つJSONのリストを付けて領域を指定します。bboxは[y_min, x_min, y_max, x_max]の順で0〜1000に正規化されているため、同じ指定を画像サイズによらず使い回せます。

編集では、各領域が参照画像内のsrc_bboxと出力側のtgt_bboxを持ち、同じ矩形を指定すればその場にとどまります。原文では、編みぐるみの騎士を毛糸の崖に沿って左上に動かし、背景やドラゴン、炎など他の要素は変更しない例が示されています。

量子化・メモリ・速度

ベースチェックポイント(flux-3-image-klein-base)はclassifier-free guidanceを使って50ステップで動かし、ファインチューニングの土台に向くとされています。ガイダンススケールは5.0の例が示されています。transformerはbf16の単一ファイルに加え、行単位FP8の「fp8r」と「nvfp4」の量子化版も配布され、from_single_fileで読み込めます。その際は他のコンポーネントを名前指定で読み込み、bf16版のtransformerを重複してダウンロードしないようにします。

メモリが足りない場合の手段として、量子化transformerの利用、テキストエンコーダを分離して実行後に解放する方法、実行中だけ各コンポーネントをGPUに移す自動CPUオフロードの3つが案内されています。自動CPUオフロードについては、ベンチマークを取っていないと明記されています。

速度は、H100 80GB・オフロードなし・デフォルトのattentionバックエンドという条件で、蒸留版16ステップのエンドツーエンドの時間がウォームアップ後の3回平均として示されています。参照画像を1枚加えると時間はおよそ2倍になり、1024×1024の参照画像はtransformerの呼び出しごとに4,096トークンを追加すると説明されています。

LoRAで自社向けに調整

FLUX.3はテキストからの生成と画像編集の両方に使えるため、独自LoRAの土台になるとされています。diffusersにはDreamBooth LoRAの学習スクリプトが両タスク向けに用意され、OstrisのAI Toolkitでも学習できると案内されています。

原文の例では、tarotカードのスタイルを学ばせるために、multimodalart/1920-raider-waite-tarot-public-domainデータセットを使い、instance_promptに「trtcrd」、解像度1024、rank 16、lora_alpha 16、学習率1e-4、max_train_steps 1500、bf16といった設定が示されています。メモリを抑えるにはgradient_checkpointing、cache_latents、use_8bit_adamを追加します。それぞれ、逆伝播での活性の再計算、画像の事前エンコード、オプティマイザ状態の8bit保持という役割です。

rankやオプティマイザを変えて同じスタイルを学習した結果のアダプタは、Hub上のdiffusers-modular/flux3-tarot-loraで公開されています。指示ベースの編集用には、(参照画像, 目標画像, 指示)の3つ組で学習する画像編集スクリプトが用意されています。

現時点で不明な点

原文のアーキテクチャ解説は、FLUX.3がlatent spaceのフローモデルであり、VAEが画像を各方向に8分の1へ圧縮するという説明の途中で終わっています。入力トークンは生成中の画像と、任意の参照画像という構成だと説明されています。VAEのアーキテクチャはFlux.2と同じだとされています。

ライセンスや商用利用の条件、量子化形式ごとの画質差、必要なVRAMの実測値は原文に記載がありません。ベースチェックポイントの生成時間も示されていません。導入を検討する場合は、これらの情報が公開されるかを待つ必要があります。