画像を生成する Pipeline に 公開されている LoRA を複数重ね合わせてどのような画像が生成できるか試してみた。 LoRAは下記のように設定して読み込み、セットして使用が可能。

• RoLA_DIR : LoRA を保存しているローカルディレクトリ
• weight_name : LoRA のファイル名
• adapter_name : 読み込んだ LoRA に名前を付与

adapter_weightsは読み込むLoRAに対する重みの設定値で、0.0～2.0の範囲で数値が高いほど効果が強く表れる。公開されているLoRAによって推奨値があるものもあるが・・・実際に試してみるしかなさそう。

# LoRAをロード
pipe.load_lora_weights(\
RoLA_DIR, weight_name=negative_hand, adapter_name="negative_hand")

pipe.load_lora_weights(RoLA_DIR, weight_name=suisai, adapter_name="suisai")

pipe.set_adapters(\
adapter_names=["negative_hand", "suisai"], adapter_weights=[1.4, 0.8])

# 確認用
print(f"アダプター一覧: {pipe.get_list_adapters()}")
print(f"適用後のアダプター: {pipe.get_active_adapters()}")

実際に出力してみた比較結果

seed 値を固定してそのほかプロンプトや設定値も固定で、読み込むLoRAと重みの設定値のみを重ねた結果。 一番右は機械要素+ドラゴン要素

同様に画風のLoRAを試してみた結果。