はじめに
私たちが訓練した中国文様集 LoRA モデルのデータは、書格 - 中国文様集錦 からのものであり、100 枚近くの中国伝統文様の平面図が含まれています。画像を精密に処理した後、一定の背景理解能力と汎化能力を持つ LoRA モデルが得られました。
モデルのダウンロード
- 一部のモデル：https://civitai.com/models/29858/chinese-traditional-pattern
- 全モデル（30+ 個）：latentcat-models - Hugging Face
使用方法
トレーニングセットのアノテーションでは、以下の 5 つのフレーズに分かれています：
traditional chinese pattern
分類語、この語を追加すると他の画像の背景になりやすくなります。
with circular symmetrical composition
with square symmetrical composition
with special-shaped symmetrical composition
構図分類語、circular/square/special-shaped から選択可能で、画像が円形/四角形/特殊形状の構図になりやすくなります。
red and blue color scheme
色の傾向、1-4 色を選択可能で、前に来るほど画面での重みが大きくなり、一目見た時の画像の色分布として理解できます。
featuring horses and clouds
featuring flowers and branches
xx を特徴とする、例えば花を特徴とする、蓮の花と葉を特徴とするなど。花と雲が最適な語で、他の語の汎化能力はやや弱くなります。
a flower in the center
xx を特徴とする、例えば花を特徴とする、蓮の花と葉を特徴とするなど。花と雲が最適な語で、他の語の汎化能力はやや弱くなります。
そのため、これら 5 つの固定フレーズを中心に拡張することができます。背景として使用する場合は、重みを下げて 1 girl を追加することができます。
レイヤー分解：
レイヤー画像では、高重みの下で MIDD、OUTD などの LoRA レイヤーの重みのみを有効にすることで、単純に重みを下げる場合と比べて、文様スタイルをより保持した人物背景画像を作成できることがわかります。
推奨モデルバージョンの紹介：
以下は特徴的な効果を持つモデルバージョンですが、出力結果はパラメータやシードなどにも関係するため、自由に試してみてください。あなたのコメントをお待ちしています。
特徴的なモデルバージョン
以下は特徴的なモデルバージョンです：
- 4：文様がよりカートゥーン化され、色彩がより穏やかな特徴
- 7：キーワードの再現性が高く、データセットの傾向により適合
- 10：より対称的で、同時に非中心対称構図に傾向
- 13：10 と比べて色がより穏やかで、高重みで第三の分散構図が出現
- 15：高彩度と高い水平対称構図が特徴
- 16：高彩度 + 分散構図が特徴
人物との組み合わせバージョン
以下は人物との組み合わせが容易なバージョンです：
- loha01_old3: カートゥーン光影が出やすく、構図と花文様の装飾性が強い
- loha04_old3: 構図が全身になりやすく、光影の保持効果が良好
- loha06_old1: 構図の制限が少なく、人物の動きが自然
- loha02_old2: 背景のレイヤーが多く、対称性が強い
注意：人物が極めて出にくい場合は、Lora-Weight-Block プラグインを使用してレイヤー調整を行い、IND レイヤーまたは OUTD レイヤーのみを有効にすると、人物が出現しやすくなります。
データセットのアノテーションと LoHa トレーニング方法は更新中です。
画像処理
画像タグ付け
タグ付けプロセス
BooruDatasetTagManager でフォルダをロードし、クリーニング後のデータセットに対して背景、色、スタイル、構図の制限語による分類を行い、関連のある類似語を使用してトレーニングを実施
テスト出力
問題と境界
データセットは高度な人工選別を経ているため、非対称クラスの汎化性が比較的低いという問題があります。データセットの補充または継続的なトレーニングが必要です。より多くの提案がありましたら、コメントまたは PR の提出をお待ちしています。