複雑な背景を生成するためのポイントを3つに分けて解説
複雑な背景は、単純にプロンプトを挿入するだけでは再現が難しいと言えます。また、モデルによっては表現できるものとできないものがあります。
背景の描写は、「リアル調モデル」と「アニメ調モデル」などの違いによっても大きく異なります。アニメ調の方が自由度は高い場合が多いです。
さまざまなモデルが登場しており、風景描写の美しさを売りにしているものもあれば、SF感あふれる世界観の描写を売りにしているものもあります。背景の描写に長けたモデルに切り替えてみることも効果的です。
ここではまず、Stable Diffusionで複雑な背景を生成するためのポイントを3つに分けて解説します。
①LoRAを使用する
背景の描画に関するLoRAを使用することで、表現の幅を大幅に広げることができます。
LoRAを使用してプロンプトの調整をする手間を省き、簡単に目的の場所を表現することができます。
また、他の場所（単純なプロンプトでは再現が難しい場所）については、上手にプロンプトを組み合わせることで、目的の場所を再現することができるかもしれません。
②ControlNetを活用する
「ControlNet」という拡張機能を追加することで、登場人物のポーズを自在に指定できます。例えば、人物をキャンバスの右端に配置して風景を際立たせることができます。
特別な構図やポーズを使用する場合には、「ControlNet」を利用して人物のポーズを固定し、その上で背景を指定すると良いでしょう。
③背景のサイズに関するプロンプトを入力する
背景を重視する場合のポイントは、解像度を横長の768×512に設定し、「wide shot」や「full body」などのプロンプトを使用することです。
これにより、広角の画像が簡単に生成されやすくなります（ただし、「wide shot」の効果は限定的かもしれません）。適切に指定しないと、人物の描写が主要な要素となり、背景の魅力が損なわれる可能性があります。
Stable Diffusionで思い通りの背景を生成するためのプロンプト
Stable Diffusionで背景を指定するプロンプトには、次のような種類があります。
- 背景のテーマ
- 部屋（教室や子供部屋など）
- 自然系の背景（海や森など）
- 施設（病院、学校、ビルなど）
- アミューズメント系の背景（遊園地や動物園など）
「room」や「street」などの主要な場所は、プロンプト（呪文）を指定するだけで、主要な場所の描写は容易に行えます。
背景に関連するプロンプトを包括的に取り上げています。ただし、詳しく見ると明らかにおかしい部分や、人物の描写に工夫が必要な箇所もあります。そのような場合は、皆さんがプロンプトを工夫してみてください。
綺麗に画像を生成するためには、best quality・masterpieceなどの品質系プロンプトを用いる事をお勧めします。
「動作」「服装」「小物（人工物）」などのプロンプトを適切に組み合わせることで、イメージに近い風景や光景を実現することが出来るでしょう。
①背景のテーマを指定するプロンプト
| プロンプト | 生成される画像 |
| simple background | シンプルな背景 |
| plain background | シンプルな背景 |
| basic background | シンプルな背景 |
| in Tokyo | 東京風の背景 |
| in Kyoto | 京都風の背景 |
| in New York City | ニューヨーク風の背景 |
| in New York in front of the statue of Liberty | ニューヨーク、自由の女神前の風景 |
| in front of the Sphinx, Egypt | エジプト、スフィンクス前の風景 |
| outside | 屋外 |
| inside | 屋内 |
| in the car | 車内 |
| on the train | 電車内 |
| village | 村 |
| town | 町 |
| road | 道 |
| street | 通り |
| residential street | 住宅街 |
| shopping street | 商店街 |
| downtown | 町の中心地 |
| cityscape | 都市 |
| photo background | 写真風 |
| multicolored background | カラフル |
| sepia background | セピア色 |
| white background | 白 |
| gradient background | グラデーション |
| blurry background | 背景をぼかす |
| alleyway | 路地 |
| night view | 夜景 |
| city | 都市 |
| plaza | 広場 |
| skyline | 街の景観 |
| in the train | 電車 |
| Underpass | 高架下 |
②部屋を背景とするプロンプト
| プロンプト | 生成される画像 |
| room | 部屋 |
| dining | ダイニング |
| kitchen | キッチン |
| living | リビング |
| bedroom | 寝室 |
| closet | クローゼット |
| toilet | トイレ |
| bath | お風呂場 |
| shower room | シャワールーム |
| class room | 教室 |
③自然を背景とするプロンプト
| プロンプト | 生成される画像 |
| in the middle of forest | 森林 |
| at the beach | ビーチ |
| landscape | 自然 |
| starry background | 星空 |
| rainbow background | 虹 |
| floral background | 花 |
| Beach | 浜辺 |
| Bridge | 橋 |
| cave | 洞窟 |
| garden | 庭 |
| desert | 砂漠 |
| forest | 森 |
| harbor | 港 |
| island | 島 |
| lake | 湖 |
| meadow | 牧草地 |
| snowy | 雪景色 |
| sunride | 日出 |
| sunset | 日の入り |
| underwater | 水中 |
| waterfall | 滝 |
④施設を背景とするプロンプト
| プロンプト | 生成される画像 |
| in the school | 学校 |
| gym | ジム |
| office | オフィス・会社の職場 |
| factory | 工場 |
| park | 公園 |
| market | 市場 |
| car park | 駐車場 |
| shrine | 神社 |
| temple | お寺 |
| church | 教会 |
| university | 大学 |
| lab | 実験室 |
| police station | 警察署 |
| prison | 監獄 |
| fire station | 消防署 |
| hospital | 病院 |
| Orchard | 果樹園 |
| School | 学校 |
| skyscraper | 高層ビル |
| Castle | 城 |
| stadium | スタジアム |
| train station | 駅 |
| vineyard | ワイン畑 |
⑤アミューズメントを背景とするプロンプト
| プロンプト | 生成される画像 |
| christmas market | クリスマスマーケット |
| amusement park | 遊園地 |
| zoo | 動物園 |
| aquariun | 水族館 |
| movie theater | 映画館 |
| library | 図書館 |
| museum | 博物館 |
| art museum | 美術館 |
| theater | 劇場 |
| concert hall | コンサートホール |
| opera house | オペラハウス |
| baseball stadium | 野球場 |
| campsite | キャンプ場 |
| onsen | 温泉 |
| pool | プール |
| musement park | 遊園地 |
| bowling alley | ボーリング場 |
| movie theatre | 映画館 |
| ice skating rink | スケートリンク |
| Carnival | カーニバル |
⑥お店を背景とするプロンプト
| プロンプト | 生成される画像 |
| department store | デパート |
| mall | ショッピングモール |
| shop | お店 |
| convenience store | コンビニ |
| restaurant | レストラン |
| coffee shop | 喫茶店 |
| tea shop | 喫茶店 |
| bar | バー |
| hotel | ホテル |
| Cafe | カフェ |
| night market | 夜市 |
プロンプト使用例
ここでは、上で紹介したプロンプトを用いて、背景の画像を生成してみます。
使用するモデルは「basilmix」です。詳細設定は以下の通りです。
Sampling method：Euler a
Sampling steps：20
Width：512
Height：512
Batch count：1
Batch size：1
CFG Scale：7
Seed：-1
Script：None
公園にいる女性の画像
プロンプト：
masterpiece, 1 girl, (at the park)ネガティブプロンプト：
bad quality,worst quality
しっかりと公園にいる女性の画像が生成されました。
住宅街にいる男の子の画像
プロンプト：
masterpiece, high quality, 1 boy, residential streetネガティブプロンプト
bad quality,worst quality問題なく画像を生成することが出来ました。
リアル系の背景が得意なモデル5つを紹介
ここでは、きれいに背景の画像を生成するためにおすすめのリアル系モデルを5個紹介します。
以下にダウンロードリンクも記載するので気になったモデルがあれば使用してみてください。
BRA
https://civitai.com/models/25494/brabeautiful-realistic-asians-v2
ChilloutMix
https://civitai.com/models/6424?modelVersionId=11745
kisaragi_mix
https://civitai.com/models/45757?modelVersionId=97186
basil_mix
https://huggingface.co/nuigurumi/basil_mix
majicMIX realistic
https://civitai.com/models/43331/majicmix-realistic
それぞれのモデルについて画像で比較
上で紹介したモデルに、背景の画像を生成させて比較します。
詳細設定は以下の通りです。
Sampling method：Euler a
Sampling steps：20
Width：512
Height：512
Batch count：1
Batch size：1
CFG Scale：7
Seed：3999503105
Script：None
プロンプト：
beautiful, masterpiece,landscape,woods, green weedsネガティブプロンプト：
low quality, worst quality上記の設定で画像を生成すると、以下のようになりました。
Basilmixはほかのモデルで生成した背景よりも、淡い色合いの画像が生成されました。また、chilloutmixとkisaragimixは学習元が同じなのか、似たような背景が生成されました。
アニメ調の背景が得意なモデルを4つ紹介
上ではリアル調の背景を得意とするモデルを紹介しましたが、ここではアニメ調の背景を生成するのが得意なモデルを4つ紹介します。
7th anime v3
https://huggingface.co/syaimu/7th_Layer
abyssorangemix2SFW
https://civitai.com/models/4437/abyssorangemix2-sfwsoft-nsfw
breakdomain-anime
https://huggingface.co/nyxia/breakdomain-anime
counterfeit V2.5
https://huggingface.co/gsdf/Counterfeit-V2.5
それぞれのモデルについて画像で比較
上で紹介したモデルに、背景の画像を生成させて比較します。
詳細設定は以下の通りです。
Sampling method：Euler a
Sampling steps：20
Width：512
Height：512
Batch count：1
Batch size：1
CFG Scale：7
Seed：3999503105
Script：None
プロンプト：
beautiful, masterpiece,landscape,woods, green weedsネガティブプロンプト：
low quality, worst qualityBreakdomainのみ、淡い色合いの画像が生成されました。
また、プロンプトで指定していないにもかかわらず、小屋が生成されるモデルも存在しました。
美しい背景を生成するためのLoRA
ここでは、美しい背景を生成するためのLoRAをいくつかご紹介します。通常のプロンプト入力のみでの画像生成に限界を感じたら、是非使用してみてください。
Cosmic Landscapes
https://civitai.com/models/25837/cosmic-landscapes
幻想的な風景の生成に特化したLoRAです。
Sakimori
https://civitai.com/models/13549/sakimori-or-landscape-style-lora-669
色鮮やかな景色を生成するのに適したLoRAです。
Underwater photo
https://civitai.com/models/35940/underwater-photo-lora-tropical-edition
水中で撮影したような景色を生成することが出来るLoRAです。
まとめ
Stable Diffusionで思い通りの背景を生成するためには、プロンプトを的確に入力することが求められますが、一方で、プロンプトのみでの画像生成には限界がある場合もあります。
プロンプトのみでの画像生成に限界を感じたら、LoRAの使用を検討しましょう。より思い通りの画像を生成できるようになると思います。