6月に発表された動画生成AIであるLumaAI Dream Machineによってハイクオリティの動画が誰でも生成できるようになりました。
でも、どんなプロンプトを書いたら良いのか分からない…
動画が破綻しちゃうんだけど、どうしたら上手く作れるんだろう？
今回はLumaAI Dream Machineのプロンプトのコツや画像から動画を生成させる時に破綻させないコツなどについて解説しました。
・LumaAI Dream Machineのプロンプトの書き方
・LumaAI Dream Machineのプロンプト例
・LumaAI Dream Machineで安定して動画を生成させるコツ
・LumaAI Dream Machineで破綻した時の対処法
LumaAI Dream Machineのプロンプトのコツは？
LumaAI Dream Machineで動画生成したいけどプロンプトが分からない！
動画生成AIといえばSoraに期待がかかっていましたが、ここにきてSora級の高品質な動画生成AIが登場しSNSでは大盛り上がりでした。
しかし、筆者も実際に使用して動画を生成してみましたが、プロンプトから動画を生成するにせよ画像から動画を生成するにせよ「狙った通りの動画が生成されないなー」という印象でした。
では、実際にDream Machineに狙いの動画を生成してもらうにはどうすれば良いのでしょうか？
結論から言うと「映像用のプロンプトの記述すること」が最大のコツになります。
ここでは、Dream Machineでハイクオリティな動画を生成するためのプロンプトのコツを、具体的なプロンプト例や応用テクニックも含めて初心者用に解説しました！
プロンプトのコツ１０選
早速、Dream Machineで狙った動画を生成させるためのプロンプトのコツを１０個まとめました。
- 具体的で詳細な言葉を選ぶ：
抽象的な表現ではなく、「青い空」「赤い車」「ゆっくりと歩く」のように、具体的で詳細な言葉で描写しましょう。 - 文脈を明確にする:
単にキーワードを並べるのではなく、「夕暮れの海辺で、カップルが手をつないで歩いている」のように、状況や関係性を明確に示すことでAIに映像を正しく認識させることができます。 - カメラワークを駆使する：
「クローズアップ (Close-up)」「ローアングル (Low Angle)」「トラッキングショット (Tracking Shot)」など、カメラワークを具体的に指示することで、映像に動きと変化を加えることができます。 - 感情や雰囲気を表現する：
「楽しそう」「悲しそう」「幻想的」「壮大」など、感情や雰囲気を表現する言葉を加えることで、より深みのある映像を生成することができます。 - スタイルを指定する：
「アニメ風」「実写風」「水彩画風」など、動画のスタイルを指定することで、イメージに合った映像を生成できます。 - "Enhance Prompt" 機能を使い分ける：
Dream Machine には、短いプロンプトでも AI が自動的に詳細な描写を追加してくれる "Enhance Prompt" 機能があります。ONにすると破綻しやすくなる場合もあるのでON/OFFを使い分けると動画が安定しやすくなります。 - プロンプトの長さは適度に：
長すぎず、短すぎないプロンプトが重要になります。長すぎるとAIが苦手なプロンプトを含める可能性も上がり、その場合は破綻の原因になります。逆に短すぎる場合はイメージと違った動画が生成される確率が上がります。 - 映画的なプロンプトを取り入れる：
"thrilling" や "epic", "suspenseful", "dreamlike" といった映像向きのキーワードをプロンプトに含めると映画的な映像になりやすくなります。 - "video" という単語を含める：
プロンプトに "video" という単語を含めることで、AI が動画生成モードに切り替わりクオリティが上がりやすくなります。 - 動詞と形容詞を効果的に使う：
動詞は被写体の動作を、形容詞は映像の雰囲気や感情を表現するのに役立ちます。
いかがでしょうか？
プロンプトのコツに関しては他のテキストベースの生成AIであったり、画像生成AIに共通する部分も多いのではないでしょうか。
なので、特に重要になるのは３・８・９の「映像に関するプロンプト」です。
筆者が使用するときはAIに映像を強く意識させるために「drone shot」（ドローンから撮影したショット）のプロンプトを入れる時もあります。
また、カメラワークのプロンプトについては実写系プロンプトも役に立ちます。
これについては以前の記事にまとめてありますので試してみたい方はチェックしてみてください！
応用テクニック
もっと長い動画も作ってみたい！
基本プロンプトが書けて、より長い動画を生成してみたい方もいると思われます。
以下、Dream Machineをより高度に使いこなすためのテクニックを紹介します。
- 長い動画の制作:
5秒間の動画を複数生成し、動画編集ソフトで繋ぎ合わせることで、より長い動画を作成できます。あるいは、Dream Machineに実装された「Extend機能」を使うと、続きの映像を生成することができます。 - ループアニメーションの作成：
開始フレームと最終フレームを一致させるようにプロンプトを調整することで、ループ再生可能なアニメーションを作成できます。 - カメラワークをより細かく制御する:
- "camera moves slowly towards the subject" のように、動詞を駆使してカメラワークを細かく指定することで、より映画的な演出が可能になります。
Dream Machineはまだまだ発展途上なので、これからどんどん新しい機能が実装されることが予想されます。
新しい機能が出た時はとにかく触って試してみることをおすすめします！
LumaAI Dream Machineのプロンプト例と書き方
Dream Machineのプロンプトのコツは分かったけど実際のプロンプトの書き方が分からない…！
具体的なプロンプト例で確認したい！
ここでは、具体的なイメージが湧かない方のために実際に筆者がDream Machineを使って生成した動画を元に具体的なプロンプトの書き方を解説します！
具体的なプロンプトの例と、各要素がどのように動画に反映されるのかをチェックしてみてください。
①SFガンアクション風シーン
マトリックスのような世界観でSF風のガンアクションモノのシーンです。
こちらの動画のプロンプトは以下です。
【プロンプト例】
A cinematic slow-motion shot of a lone warrior dodging bullets in a dark, futuristic city. The warrior performs a gravity-defying leap, their long black coat billowing in the wind. Sparks fly as bullets ricochet off the walls. The atmosphere is tense and thrilling.
プロンプトの各要素の解説はこちらです。
- カメラワーク: "slow-motion shot" でスローモーション、"lone warrior dodging bullets" で被写体の動きを指定
- 被写体: "lone warrior"
- 場所と時間: "dark, futuristic city"
- 世界観を表現する形容詞: "gravity-defying", "billowing", "tense", "thrilling"
- その他: "sparks fly as bullets ricochet off the walls" でガンアクションに必要な演出を追加
ポイント: 映画のワンシーンを思い浮かべながら、カメラワーク、被写体、場所、時間、形容詞、その他の要素を具体的に言語化することで、イメージ通りの動画に近づけることができます。
②ファンタジー風シーン
２つ目の動画例はファンタジー風のアニメーション動画です。
ディズニー作品のようなファンタジーの世界観で、１例目とは異なりアニメの世界観に合わせた3D背景になっています。
こちらの動画のプロンプトは以下です。
【プロンプト例】
A drone shot flying through a magical forest bathed in golden sunlight. Mystical creatures with glowing wings flutter among the trees. A crystal clear river winds through the forest floor. The camera pans up to reveal a majestic castle in the distance. The atmosphere is enchanting and serene.
続いて、プロンプトの各要素の解説がこちらです。
- カメラワーク: "drone shot flying through" でドローンによる空中撮影を表現
- 被写体: "mystical creatures with glowing wings"
- 場所と時間: "magical forest bathed in golden sunlight"
- 形容詞: "mystical", "glowing", "crystal clear", "majestic", "enchanting", "serene"
- その他: "The camera pans up to reveal a majestic castle in the distance." でカメラワークを追加
こちらの動画は世界観自体は上手く表現されていますが、被写体である妖精が少し破綻しています。
これは被写体に関するプロンプト「Mystical creatures」（幻想的な生き物）の情報が曖昧だからです。
妖精なら「妖精」と明確に、もっと言うと「どんな妖精なのか？」をプロンプトで細かく指定すると破綻しづらい映像になります。
③現代風の都会シーン
続いての動画例は、前回の２作品とは異なりかなり現実的な現代の都会風シーンです。
人・建物（ビル）・車など現代的な要素で構成された動画になります。
このタイプの動画は映画風作品からドキュメンタリー風作品まで幅広く使用することができ、汎用性も高いタイプの動画です。
しっかり、どんなプロンプトを書けば生成結果に反映されるかコツを掴んでいきましょう。
こちらの生成動画のプロンプトは以下です。
【プロンプト例】
A cinematic drone shot of a bustling city at sunset. The camera flies over skyscrapers, capturing the flow of traffic and the movement of people. Car horns and the chatter of pedestrians create a vibrant soundscape.
今回は短めです。
短くてもしっかり映像に関するプロンプトを盛り込むと動画のような破綻のないシーン作りが可能になります。
プロンプトの各要素の解説は以下です。
- カメラワーク："A cinematic drone shot"ドローンによる空中ショットを映画風に撮影を指示
- 被写体："traffic and the movement of people" 動きに関するプロンプトを追加し映像向けに
- 場所と時間："a bustling city at sunset","skyscrapers" 時間帯の雰囲気も指定
- その他："Car horns and the chatter of pedestrians create a vibrant soundscape" 動画内の音声をイメージした雰囲気を指定
冒頭から映像に関する２つのプロンプト「A cinematic」「drone shot」を組み合わせているところがコツです。
「A cinematic drone shot」１プロンプトで覚えておくといい感じに映画風の動画が生成されやすくなるのでおすすめです！
いかがでしょうか？
プロンプトの各要素で解説した要素を含めながら映像向きプロンプトを盛り込むと動画として一定のクオリティが保たれます。
そこからはトライアンドエラーでいかに自分のイメージした映像に持っていくかなので研究してみましょう！
また、解説では主に英語のプロンプトを使用していますが、日本語でも問題なく出力されます。
英語プロンプトに自信のない方はまずは日本語で生成してみましょう。
あるいは、日本語でプロンプトを作った後でChatGPTやClaudeなど他の生成AIに英語に直してもらうのもおすすめです！
LumaAI Dream Machineで動画生成を安定させるコツは？破綻した時の対処法は？
実際にLumaAI Dream Machineで動画を生成してみたけど安定しない…
破綻した時はどうすれば良いの？
映画並みにクオリティの高い動画を生成することができるLumaAI Dream Machineですが、映像が破綻した低クオリティの動画が生成されることがあります。
ここでは、より安定して動画を生成するためのコツと破綻した時の対処法をまとめました！
安定して動画を生成させるコツ７選！
早速、安定して動画を生成させるコツを７個まとめました。
これ以外にもSNSでは色んな説が囁かれていますが、実際に筆者がやってみて効果があった方法になります。
- Enhance Promptの使い分けをマスターする:
Enhance Prompt機能は、プロンプトが短い場合に効果を発揮します。逆に、プロンプトが詳細な場合は、OFFにした方が良いので該当する場合はOFFにしましょう。 - AIが想像しやすい画像を選ぶ：
LumaAI Dream MachineではImage2Video機能（イラストから動画を生成）を使う場合、AIが「続き」を想像しやすい構図の画像を選びましょう。例えば、人物が歩いている途中の画像よりも、これから歩き出す瞬間の画像の方が、自然な動きの動画を生成しやすくなります。 - カメラワークで動きを演出する:
被写体の動きを細かく指定するよりも、カメラワークを指定した方が安定しやすい傾向があります。ズーム、パン、トラッキングなど、様々なカメラワークを駆使して、動きのある映像を作り出しましょう。 - 解像度と品質を調整する:
Dream Machineでは、解像度や品質を調整することができます。高画質を指定するプロンプトをたくさん含めると破綻が目立ちやすくなる時があるので該当する場合はプロンプトを減らしましょう。 - アスペクト比を意識する:
動画の用途に合わせたアスペクト比を選択しましょう。例えば、SNS投稿用の動画であれば、1:1または9:16の縦長動画が効果的です。 - フレームレートを調整する:
フレームレートは、動画の滑らかさを左右する重要な要素です。数値が高いほど滑らかになりますが、ファイルサイズも大きくなります。動画の用途に合わせて、最適なフレームレートを設定しましょう。 - 試行錯誤を繰り返す：
一度で完璧な動画を生成することは難しいので、様々なプロンプトや設定を試しながら、最適な解像度やパラメータを見つけていきましょう。
破綻した時の対処法｜チェックリスト
続いて、動画が破綻してしまった時の対処法についてまとめました。
筆者も結構、頻繁に破綻しているのでよくあるパターンを表で整理しましたので、破綻した時はチェック項目みたいに確認用として使用してみてください。
| 原因 | 対処法 |
|---|---|
| プロンプトが抽象的すぎる | より具体的で詳細な言葉に置き換える |
| プロンプトが長すぎる | 重要な要素に絞り込み、簡潔にする |
| Enhance Prompt が ON のままだとうまくいかない | OFF にして、プロンプトを詳細化する |
| 画像が適切でない (Image2Videoの場合) | 別の画像を試すか、構図や被写体の状態を変える |
| カメラワークが複雑すぎる | シンプルなカメラワークに変更するか、被写体を固定して背景を動かす |
| スタイルが合っていない | 別のスタイルを試す |
| 解像度や品質が高すぎる | 設定を下げてみる |
| フレームレートが高すぎる | 設定を下げてみる |
| AIの学習データの偏り | 表現方法を変えてみるか、諦める |
大体の破綻は上の表を見ながらどこに問題があるのかを特定しプロンプトをいじれば解決します。
破綻の原因としてよくある共通点は「曖昧要素を含むプロンプトがある」です。
先ほどの実際の動画例②でも確認したように、プロンプトの指定に曖昧なところがあるとAIが想像して勝手に生成することになります。
AI側に想像の余地を与えることこそが破綻の原因なので「プロンプトに曖昧要素がないか？」を１つの基準として確認してみることをおすすめします！
また、どうしてもプロンプトの生成が苦手な方はChatGPTのプラグインであるGPTsもあります。
LumaAI Dream Machineに特化したプロンプトを生成してくれるので活用してみるのも手です。
まとめ
この記事では最新の動画生成AIであるLumaAI Dream Machineのプロンプトのコツや書き方を実際に生成した動画とプロンプト例を元に解説しました。
Dream Machineはまだまだ発展途上ですので、破綻することも多いと思います。
筆者も破綻しまくっています。
そんな時は、是非、破綻チェックリストを見ながらプロンプトに問題がないか確認してみてください。
Dream Machineの動画生成の一助になれば幸いです。
また、Dream Machineに新しい機能が実装されたら逐一解説していこうと思います。
コメント