アニメキャラをしゃべらせるAI:MP3の音声に口の動きを合わせる
Spicy Lip Syncは、キャラの顔の静止画と最大60秒のMP3から、録音に合わせて口が動く動画を作ります。声は自分で用意するので、セリフは録音した、または使用許諾を得た音声そのまま。表情や雰囲気は、任意のプロンプトで少し調整できます。
正直にお伝えしておくと、このモデルは人物のトーキングヘッド動画向けに作られています。資料が想定しているのは実在の人物を動かす使い方で、イラストのキャラクターには触れておらず、SpicyHub AIでもアニメ調の顔での検証はまだ済んでいません。リアル寄りの顔や、口がはっきり描かれた絵ほどうまくいきやすく、小さな口や記号的な口はほとんど動かなかったり、不自然に動いたりすることがあります。長いProで生成する前に、Standardの5秒(50クレジット)で試してください。
キャラをしゃべらせる手順
顔がはっきりした画像を用意する
正面か、やや斜めのアングルで、口がしっかり見えていて閉じているか少し開いている状態。頭から肩までが画面の大部分を占めるようにし、髪や手、小物が口にかからないようにします。JPEG・PNG・GIF・WebP、50MBまでです。
音声を整える
MP3のみ、60秒・25MBまで。料金は音声の秒数(切り上げ)で決まるので、前後の無音はカットしておきましょう。5秒未満は5秒として計算されます。
StandardかProを選び、プロンプトは短く
音声1秒ごとの料金は、480pのStandardが10クレジット、720pのProが18クレジット。プロンプトは任意で、モデルの資料では短い英語のプロンプトが推奨されています。たとえば「calm smile, small nods, soft studio light」のように書きます。
まず5秒、うまくいったら本番
Standardで5秒のセリフを試し、口の動きをよく見ます。合っていれば本番の長さで生成し、合わなければ別の顔画像に替えてから再挑戦を。料金は開始前に表示され、失敗した生成のクレジットは返還されます。「入力を再利用」を使えば、同じ画像と音声でやり直せます。
2つの画質と、もう1つの選択肢
Spicy Lip Sync Standard
480pで1秒10クレジット。テストはすべてこちらで。あとで高画質化する予定のクリップにも向いています。
Spicy Lip Sync Pro
720pで1秒18クレジット。Standardのテストでキャラの顔に合うと分かってから、本番の1本に使いましょう。
Seedance 2.5(動画ラボ)
録音がまだないなら、Seedance 2.5はサウンドが初期設定でオンのまま、最長30秒でキャラを動かせます。手元の録音にセリフを合わせたいときはリップシンクを選んでください。
各モデルの料金はAIモデルにまとめています。
リップシンクがうまくいきやすい顔
- 正面か、やや斜め向き。真横の顔や、大きく見上げる・見下ろす顔は、動かせる口の情報が少なくなります。
- 口がきちんと描かれていること。唇やはっきりした口の形があり、閉じているか少し開いている状態が理想です。短い線1本だけの口や、口のない顔では動かせる部分がほとんどありません。
- 口元に何もかからないこと。手、扇子、マスク、カップ、髪の毛が口を横切っていない画像を選びます。
- 顔を大きく。全身の立ち絵ではなく、頭から肩までにトリミングしてから使います。
- 自分のオリジナルキャラか、使用許可を得た顔に限ります。他人の作品のキャラクターに、勝手にセリフを言わせることはできません。
料金の目安
料金は音声の長さで決まり、1秒単位で切り上げ、最低5秒分です。
- 5秒:Standardで50クレジット、Proで90クレジット。
- 30秒:Standardで300、Proで540。
- 60秒:Standardで600、Proで1,080。
- ベータ期間中は登録時に無料クレジット50がもらえ、このガイドがすすめる5秒のStandardでの試し(50クレジット)を1回行えます。追加のクレジットは料金プランで扱う予定で、お支払いは近日開始です。
声の権利について
使えるのは、権利を持っている声だけです。自分の声、この用途に同意した声優、使用が許諾されている音声合成などが該当します。実在の人物の声を本人の同意なく真似ることや、実在の人物が何かを言っているように見せることはできません。自分のもの、架空のもの、許諾を得たものの顔と声で作れば、利用規約(英語)の範囲内に収まります。
ほかのツールとの組み合わせ
- リップシンクは静止画から始めるため、キャラクター差し替えで作った動画の声を差し替えることはできません。しゃべるカットはここで、動きのカットはあちらで作り、編集ソフトでつなげましょう。
- Standardの出力は480pです。3〜15秒のクリップなら、動画の高画質化で1080pに(16クレジット)できます。
- 先に顔画像を整えたいときは、画像ラボで無地の背景に、口をはっきり描いた絵を作るか直してください。
詳しいガイド
関連ツール
- 画像ラボ — 正面向きの顔をまず描く
- キャラクター差し替え — 参考動画の動きをキャラに
- 動画の高画質化 — 短いStandardのクリップを1080p・2K・4Kに
- 動画ラボ — 録音なしで、サウンド付きでキャラを動かす
アニメキャラのリップシンクのよくある質問
音声はどのくらいの長さまで使えますか?
MP3で60秒・25MBまでです。長い台本は自然な間で区切り、同じ顔画像で1つずつ生成してください。
日本語のセリフでも使えますか?
言語の設定はなく、口は文字起こしではなく録音の音そのものに合わせて動きます。言語ごとの精度は測っていないため、使いたい言語の短いセリフでまず試してください。
自分の声ではなく音声合成を使ってもいいですか?
その音声合成サービスのライセンスがこの用途を認めていれば使えます。声優に頼む場合も、この用途について同意をもらってください。実在の人物の声を複製したものは、本人の同意なしに使わないでください。
30秒だといくらかかりますか?
Standardで300クレジット、Proで540クレジットです。正確な金額は生成前に表示されます。
自分のキャラの絵柄でもうまく動きますか?
お約束はできません。人物のポートレート向けに作られたモデルで、アニメ調の顔での検証も済んでいないため、確実な答えはご自分の画像でStandardの5秒を試すことです。正面向きで口がはっきり描かれた顔が、いちばん可能性が高いです。
作った動画を商用で使えますか?
利用規約(英語)上、生成したものは基盤モデルのライセンスが許す範囲であなたのものです。顔画像と音声の権利を確かめるのはあなたの役目です。
画像と音声のファイルは保存されますか?
ファイルを扱うのは、SpicyHub AIと、モデルをホストする外部の会社です。アップロードしたファイルは再利用できるようアカウントのストレージに保存され、サービス改善に使われることがあります。[email protected]へのメールでマーケティングへの利用を断らない限り(オプトアウト)、18歳以上向けでない生成物が宣伝に使われる場合もあります。アカウントを削除すればファイルも削除され、特定のファイルはサポートに頼めば先に削除できます。くわしい扱いはプライバシーポリシー(英語)に記載しています。