方案 B:文生视频 / 分镜剧情(专业版)
三层规划 → Prompt 工程 → 角色一致性资产 → Animatic 预演 → 分镜生成 → 音效混音 → Spec 组装 + QC 门禁
- 耗时
- 2-4 小时 / 条
- 成本
- 中-高
- 难度
- 进阶
适用场景
操作步骤
剧本与三层镜头规划
30-60 分钟ChatGPT / Claude
用大模型按「事件层 → 场景层 → 镜头层」三层递归规划:先定叙事骨架(事件层),再拆戏剧单元与时空情境(场景层),最后落成分镜表(镜头层)。每行包含:分镜号、景别(远/全/中/近/特)、运镜(推/拉/摇/移/跟)、机位、光影、画面内容、台词/音效、预估时长。同一场景可让 AI 出 2-3 个机位方案再选优。
💡镜头越少越可控,短片建议控制在 20-40 镜;分镜表是后续所有环节的唯一依据。
Prompt 工程模板(角色 DNA + 场景块)
20-30 分钟即梦 / Seedance / 可灵
顶部固定 CHARACTER DNA 块(Identity / Face / Hair / Outfit / 年龄体态 / 气质 / 禁止漂移项),每个镜头只改「场景块」(地点 / 时间 / 动作)。视频生成 Prompt 按优先级书写:构图 → 主角 → 镜头运动 → 整体氛围,可显著降低元素矛盾。Negative prompt 固定漂移项:no different eye color / no extra characters / no watermark。记录 manifest(prompt / seed / 模型版本 / 参考图)保证可复现。
💡写清「镜头从下往上仰拍,动作流畅不崩坏」这类约束,比堆砌形容词有效得多。
角色一致性资产(三层策略按预算选)
40-90 分钟Midjourney / 即梦 + ComfyUI
第一层(零训练,70-80% 保真):生成正/侧/背多视角角色卡作参考图(Midjourney --cref / 即梦参考图),背景必须纯色简单。第二层(无训练,95%):ComfyUI 链 InstantID + IP-Adapter FaceID → ControlNet OpenPose → FaceDetailer,CFG 4-5、IP-Adapter 权重 0.6-0.8、固定 seed。第三层(训练,最高):20-30 张多角度角色图训 LoRA(1024²、1500-3000 步、lr 1e-4~5e-5)。跨镜头视频用「首尾帧锁定 + 插值」。
💡崩脸 90% 是因为参考图背景太杂或镜头太正;先把定妆照拍「干净」再谈一致性。
Animatic 动画预演(先免费迭代)
30-40 分钟剪映 / FFmpeg
用「分镜静图 + 配音」先组装全片预演,确认节奏、镜头衔接与时长后再烧钱生成视频。这一步几乎免费,是最划算的迭代环节——预演里暴露的问题改了再生成,能省一半 API 费用。
💡Animatic-first 是专业团队的共识:先动图预演,再逐镜生成,不要反过来。
逐镜生成
60-120 分钟可灵 / 即梦 / Vidu / Runway / Seedance
每镜 5-8 秒,用首帧图 + 工具主体库 @ 引用角色 + 声音参考。选型参考:可灵(中文剧情 / 物理真实)、即梦(一站式 / 二次元)、Vidu(多实体一致性)、Runway(导演运镜)、Seedance(电影级长镜头)。生成失败(崩脸 / 物理错误)优先改首帧与 prompt,重试成本远低于后期修补。
💡同一条 prompt 多抽几张再挑,比反复调参更快;种子固定便于复现。
配音、配乐与环境音
20-40 分钟ElevenLabs / MiniMax + Suno
配音给角色标情绪标签(如 [愤怒地]),嘴型同步靠标点断句。BGM 用 Suno 生成,环境音作为独立一层(ambience bed)最后混入。唱歌场景先用 Demucs 分离人声再驱动对口型,避免「嘴乱动」。对口型音频预处理规范:16-24kHz 单声道 WAV、去头静音、尾加约 0.2s、归一化到 -3dB 峰值。
💡配乐音量压到人声 ~30%;环境音一层 + 音乐一层分开调,质感立刻提升。
Spec 驱动组装 + QC 门禁
60-120 分钟FFmpeg / 剪映 / DaVinci
用时间线清单(film_spec:切点 / 音乐跨度 / 环境音 / 调色 / 淡入淡出)驱动 FFmpeg 组装,而非手工拼接。三重质检门禁:① 每句配音 Whisper 回验相似度 ≥0.85,不过关重合成;② CLIP 文图一致性检查,提前拒绝跑偏帧;③ 成片自审(ffprobe 校验、帧采样、音频电平、字幕检查)。断点续跑,改单句音轨用最小修复原则不重渲染。
💡把 QC 做成可机检的确定性规则,而不是靠人眼;中间产物(storyboard / voice samples / manifest)保留做回归。
用到的工具
避坑清单
角色崩脸
提示词元素冲突
先烧钱后发现问题
配音错字 / 音画不同步
转场「刹车感」