Tobatsu · 数字人情绪控制 · 实验三
换个模型：LTX-2 的情绪 prompt，听话多了
OmniHuman 的 prompt 压不过音频情绪——欢快的语音念「司机生气了」，脸还是在笑。换 fal-ltx-2-3-a2v 试同一段音频、同一套情绪 prompt：着急那一拍，脸真的皱起来了。
最关键一张图
同一段欢快音频，同一句「着急」prompt
都是「Oh no, the drivers are getting angry…」这句（音频本身是亢奋语气），都给了「furrowed brows, NO smile, anxious」的 prompt：
结论
LTX-2 的 prompt 杠杆强得多：它能压过音频情绪，让一段欢快语音配出焦虑的脸。OmniHuman 做不到（被音频带跑）。要做「情绪准」的数字人，LTX-2 是更对的模型。
OmniHuman · beat3 着急
LTX-2 · beat3 着急
LTX-2 四拍
四种情绪都分得开
| 拍 | 想要 | OmniHuman | LTX-2 |
|---|---|---|---|
| 惊喜 | 笑、亮眼 | ✓ | ✓ |
| 专注 | 收敛认真 | ~ | ✓ |
| 着急 | 皱眉、收笑 | ✗ 还在笑 | ✓ 皱眉苦脸 |
| 狂喜 | 欢呼、亢奋 | ✓ | ✓ |
这个模型的脾气
用 LTX-2 的几条硬约束
- 必须带 prompt：不给 prompt 的那组 4 条全失败。prompt 是这个模型的核心输入，不是可选修饰。
- 上限 20s：所以要按句/按拍切（这次 4 拍 16/7/9/8s 都 ≤20s），分别烧再 concat。正好和「按情绪拍切」是同一套切法。
- 调用：unified
type=any2video/model=fal-ltx-2-3-a2v/input={image_url, audio_url, prompt}。输出output_data.videos[]，1280×768。 - prompt 语言：这次用英文（LTX 是西方模型，英文发挥更稳），效果好。
方向
落地怎么搭
- 模型换 LTX-2：情绪可控性明显强于 OmniHuman，prompt 压得过音频。
- 按拍切（≤20s）：读 JSON 的
time_range+emotion_style，相邻同情绪合并成拍，每拍一段音频 + 一句情绪 prompt（agent 生成、纯表演、不提画面），逐拍烧、concat。 - 音频情绪仍是加分项：LTX 能靠 prompt 压过音频，但若配音那层也把情绪标签打对（「Oh no」用
[worried]），音画一致会更自然。 - 待评估：拼缝（多拍 concat 的衔接）、成本（一拍一次调用）、20s 切点对长视频的处理。
范围：探索 + 验证，全直连 unified 做的对照实验，未碰生产工作流。结论：LTX-2 + 按拍 prompt 是更可行的情绪控制路线。