OmniHuman 数字人怎么支持 >60s

问题:超过一分钟就直接挂

combo workflow voiceover_digital_human_pip_subtitle_mai 里,数字人这一棒把整条配音喂给 OmniHuman v1.5。模型 720p 单次最多 60 秒,这条 case 的音频 71.58 秒,于是 skill 直接报 audio_too_long,任务失败。

探索过程:从一个失败任务挖到根因

1. Mai 那边给到失败任务 8bc83ee0,result 写着 audio_too_long=71.58s。配音是 Tobatsu 内部生成的,不是 Mai 入参。
2. 只读查 prod 库(magi3),拿到 task_type 和 workspace 路径——workspace 还在机器上。
3. 翻 workspace:配音阶段其实是逐段生成的——12 段 segment-*-final.mp3 + 一条合并的 final-audio.mp3(71.576s)+ 字符级时间戳。
4. 对账:每段在合并轨上的起止点,正好压在脚本的时间刻度上(53 / 60 / 66 / 71.53…),段间用静音垫齐。
5. 挑切点:离 58s 最近的段边界是 53.0s(第 8 段末)→ 切成 A=53s、B=18.6s,都 ≤60。切点落在两段之间的停顿,不切词。
6. 真跑两段 OmniHuman——结果暴露了真正的坑。

真正的坑:说完话,画面还在空转

两段都中招:OmniHuman 输出的画面比声音长。话说完了,它自己续了一截没有声音的画面——而且不是定格,人还在动。

它带来三件麻烦:

• 时长漂:每段多一截,切几段就多几次。两段直接拼 → 72.583s,比原音频长 +1007ms。
• 接缝卡顿:A 说完空转 0.8 秒才轮到 B,像中间顿了一下。
• 唇形错位(对 combo 最致命):最终声音是配音,数字人是叠上去的画面。画面逐段变长,到结尾嘴和声音能差出快一秒。

解法:按声音长度,把尾巴裁掉

尾巴是纯尾部、又没声音,所以按"这段声音多长"一刀切到那里,不会动到任何对口型的内容。一招同时治好时长和接缝。

改在哪:只动 combo runner 一个函数

skill 不动、agent 不动。逻辑加在编排层 mai-combo-runner 的 run_digital_human()——音频超 58s 才走分段,≤58s 老路完全不变。产物还是单个 digital-human.mp4,下游 PIP/字幕完全无感。

def run_digital_human(payload, audio_url):
    D = probe_dur(audio_url)
    if D <= 58.0:
        return _omnihuman_once(audio_url, payload)   # ≤60s 老路,零改动
    cuts   = pick_cuts_from_segment_boundaries(58.0)  # 切点落段间停顿
    chunks = split_audio_zero_drift(audio, cuts)      # 按段分组 / PCM,0 漂移
    parts  = []
    for ch in chunks:
        m = _omnihuman_once(ch.url, payload)          # 同 skill,各 ≤60s
        parts.append(trim_video_to(m.video, ch.dur))  # ★ 裁掉无声尾巴
    concat(parts, OUTPUTS/"digital-human/digital-human.mp4")

* split / trim / concat 用已声明的 ffmpeg-media-tools,不加新依赖。

看效果:三条对比

同一张主播图、同一句 prompt。裁过的明显比没裁的连贯;Hedra 是"整条单次跑"的参照(单独提供,见说明)。

等你拍的几个口径