来源节选(非本站原创长文,完整内容请见来源)
近日,Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex,并开放适配器权重与推理代码。该模型通过六步去噪联合生成画面和声音,支持文本、首尾帧和多模态参考输入,供创作者进行镜头设计、参考生成和视频编辑。 本次发布包含两套 LoRA 适配器,分别用于文本及首尾帧条件生成、多模态参考生成,同时提供 MiniMax H3 基础组件和本地推理工具。
模型原生支持 480P、768P 输出,可生成约 5 至 15 秒的视频及同步立体声音频。Pika 提供 ComfyUI 工作流和 Hugging Face Diffusers 接入方式,方便开发者将其加入现有创作工具。 在本地生成之外,Pika 可通过 API 提供 1080P、2K 和 4K 视频增强,以及音频分轨功能。创作者可以先以较低分辨率生成和筛选草稿,再对选定版本进行高分辨率处理;同步生成的声音则可拆分为对白、配乐、音效、拟音和环境声五类独立音轨,方便在后期分别调整。
高分辨率的增强视频和音频分轨则由 Pika API 服务提供。 Pika 在技术博客中介绍,团队先在内部音视频数据集上对 MiniMax H3 进行监督微调,再采用投影分布匹配蒸馏(PDMD),将教师模型的 50 步去噪压缩至 6 步。随后,团队通过奖励反馈学习和直接偏好优化训练 LoRA 适配器,改善美学质量…
来源:雷峰网