Runway,作为由AI驱动的多媒体创作工具的先驱,本周推出了Gen-4 Turbo,这是其Gen-4模型的改进版本,该模型于三月底推出。Gen-4系列允许用户从输入图像和文本描述中创建5到10秒的视频片段,适用于从独立创作者到专业影视制作人员再到广告商的广泛用户群体。
据Runway称,Gen-4系列旨在从参考图像和文本描述中生成连贯且富有表现力的视觉序列,代表了其所谓的“通用世界模型”(General World Model)的一项新进展。该AI系统能够构建环境的内部表示,并用于模拟未来在该环境中可能发生的事件。这种模型将能够模拟现实世界中遇到的各种情况和互动。
Gen-4自然融入了影视制作流程中,与实景拍摄、动画或视觉特效生成的内容并列。该系统能够以每秒24帧生成5到10秒的视频,并适应不同数字平台的图像格式(16:9, 9:16, 1:1, 21:9, ...)。这一过程依靠一张作为视觉起点的输入图像,以及聚焦于描述期望运动的文本提示。无需个性化训练阶段:模型可立即使用。
两个模型用于互补用途
Gen-4 Turbo专为快速迭代进行了优化,费用为每秒5个积分。仅需30秒即可生成10秒的视频,允许在短时间内探索多种变体。而Gen-4标准版则成本更高(每秒12个积分),生成同样时长的视频可能需要几分钟时间,但提供更高的质量,适用于最终版本。
Runway建议先使用Turbo测试创意,然后如果需要,可以使用Gen-4进行精细化调整。在Explorer模式下,生成次数不受限制且不消耗积分,这便于进行实验。
生成过程
用户首先需要下载、选择或创建输入图像,然后按照以下三个步骤进行操作:
- 撰写提示导入的图像定义了初始视觉框架(风格、构图、颜色、光照),文本提示需要详细说明预期的动态(运动、变换、互动)。文本限制为1,000字符。
- 参数配置用户可以定义持续时间、分辨率,并选择固定种子,以确保生成具有相似的风格和运动。
- 生成和迭代用户可以启动生成。视频可以在当前会话中查看,或在个人项目库中找到,可通过修改输入图像或文本提示进行精细化调整。
生成后的功能
提供了多种选项以丰富或调整生成的内容,包括:
- 应用新的视觉风格;
- 扩展场景;
- 调整视频以修正构图或节奏;
- 通过唇同步对齐对话;
- 转换为4K以获取高分辨率版本;
- 使用当前框架作为新生成的起点。
所有作品按会话归档,提供重命名、分享或下载选项。这些工具促进了一种面向视觉精度的迭代方法,无需技术复杂性。
最初的反馈非常积极。Runway最近在General Atlantic领投的一轮融资中筹得3.08亿美元,估值超过30亿美元,将曾经只为大型制作所用的技术普及化,为内容创作者开辟了新的机遇。