“Runway 深夜发布Gen-3模型:AI视频生成技术的新突破震撼网友”

当OpenAI的Sora凭借其卓越性能在AI视频生成领域掀起了一场革命,曾经的领头羊如Runway这样的知名企业似乎暂时从公众视野中淡去。然而,就在昨晚,Runway低调地发布了他们精心研发长达六个月的最新力作——Gen-3 Alpha,这一举动再次揭示了这些技术巨头不容

Runway Gen-3 Alpha的特点包括:

  1. 高保真视频生成:该模型能够生成接近现实世界质量的视觉内容,拥有高细节和清晰度。
  2. 精细动作控制:它能够精确地操控视频中的对象动作和场景过渡,实现复杂情境下的流畅动画。
  3. 逼真人物生成:尤其擅长创造出具有自然动作、表情和情感的逼真人物角色。
  4. 多模态输入:支持多种创作方式,包括文字转视频、图像转视频、文字转图像等。
  5. 先进工具:提供运动画笔、相机控制和导演模式等专业级的创作工具。
  6. 增强的安全措施:引入了新的内部视觉审核系统和C2PA标准,以确保内容的安全性和合规性。
  7. 高质量训练:通过使用更详尽、时间密集的字幕进行训练,模型能更好地理解和生成具有丰富时间动态的视频。

chatgpt中文认为Gen-3 Alpha对现实世界的物理现象有了更深刻的理解,减少了以往版本中可能出现的错误和漏洞。

不看广告,看实际效果,让我们先体验一下新版本带来的震撼视觉效果。

Prompt: 一位女士的身影在疾驰的火车窗上轻轻映现,她优雅的轮廓在灯光的映照下显得格外柔和。她的目光似乎穿透了玻璃,凝视着外面那个快速后退的日本城市景象。

Prompt: An astronaut running through an alley in Rio de Janeiro.
一条狭窄的小巷里,突然闯入了一位身穿太空服宇航员,奔跑在热情奔放的里约热内卢小巷中。

Prompt: A middle-aged sad bald man becomes happy as a wig of curly hair and sunglasses fall suddenly on his head.
画面中,一个中年男人头顶光滑如镜,脸上带着一丝忧郁。突然,一顶卷曲的假发和一副太阳镜从天而降,完美地落在他的头上。瞬间,他的表情从悲伤转为惊喜,然后是无比的快乐。

Prompt: Handheld camera moving fast, flashlight light, in a white old wall in a old alley at night a black graffiti that spells ‘Runway’.
一条陈旧的小巷里,手持摄像机的人快速穿梭,闪光灯划破黑暗,照亮了一面白色的旧墙。墙上拼写出的「Runway」黑色涂鸦格外显眼。

Prompt: FPV moving through a forest to an abandoned house to ocean waves.
镜头以第一人称视角,带领我们穿越茂密的森林,阳光透过树叶的缝隙,洒下斑驳的光影。经过一座被岁月遗忘的荒废小屋,然后继续前行,直到视野突然开阔,一片波涛汹涌的大海展现在眼前,颇有几分「柳暗花明」的那股意味。

Runway明确保证,所有展示的视频均由Gen-3 Alpha无改动生成。从发布的官方视频中,我们可以明显感受到质量上的显著提升。无论是AI视频生成中棘手的夜间灯光处理,还是场景间的无缝切换,Gen-3 Alpha都展现出了卓越的表现,近乎完美。

文字生成部分也体现出精心打磨的功力。值得一提的是,根据@iamneubert 的透露,Gen-3 Alpha的生成速度令人惊叹,官方分享的视频通常需要10秒才能完成,而实际上,只需短短90秒,整个视频就能被快速生成出来。这无疑提高了工作效率

看完 Runway 分享的视频后,艺术家 @WorldEverett 都忍不住感慨,这看起来太惊艳了!顺带还给 OpenAI 上了一波强度。

不过也有网友质疑,虽然这个模型看起来非常出色,但它是基于受版权保护的作品进行训练的吗?如果是的话,这些作品是否已经获得了授权?

另外,不用担心这个新版本只是一个光看不能用的「期货」,因为 Runway 官方表示,Gen-3 Alpha 将在未来几天内向所有人推出。

在AI领域的激烈竞争中,Runway的Gen-3 Alpha犹如新时代的佼佼者,引领着新一轮的技术革新。作为新一代模型的先驱,它是在专门为大规模多模态训练优化的基础设施上孕育而生,相较于Gen-2,Gen-3在逼真度、稳定性及动态表现上实现了显著飞跃,朝着构建通用世界模型的目标迈进。

Gen-3 Alpha不仅提升了Runway的文本转视频、图像转视频和文本转图像工具,还引入了运动画笔、高级摄像机控制和导演模式等创新工具,使得创作过程更为高效且可靠。安全方面,Gen-3 Alpha配备了全面的防护机制,包括内部视觉审核系统和C2PA标准,确保内容的真实性和可追溯性,如同为生成的视频赋予“身份证明”。

通过使用高度详细的字幕训练,Gen-3 Alpha展现出非凡的创造力,能精准控制场景元素和关键帧,尤其是在人物生成上,其生成的角色具备丰富的情感表达,扩展了叙事的可能性。与OpenAI Sora一样,Gen-3 Alpha的开发凝聚了跨学科团队的力量,使得模型能理解和运用多样化的艺术风格和电影技巧。

Runway正与娱乐和媒体机构合作,定制化Gen-3模型,以满足特定行业需求,这标志着Gen-3 Alpha在影视领域的应用将更加深入。与此同时,竞争对手如Luma AI的Dream Machine和Google的Video-to-audio技术也在崭露头角,预示着AI视频生成市场的百花齐放。

尽管OpenAI Sora的震撼还未消退,但现在市场上涌现的众多类似模型正推动行业向前发展。Gen-3 Alpha的短小视频虽只有十秒,却展示了其对物理世界的深入理解及较少的错误,这标志着技术的进步。每一次新模型的出现,都在挑战Sora的地位,预示着AI视频生成领域的竞争日益激烈。

尽管Sora的公众版预计年底前发布,但行业仍处于初级阶段,变化是永恒的主题。正如赫拉克利特所说,世界在不断演变,每一天都有新的领导者崛起。在这个日新月异的AI视频生成时代,没有永远的王者,只有不断创新