Next-Frame Diffusion— 北大联合微软推出的自回归视频生成模型

下一帧扩散（nfd）是由北京大学与微软研究院共同研发的自回归视频生成模型，它融合了扩散模型在生成质量上的优势以及自回归模型在因果性和可控性方面的特点。该模型通过块因果注意力机制（block-wise causal Attention）和扩散变换器（diffusion） Transformer）实现的逐帧生成，在保证视频连贯性的同时，能够高效达到超过30fps的实时生成速度。此外，模型还引入了一致性蒸馏（consistencystillation）和推测性采样（speculativesampling）等技术手段，进一步提升了生成效率，并在大规模动作驱动的视频生成任务中验证出现有方法的表现。 Diffusion的核心功能实时视频生成：可在高性能GPU上实现实时生成超过30FPS的视频内容，适用于需要快速响应的交互式场景，如游戏、虚拟现实及视频编辑。高保真度生成：在连续空间中生成高质量的视频，相比传统自回归模型更高能保留细节与信息。动作驱动生成：根据用户的实时操作指令生成对应的视频内容，具备高度灵活和可控性，适合多种交互应用。长序列环境视频生成：支持任意长度视频的生成，适用于故事叙述或模拟等需要长期连贯性的场景。下一帧扩散的技术机制因果注意力机制（Block-wise Causal Attention）：这是模型的核心结构，结合了帧内注意力与帧间因果依赖。在每一帧内部进行心血管自注意力计算以捕捉空间信息，而在帧之间则保持因果，即当前帧仅依赖于帧，从而保证时间上的连贯性。扩散模型与扩散变换器（Diffusion）一致性蒸馏（Consistency Distillation）：为提升采样效率，将图像领域的一致性模型sCM（简化一致性模型）拓展至视频生成领域，显着加快生成速度同时维持高精度输出。推测性采样（Speculative Sample）采样）：利用后续帧之间的动作输入一致性，提前预测未来的一些帧内容。若后续动作发生变化，则丢弃推测结果并从最近有效帧重新生成，大幅全景推理时间。动作条件输入（Action Conditioning）：模型通过接收动作信号（如用户操作指令或其他控制信息）来引导视频生成的内容和方向。 Diffusion的项目资源项目主页：https：//www.php.cn/link/3a9fa62241b9892704fecb807daad07d论文链接（arXiv）：https：//www.php.cn/link/926dc2d550fbfd653c7a05d505e2aecfNext-Frame扩散的应用领域游戏开发：根据玩家实时操作动态生成游戏场景，增强交互体验。虚拟现实（VR）与增强现实（AR）：实时构建虚拟环境，提升沉浸感。影视广告制作：用于生成高质量视频素材，关注影视、广告等内容创作。自动驾驶与机器人：模拟不同场景下的车辆或机器人行为，辅助训练与测试。教育与培训：构建虚拟实验平台，辅助教学与实践操作。

以上就是Next-Frame Diffusion—北大联合微软推出的自回归视频生成模型的详细内容，更多请关注乐哥常识网其他相关文章！