LinGen— Meta联合普林斯顿大学推出的文本到视频生成框架

lingen是由普林斯顿大学与meta联合开发的一种全新的文本生成视频框架。该框架采用线性复杂度的配合模块（包含ma-branch和te-branch），取代传统扩散变形金刚中计算复杂度的自注意力机制，从而实现在单个gpu上高效生成高分辨率、长时间段的内容。lingen在降低计算开销的同时保持高质量输出，在视频质量和生成效率方面均相当于现有先进视频模型，为长视频生成及实时交互式应用提供了新方向。LinGen的核心功能高分辨率视频生成：支持生成如512p、1024p等高清视频，满足专业级内容创作需求。长时长视频输出：可生成分钟级别的视频，突破以往只能生成10-20秒短视线性复杂度结构：基于MATE模块实现线性计算复杂度，显着减少资源消耗，适合在单一GPU设备上运行。优质视频表现：生成的视频在画面质量、文字匹配和帧间连贯性方面表现优异。支持生成实时交互生成：具备实时与编辑能力，适用于多种动态内容制作场景。LinGen的技术架构高效MA-branch（多刻度注意力分支）：活塞Mamba2模块：采用线性序列模型Mamba2，并通过活塞设计序列中的前后依赖关系。 主要的扫描（RMS）：通过不同的扫描方式（如空间行优先、列优先，时间行优先、列优先）重新排列3D视频令牌张量，增强局部相关性并降低延迟。回顾Tokens：在处理前添加平均池化token，提供整体序列概览，强化远距离关联。TE-branch（时间热点分支）：将3D视频token划分为窗口并在窗口内计算自热点，TESA机制能捕捉空间邻近与时间中距token之间的联系；窗口在各层之间交替移动以扩大感受野，提升视频一致性。 线性计算优化：验证MATE模块的设计，LinGen的复杂计算度与像素数量呈线性增长，除传统模型的二次增长，大幅提升了生成效率。渐进策略：首先在低分辨率图像任务训练上预置，随后逐步提升视频分辨率与时长进行训练；结合图文对混合训练，提高视频连贯性；最终在高质量视频数据集上进一步优化输出效果。LinGen的项目信息官网项目：https://www.php.cn/link/407c334809565d9413 38efc9e3a9f687GitHub仓库：https：//www.php.cn/link/3f1176741b1b079bdc7a2e7f208c902f技术论文链接：h ttps：//www.php.cn/link/4c2aeb849fab47239887f8bf9c8e6278LinGen的应用领域内容创作：用于快速生成电影、广告等电视剧内内容，全部制作周期并降低成本。游戏娱乐：生成游戏过场动画和背景视频，增强视觉沉浸感。教育与培训：制作教学视频和实验演示，提高学习趣味性和交互性；为企业员工培训提供洞察的学习材料。广告营销：快速生成广告视频，适应不同的营销场景，提升传播效率。艺术创意：作为新型创作工具，为艺术家提供灵感激发和视频艺术表达的新方式。

以上就是LinGen— Meta联合普林斯顿大学推出的文本到视频生成框架的详细内容，更多请关注乐哥常识网其他相关文章！