刚刚91 丝袜，智谱把清影背后的图生视频模子CogVideoX-5B-I2V给开源了！（在线可玩）

一齐开源的还有它的标注模子cogvlm2-llama3-caption。

在本色应用中，CogVideoX-5B-I2V 复古「一张图」+「教唆词」生成视频。

而 cogvlm2-llama3-caption 则是认真将视频内容调节成文本神色。

不外用过的网友却对它的弘扬指摘不一：

有东说念主在用过之后直呼 Amazing。

也有东说念主试了半天，终末如故选拔了 CogVideoX 之前的版块，还夸夸说：我最看好这个型号！

是以到底成果若何，我们来实测一波！

实测 CogVideoX-5B-I2V

测试运转 ~ 输入教唆词：咖啡伙计抓住双手笑着对来宾默示迎接，语言时躯壳当然举止（依旧是须生常谭的"手部"问题）

第二次实测，试了一下节略教唆词：吗喽颠着二郎腿打电话（成果不睬念念，主体如故静态的莫得动起来）

第三次的教唆词是："明月圆圆，几个东说念主坐在河畔交心语言，碰杯大叫。"披露生成完成，关联词到终末披露措施却胜利 NAN 了（呜呜呜）

合座成果有些说来话长，况且生成速率有些慢。

我们如故来看一下团队我方发布的一些到手作品吧：

教唆词：当万花筒般的蝴蝶在花朵中轻歌曼舞时，花坛变得渴望盎然，它们细巧的翅膀不才面的花瓣上投下暗影。

教唆词：一位穿戴西装的宇航员，靴子上沾满了火星的红色尘埃，在第四颗行星的粉红色天外下，他伸出手与一个外星东说念主抓手。

教唆词：湖岸边长满了柳树，细长的枝条在微风中轻轻摇曳。坦然的湖面反照着廓清的蓝天，几只优雅的天鹅在坦然的水面上优雅地滑翔

论文也已公开

值得一提的是，当今 CogVideoX-5B-I2V 模子的代码均已开源，复古在抱抱脸中进行部署。

接头筹谋论文也已公开，纵不雅论文内容，有三大本领亮点值得说说念说说念 ~

最初即是团队自研了一个高效的三维变分自编码器结构（3D VAE），将原视频空间压缩至 2% 大小，大大减少了视频扩散生成模子的磨砺老本及磨砺难度。

模子结构包括编码器、解码器和潜在空间正则化器，通过四个阶段的下采样和上采样达成压缩。时刻因果卷积确保了信息的因果性，减少了通讯支出。团队采选险峻文并行本领以相宜大鸿沟视频惩办。

在执行中，团队发现大诀别率编码易于泛化，而增多帧数则挑战较大。

因此，团队分两阶段磨砺模子：最初在较低帧率和小批量上磨砺，然后通过险峻文并行在更高帧率上进行微调。磨砺死亡函数归并了 L2 死亡、LPIPS 感知损结怨 3D 判别器的 GAN 死亡。

其次是巨匠 Transformer。

团队使用 VAE 的编码器将视频压缩至潜在空间，然后将潜在空间分割成块并张开成长的序列镶嵌 z_vision。

同期，他们使用 T5，将文本输入编码为文本镶嵌 z_text，然后将 z_text 和 z_vision 沿序列维度拼接。拼接后的镶嵌被送入巨匠 Transformer 块堆栈中惩办。

终末，团队反向拼接镶嵌来恢规复始潜在空间体式，并使用 VAE 进行解码以重建视频。

终末的亮点，即是在于数据了。

团队开荒了负面标签来识别和排斥低质料视频，如过度剪辑、默契不连贯、质料低下、讲座式、文本主导和屏幕杂音视频。

通过 video-llama 磨砺的过滤器，他们标注并筛选了 20000 个视频数据点。同期，计较光流和好意思学分数，动态救援阈值，确保生成视频的质料。

视频数据频繁莫得文本神色，需要调节为文本神色以供文本到视频模子磨砺。现存的视频字幕数据集字幕较短，无法全面神色视频内容。

为此，团队还提倡了一种从图像字幕生成视频字幕的管说念，并微调端到端的视频字幕模子以得到更密集的字幕。

这种方式通过 Panda70M 模子生成节略字幕，使用 CogView3 模子生成密集图像字幕，然后使用 GPT-4 模子回顾生成最终的短视频。

他们还微调了一个基于 CogVLM2-Video 和 Llama 3 的 CogVLM2-Caption 模子，使用密集字幕数据进行磨砺，以加快视频字幕生成流程。

One more thing

值得一提的是，CogVideoX 近来这一个月也莫得闲着，化身勤更达东说念主码出了一堆更新！

2024 年 9 月 17 日，提供了 SAT 权重的推理和微调代码和安设依赖的呼吁，使用 GLM-4 优化了教唆词

邻接：https://github.com/THUDM/CogVideo/commit/db309f3242d14153127ffaed06a3cf5a74c77062

2024 年 9 月 16 日，用户不错哄骗土产货开源模子 +FLUX+CogVideoX，达成自动化生成高质料视频。

邻接：https://github.com/THUDM/CogVideo/blob/CogVideoX_dev/tools/llm_flux_cogvideox/llm_flux_cogvideox.py

2024 年 9 月 15 日，CogVideoX 的 LoRA 微调权重已到手导出，并在 diffusers 库中到手通过测试。

邻接：https://github.com/THUDM/CogVideo/blob/CogVideoX_dev/sat/README_zh.md

2024 年 8 月 29 日，在 CogVideoX-5B 的推理代码中加入了 pipe.enable_sequential_cpu_offload ( ) 和 pipe.vae.enable_slicing ( ) 功能，使显存占用降至 5GB。

2024 年 8 月 27 日，CogVideoX-2B 模子的开源合同已修改为 Apache 2.0 合同 .

本日，智谱 AI 开源了更大鸿沟的 CogVideoX-5B 模子，权贵进步了视频生成的质料与视觉成果。这个模子优化了推感性能，允许用户在 RTX 3060 等桌面显卡上进行推理，裁减了硬件的条目。

2024 年 8 月 20 日，VEnhancer 器具已复古对 CogVideoX 生成的视频进行增强，进步视频诀别率和质料。

2024 年 8 月 15 日，CogVideoX 依赖的 SwissArmyTransformer 库升级至 0.4.12 版块，微调不再需要从源代码安设该库。同期，引入了 Tied VAE 本领以优化生成成果。

而此次 CogVideoX-5B-I2V 的开源，也代表着 CogVideoX 系列模子依然复古文生视频、视频延迟、图生视频三种任务。

接头邻接已附上，感兴致的一又友们不错围不雅一波 ~

在线试玩：https://huggingface.co/spaces/THUDM/CogVideoX-5B-Space

开源地址：https://github.com/THUDM/CogVideo

论文地址：https://arxiv.org/pdf/2408.06072

—  完  —

评比征连结

「2024 东说念主工智能年度评比」

量子位 2024 东说念主工智能年度评比已开启报名通说念，评比从企业、东说念主物、家具三大维度开荒了 5 类奖项。

迎接扫码报名评比！评比规定将于 12 月MEET2025 智能将来大会公布，期待与数百万从业者共同见证荣誉时刻。

点这里� � 海涵我，难忘标星哦～

一键三连「点赞」、「共享」和「在看」

科技前沿进展日日再会 ~