北大-兔展联合发起的Sora开源复现计划Open-Sora-Plan，今起可以生成最长约21秒的视频了!生成的视频水平，如下展示。先看这个长一点的，9.2s:当然了，老规矩，这一次的所有数据、代码和模型，继续开源。目前，Open-Sora-Plan在GitHub上有10.4k颗星星，大家可以选择去抱抱脸上激情试玩。该说不说，版本迭代速度还挺快——上个月，Open-Sora-Plan就在开源社区上新过一波。当时能支持单镜头16秒的视频生成，分辨率最高720p，能满足的生成需求也比较多。这次版本更新，背后主要是两个方面有了进步采用了更高质量视觉数据与caption优化了CausalVideoVAE的结构团队还表示，Open-Sora-Plan已经支持使用国产AI计算系统（华为昇腾，期待更多国产算力芯片）进行完整的训练和推理。
Open-Sora-Plan v1.1.0展示此次更新的版本是Open-Sora-Plan v1.1.0。项目团队对Open-Sora-Plan的现阶段能力进行了三个层面的展示，并注明演示背后是用3k小时视频数据。首先展示的是10秒版文生视频（10s×512×512）。这张图的Prompt是，“蓝色时刻圣托里尼岛的鸟瞰图，展示了令人惊叹的建筑”。这张图的Prompt是，“摄像机对准一大堆老式电视机，所有电视机都显示不同的画面”。其次展示的是2秒版文生视频（2s×512×512）。给出的效果展示，有经典的小狗子，“一只戴着贝雷帽和黑色高领毛衣的柴犬”。还有一幅画，画面上航船前行，波涛拍打:团队展示的第三类，是用Open-Sora-Plan v1.1.0进行视频编辑（2s×512×512）。据了解，这部分内容采用的是联合团队刚提出来的ReVideo模型。不论是小猫戴墨镜:还是天空飘气球:在画面连续性和角色一致性方面都表现得还算不错。当然，团队承认“但我们仍然离Sora有一段距离”，同时给出了失败案例展示。例如，团队对比了4倍时间和2倍时间下采样的重建视频，发现视频在重建细粒度特征时，画面都会发生抖动。并且用v1.1.0生���的雪地里的小狗，视频中的小狗头出现了Semantic distortion的问题，似乎模型不能很好的判断哪个头是哪个狗的。这个问题其实在OpenAI的Sora的早期基座模型也会出现……，时长00:12因此Open-Sora-Plan的团队成员认为，也许可以通过扩大模型和数据量来解决问题，达到更好的效果。团队还提到，视频生成与图片生成最大的不同，在于其动态性，即物体
