豆包：视频生成模型“VideoWorld”可仅靠视觉认知世界 现已开源

据豆包大模型团队官方公众号，视频生成实验模型“VideoWorld”由豆包大模型团队与北京交通大学、中国科学技术大学联合提出。VideoWorld在业界首次实现无需依赖语言模型，即可认知世界。正如李飞飞教授9年前TED演讲中提到“幼儿可以不依靠语言理解真实世界”，VideoWorld仅通过“视觉信息”，即浏览视频数据，就能让机器掌握推理、规划和决策等复杂能力。团队实验发现，仅300M参数量下，VideoWorld已取得可观的模型表现。作为一种通用视频生成实验模型，VideoWorld去掉语言模型，实现了统一执行理解和推理任务。同时，它基于一种潜在动态模型，可高效压缩视频帧间的变化信息，显著提升知识学习效率和效果。