清影是由智谱AI发布的一款视频生成工具,它允许用户通过输入文本或图片在短短30秒内生成6秒的视频内容。该工具正式上线于2024年7月26日,并在智谱清言的PC端、移动应用端以及小程序端提供免费体验服务。
爱赣网(www.aigan.net.cn)看到,清影的特色功能包括文生视频和图生视频能力,用户可以通过输入文本选择多种视频风格,如卡通3D、黑白、油画、电影感等,并搭配清影自带的背景音乐,轻松创作出富有创意的视频片段。此外,清影还提供了图生视频功能,为用户带来更多创新玩法,例如让老照片动起来,通过上传老照片和配上一段描述,AI技术便能将其转化为动态视频,使旧时光的照片焕发新生。
清影的快速生成能力使其能够在30秒内完成6秒视频的生成,且具有高效的指令遵循能力,即使是复杂的提示也能准确理解并执行。生成的视频能够较好地还原物理世界中的运动过程,镜头能够流畅地跟随画面中的物体移动,展现出良好的内容连贯性和画面调度灵活性。此外,智谱大模型开放平台也部署了清影,企业和开发者可以通过API调用式体验并使用清影的文本生成视频和图像生成视频功能12。
清影的研发背景依托于智谱AI大模型团队自研打造的新一代视频生成大模型CogVideoX,该模型能够融合文本、时间和空间三个维度,参考了Sora的算法设计,采用DiT架构并通过优化提升了推理速度。为了解决大多数模型在生成具有连贯性和逻辑一致性的视频内容方面存在的困难,智谱AI自研了一套高效的三维变分自编码器结构(3D VAE),将原始视频空间极致压缩到2%,大幅降低了训练成本和难度。此外,模型结构采用因果三维卷积为主要模型组件,并移除了常用的注意力模块,使得模型具备不同分辨率迁移使用的能力,同时在时间维度上因果卷积使得模型视频编解码具备从前向后的序列独立性,有助于通过微调将模型扩展到更高帧率和更长时间的场景
数据评估
本站【 www.aigan.net.cn 】爱赣网 | 江西一网通数智服务平台提供的清影-AI生视频都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由爱赣网 | 江西一网通数智服务平台实际控制,在2024年7月31日 下午9:53收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,爱赣网 | 江西一网通数智服务平台不承担任何责任。