2026年11月4日,小米技术团队正式公布了其自主研发的视觉生成框架WorldCast,并同步披露该技术已在10月27日发布的REDMI K100手机中实现端侧部署,为用户带来全新的3D运镜AI影像体验。
WorldCast的核心功能在于将单张静态图像智能转化为具备环绕、推拉、倾斜等多维运镜效果的3D视频。用户仅需从本地相册选取任意一张照片,系统即可自动生成具有显著空间纵深感和流畅运动轨迹的三维影像。在整个运镜过程中,画面中人物的面部特征、发型细节及服饰纹理均保持高度稳定与自然连贯。
此项能力并非独立功能,而是与一键动图、希区柯克变焦、延时摄影共同组成REDMI K100整套AI影像创作体系,形成多维度、强交互的影像表达矩阵。
从底层技术实现来看,WorldCast需突破两大关键挑战:其一是复杂相机运动路径的高精度建模与跟踪;其二是大角度视角切换下人物身份特征的跨视角一致性保持。
为此,研发团队构建了三重核心技术模块:第一,采用深度估计模型将输入的二维图像升维至三维空间,生成带有色彩信息的密集3D点云,并依据预设相机轨迹实时渲染引导图像;第二,创新引入几何对齐的记忆注意力机制(GAMA),借助多视角锚点图补全人物背面及其他遮挡区域的外观细节,显著增强三维重建的完整性与真实性;第三,构建涵盖8万张高质量图像的训练数据集,并设计覆盖42类典型场景的评测基准CLACT,全面验证模型在真实复杂环境下的泛化能力与鲁棒性。
在CLACT基准测试中,该框架在全部42个场景、6类运镜轨迹共252项测试任务中,与13种主流方法同场比拼,于相机轨迹控制精度、角色几何一致性及身份保真度三大核心维度均位居首位。具体而言,平均轨迹误差(ATE)由此前最优值0.098降至0.065;跨视角三维几何一致性指标(MEt3R)达到全场最高水平;人物身份相似度相较次优方案提升约28%;同时图像质量得分(IQ)稳定维持在0.719,稳居第一梯队。

评论
更多评论