以下是关于 AI 一键换视频天空背景的介绍:
打开软件后,进入首页点击下方【工具箱】按钮,在工具页面滑动可找到并点击选择【魔法换天】功能。接着从手机相册上传需要更换天空背景的视频,软件会自动检测天空背景并进行抠图。在‘魔法换天’操作界面的下方,提供了多种不同的背景模板,如蓝天、星空、满月、爱心云朵等,可根据需求进行选择。
这项技术名为 SkyAR,由密歇根大学博士后研究员 Zhengxia Zou 于前不久在 GitHub 上发布。与以前的专注于静态照片或需要在智能手机中集成惯性测量单元以拍摄视频的惯性测量方法不同,此技术可通过手持智能手机和行车记录仪在野外拍摄的视频进行处理,对捕获设备没有任何要求,能很好地应用于在线或离线处理方案。
研究人员将此艺术创作过程分解为几个代理任务,包括天空遮罩、运动估计和图像融合。具体来说,天空遮罩框架利用深卷积神经网络(CNN)的优势,在一个像素级回归框架下对天空冰雹进行预测,能产生粗尺度和细尺度的天空蒙版;运动估计用于恢复天空运动,创建用于图像混合的天空盒;图像融合用于将用户指定的天空模板混合到视频帧中,还用于重置和着色,使混合结果更具视觉逼真感。
使用单个 NVIDIA Titan XP GPU 卡,该方法在输出分辨率为 640 x 320 时可达到 24 fps 的实时处理速度,在 854 x 480 时达到接近 15 fps 的实时处理速度。比如可以将《星际迷航》等科幻电影中经常出现的浩瀚星空、宇宙飞船融入随手拍的视频中,使公路片秒变科幻片,毫无违和感;也可以创建自己的移动城堡,如《天空之城》《哈尔的移动城堡》中的场景;还能在视频中挂一个超级月亮,展现另一番景象。并且它还具备天气转换的功能,如晴空万里、阴雨绵绵、雷雨交加等各种天气都可在视频中随意切换。
现在,相关的 AI 代码已在 Github 开源,懂技术的朋友可以优先安装体验。https://github.com/jiupinjia/SkyAR
暂无评论内容