-
友情链接:
金磊 发自 凹非寺量子位 | 公众号 QbitAI博乐app网址
家东说念主们,咱们先来看一段视频,你能否发现其中有什么异样?

要是说,在这段视频里,有一个物件是假的,是被合成进去的,你能发现吗?

不卖关子,当今就来揭晓谜底。
www.kingjackpotzonehome.com顶盛体育备用网址“作秀”的物体,恰是这个出当今不该出现位置的红绿灯。

咱们再来玩一把“民众来找茬”,请看题目:

谜底是:放在置物架上的这个设备。

这就是来自小鹏汽车最新的一项守护——Anything in Any Scene。
主打一个往真确环境里毫无违和感地“塞”进去任何东西。

何况守护团队给以这个通用框架的评价是:
它的期骗远远超出了视频数据增强的领域,在虚构实践、视频剪辑和其他多样以视频为中心的期骗中表露出庞杂的后劲。
限电!停产!近期,多家上市公司发布公告称:配合地区“能耗双控”要求,将削减水泥、电石、电解铝、螺纹钢工业原材料产能。受供给减少影响,多种工业品价格不同程度上涨,周内涨幅超40%。致使有网友在看完成果之后直呼:
皇冠走地足球再会了视频字据~这个工夫插入视频的物体不错保抓与原始素材交流的真确感。

那么这项AI工夫更多成果如何,咱们赓续往下看。
皇冠客服飞机:@seo3687
Anything in Any Scene
先从室外场景来看下成果。
188金宝搏体育app苹果下载美高梅金卡多少钱皇冠现金在视频中合成某个物体的时辰,赓续不传神的原因,不错回顾为位置摈弃失误、无暗影、无HDR和无面貌挪动等原因。
正如底下几个失误案例所示:
规定
而小鹏团队的成果,是这么的:

比拟刚才浮泛多样身分的情况而言,成果显着是相对传神的。
再与其它已有的算法和框架作念比较,举例DoveNet、StyTR2和PHDiffusion,它们在室外场景中合成物体的成果是这么的:

小鹏的Anything in Any Scene从成果上来看,依旧是相对更为传神。

相同的,在室内环境中,不管是包包照旧鞋子,小鹏新AI工夫所生成的成果不错说是真假难辨的那种了。

更多的成果展示如下图所示:


除了视觉成果以外,小鹏团队在CODA数据集的原始图像上,将稽查的YOLOX模子的性能与Anything in Any Scene框架在原始和增强图像的组合上稽查时的性能进行了比较。
从举座精度上来看也有了不小的提高。

如何作念到的?
从这次冷漠的框架上来看,Anything in Any Scene主要由三个关节部分构成。
这不,最近,女主角王楚然的瓜就爆了:有网友发现“书亦烧仙草”直接删除了她的相关物料!

当先是物体摈弃和踏实化的经由。
团队先笃定相机在场景中的寰宇坐标系位置,并将其手脚物体插入的参考点;使用相机的内参矩阵和姿态(旋转矩阵和位移向量)将寰宇坐标系中的点投影到像素坐标系中,以笃定物体在视频帧中的摈弃位置。
为了幸免与场景中其他物体的庇荫,团队还使用语义分割模子揣度每个帧的分割掩模,并确保物体摈弃在未被庇荫的区域。
在物体踏实化方面,团队在一语气帧之间揣度光流,以追踪物体的领略轨迹;并通过优化相机姿态(旋转矩阵和位移向量),最小化物体在一语气帧中的3D到2D投影盘曲,确保物体在视频中的踏实领略。

其次,是光照揣度和暗影生成。
针对HDR全景图像重建,团队使用图像开发相聚推断全景视图的光照分散,然后通过太空HDR重建相聚将全景图像调度为HDR图像;并结合使用GAN稽查编码器-解码器相聚来模拟太阳和太空的亮度分散。
在环境HDR图像重建方面,守护东说念主员则是汇集了场景的多视角LDR图像,并通过现存模子收复为HDR图像,以学习一语气曝光值默示。
在物体暗影生成上,团队则是使用3D图形期骗(如Vulkan)和光芒追踪工夫,根据揣度的主要光源位置生成插入物体的暗影。

临了的样子,则是相片格调挪动。
宝马线上博彩娱乐官网框架对插入物体的外不雅进行微调,使其格调与配景视频完好交融,进一步升迁了视频的传神度。

这即是小鹏Anything in Any Scene在真确环境中生成物体较为传神的原因了。
而与小鹏这次守护访佛的成果,其实早在之前便有了好多职责。
举例名为GAIA-1的多模态生成式寰宇模子,便不错从新到脚的打造传神的自动驾驶视频:

这里的每一帧王人是由AI生成,致使就连不同的路况和天气等等,王人是不错作念到以伪乱真。

就连LeCun看了王人咋舌不已:

不外这些AI成果虽真确,但也有网友冷漠了担忧之处,那即是网上空幻、生成的信息越发的传神;因此,以后差异信息的真假需要愈加警惕。

现时,这个神色依然在GitHub中开源,感风趣的小伙伴不错了解一下了~
参考联接:[1]https://anythinginanyscene.github.io/[2]https://arxiv.org/abs/2401.17509