用iPhone一秒拍摄3D照片 Facebook这技术厉害了

来源:快报
责任编辑:鲁晓倩
字体:

想象一下,你用手机拍摄一张照片,然后你不仅可以得到你拍摄时的一个角度,你还可以拖动照片来看到不同角度的视野变化。

这听起来是在描述高大上的光场视频,而不是通常的2D拍照技术,是吧?

今年5月,Facebook介绍了3D照片技术,今天Facebook正式将其3D照片功能带到了iPhone手机上。

当你用iPhone拍摄一张照片时,点击状态更新编辑器中的新3D照片选项,选择肖像模式照片,然后Facebook会用AI计算出场景深度,使得2D照片也可以动起来,呈现出多个角度的景象。

这些3D照片可以在在桌面或者手机App中的Facebook实时信息流中体验到。当你滑动信息流时,这些照片和普通照片看起来没有区别,而当你点击进入照片时,他们立刻突破平面2D的束缚,就像一个小窗口一样,一下子把你拉进3D照片的世界。就像上图gif一样,拖动照片你可以你看到狗的侧面和背后的岩石。

雷锋网了解到,这个以AI创造出深度图像的技术来自于Facebook计算摄影部门,讲述这项技术的论文由伦敦大学学院的Peter Hedman和Facebook西雅图办公室的研究科学家Johannes Kopf合著完成,论文曾在今年8月于温哥华举办的Siggraph上展出。

其实,不少巨头都在研发计算图像深度的技术,不过目前他们都只是应用在人像模式中,用以虚化背景。

然而,Facebook的技术路径却是从VR开始的。Facebook以30亿美元收购Oculus后就大力倾注VR,致力于创造一个连接虚拟与现实的全新社交帝国,把现实世界放进VR是一项关键任务,此前的实现方式主要是360度全景视频或者是加上3D效果的360度全景视频,然而,这些全景图片拼接成的内容只是2D图片的大型化,并不具备现实世界的深度感和真实感。

6Dof视频以及更完善的光场视频是大家期望的解决方案,Facebook也一直在这些领域探索。在2017年5月的F8大会上,Facebook发布了两款能记录深度信息的 3D VR全景相机,Facebook 360 Surround x24和x6。今年9月,Facebook发布专业级全景相机 Manifold。

然而,6Dof视频和光场视频的制作成本极高,目前VR的发展也难以吸引大量的内容制作者,Facebook选择了更便捷更民主化的路线——3D照片。

虽然Facebook推出的这项深度图像技术被称为3D视频,但是却和大家熟悉的3D电影的3D效果不是一码事。普通的3D只是通过双目时差实现的伪3D效果,在电影院里,不管你怎么转头,你看到的立体影像都只有一个角度,而Facebook的3D照片的特点是可以拖动查看不同的角度信息。

说了这么多,回到重点,Facebook是如何实现这项技术的呢?

据雷锋网了解,一开始,Facebook采用的方式是让用户以单摄像头的相机拍摄,通过移动来捕捉整个场景,然后通过分析视差和手机运动,即不同距离的物体在相机移动时移动的数据,可以精确地在重建出3D场景。

但是,从单个摄像机的快速图像中推断出深度数据是对CPU的计算要求很高,这种方法在大多数手机都有双摄像头时显得有些过时。通过同时使用两个相机捕获图像,即使对于运动中的物体也可以观察到视差差异。并且因为两个镜头的设备处于完全相同的位置,所以深度数据的噪音要小得多,对运算的要求也低很多。

Facebook目前就是采用iPhone的双摄像头,手机的两个摄像头拍摄了一对图像,设备立即自行完成计算“深度图”,图像编码帧中所有内容的计算距离。结果看起来像这样:

苹果、三星、华为、谷歌都在研究深度图像技术,但是目前主要用在照片的背景模糊上面。深度图的技术难点在于,创建的深度图没有某种绝对比例。例如,当深红色意味着100英尺时,浅黄色并不意味着10英尺。每张照片的比例都不相同,这意味着你需要拍摄多张照片来获得物体实际距离,但是要将这些照片拼接在一起是一种痛苦。

这就是Kopf和Hedman及其同事所面临的问题。在他们的系统中,用户通过移动他们的手机拍摄他们周围环境的多个图像;它每秒捕获一个图像(技术上是两个图像和一个结果深度图)并开始将其添加到其集合中。 在后台,算法会查看手机运动检测系统捕获的相机的深度图和微小运动。然后,深度图基本上被按摩成正确的形状以与其他照片对齐。

创建出深度图之后,深度图会被转换为3D网格(这个比较抽象,可以将其想象为一个纸质版本的景观图)。然后,检查网格的明显边缘,将这些边缘撕裂开,例如前景中栏杆遮挡背景中的景观,就将两者分离开。这会将各种物体隔开,使它们看起来处于不同的深度,并随着透视的变化移动。虽然这些方法创造了3D效果,但是你可能已经猜到前景看起来只不过是一个纸质镂空,因为,如果是直接拍摄的人脸,就没有关于他们的头部或背部。

那么,最后一步就很重要。通过卷积神经网络去猜测和填充图像的其余部分。例如,如果图像区域有头发,那么头发可能会继续存在。因此,它可以令人信服地重新构建这些纹理,并估计对象的形状,缩小间隙。这样当你稍微改变视角时,你似乎真的“围绕”对象看了一圈。

Facebook目前能在一秒钟的时间内完成深度图的创建,因此他们将此称为“即时3D摄影”。当然,3D照片功能目前只能在有两个摄像机上使用,首发这项功能的是iPhone 7+, 8+, X or XS,此后会有更多手机加入。

在论文中,Facebook也讨论了如何用通过另一个卷积神经网络来使得单摄像头的相机也拥有同样功能。但是,单摄像头不如双摄像头系统好。这还需要算法和软件公司的继续努力,正如前些天,雷锋网曾报道,Google就用单摄像头实现了超越苹果双摄像头的多项计算摄影效果。

根据您访问的内容,您可能还对以下内容感兴趣,希望对您有帮助:

为何在一个iphone上下载好一个应用后在另一台上也...

答:这种情况是两部苹果手机(或iPad)上用了相同的Apple ID,并且在iTunes Store 与App Store 下开启了”应用“后面的开关所致。 解决的办法是比较简单的: 可以采用不同的Apple ID号,还有另一种方法,就是关掉下图所示的"应用"开关即可。 扩展资料由...

iPhone美版在中国能不能用

答:美版iphone在中国大陆是完全可以使用的。 1、如果是无锁机,也就是非合约机,目前美国Apple官网的T-MOBILE无合约版按照苹果的说法是是无锁的,但并不是国内全网通用,是仅支持GSM\WCDMA\FDD LTE,也就是说仅支持联通2G\3G\4G和移动的2G,不支持...

第一次用苹果手机怎么用iphone7

答:1、开机界面,直接轻划解锁。 2、设置语言,选择简体中文,或者轻按向下的箭头,根据用户需求进行选择。轻按蓝色箭头,进行下一步。 3、根据用户需要选择启用/停用,此步骤选择启用或者停用都可以,激活以后用户可以进入“设置”重新更改。 4、此...

两部苹果手机可以同用一个ID账户和密码吗

答:1、你好,完全可以的。一个apple id账号可以同时登陆在五台设备上呢。 不过需要注意的是,如果登陆同一个id,那么需要在手机设置的icloud里面把“照片流”“通讯录”等选项关闭,否则你们两部设备的数据会互相同步流通的。 2、同用一个,按理来说是...

第一次用iphone新机到手需要做些什么请指教

答:在设置设备时,您随时可以重新开始。只需按下主屏幕按钮并轻点“重新开始”即可。 打开您的设备 您会看到以多种语言显示的“您好”。按下主屏幕按钮可以解锁设备并开始设置。 如果您是盲人或视力较弱,则可以从“您好”屏幕启动 VoiceOver 或缩放。 要...

iphone X的实际使用体验如何?

答:1、工艺设计 iPhone6s的机身采用了新一代航空铝合金,不会再被轻易掰弯,同时新iPhone的屏幕采用了苹果独家定制的保护玻璃,保证其屏幕更加坚韧。苹果宣称新iPhone更加耐刮划,主要归功于新的铝合金以及屏幕采用的“多重等离子交换工艺”。 新iPho...

两个苹果手机使用同一个id可以会发生什么

答:答:如果设置得当,两部iPhone使用的感受是,一部手机,用一天的感觉:或者就是两部手机单独的两种使用体验,也就是工作机和生活手机。 我总结了以下一些现象(我之前是使用一步5s和一部6plus以及Macbook)。 一、当设置了ID同步状态下的情况: ...

两个苹果手机用一个id会出现什么情况

答:不会出现什么情况,一个id可以登录多台手机。可以把同步关闭,方式如下: 1、打开设置,点Apple ID。 2、进入apple ID后点击 icloud。 3、点击关闭照片流和通讯录即可。 拓展资料通过邮箱找回Apple ID的办法:1、首先用电脑打开Apple ID管理页页...

两台iphone用一个id还是两个id好

答:可以,一个apple id账号可以同时登陆在五台设备。不过需要注意的是,如果登陆同一个id,那么需要在手机设置的icloud里面把“照片流”“通讯录”等选项关闭,否则你们两部设备的数据会互相同步流通的。 Apple ID详解简介 苹果帐户(Apple ID)是苹果...

一个iphoneid用在了两个iphone里,如何把那个id在...

答:通过查找我的iPhone 锁定设备(设置为丢失模式),这是逐个设备操作的,不可能你一个动作就锁定此Apple ID绑定的所有设备,必然是逐个锁定的。 解锁当然也一样,没有被你取消丢失模式的设备,仍然处于丢失模式。 用IE或者其他浏览器登录网址:ww...

声明:以上内容由用户提供,并不代表本网赞同其观点。如有任何不妥,请与不良与违法信息举报中心联系:513175919@qq.com

www.xue163.net true http://www.xue163.net/q/20181012/20181012A197TX.html report 104458
最新添加资讯
24小时热门资讯
娱乐时尚
科技资讯
历史文化
真视界
旅游美食
精彩图文
我爱我车
母婴健康
关于本站 | 广告服务 | 手机版 | 商务合作 | 免责申明 | 招聘信息 | 联系我们
Copyright © 2004-2018 xue163.net All Rights Reserved. 学网 版权所有
京ICP备10044368号-1 京公网安备11010802011102号
12345678910 热门社会娱乐体育军事汽车财经科技育儿历史美食数码心理时尚宠物收藏家居文化三农健康科学游戏动漫教育职场旅游电影教育考试: 学历财经建筑 医药公考资格外语电脑作文招聘中小学留学 文档 移民 文库专栏23问答中心z资讯z资讯1资讯涨资讯涨资讯1资讯问答图书馆知识IT编程数码信息解决方案信息中心IT科技topzttophottopsctopnew问答新闻中心软件教室设计大全网络相关英语学习开发编程考试中心参考范文管理文库营销中心站长之家IT信息中心商学院数码大全硬件DIY企业服务网吧在线百科硬件知识手机平板汽车游戏家电精彩摄影现代家居IT女人经验健康养生猎奇创业攻略教育学习历史时尚潮流最近更新涨知识