您的位置:首页 > 快讯 > 资讯 >

环球快看点丨网页也能裸眼3D?只需一个电脑摄像头就能完成

来源: 青亭网 时间: 2023-06-25 09:37:40

和2D显示屏、手机屏幕相比,VR图像为什么看起来更加沉浸、立体呢?一方面是透镜将左右眼图像结合,形成3D视觉效果,而另一方面则归功于屏幕画面与头部追踪的同步作用。


(资料图)

简单来讲,就是VR会根据用户头部的位置和朝向来改变其眼前的画面,每一帧画面对应了用户观看眼前场景的不同视角,从而模拟人眼3D视觉效果,营造一种立体、沉浸的感觉。

换句话说,假如你看传统电脑显示屏,不管从哪个角度看它,屏幕上的图像观感都是静止的。当然,我们也可以通过动态渲染和模拟,来营造一种裸眼3D的感觉,比如任天堂3DS就通过双摄像头,来捕捉人眼双目视差,从而形成3D观感。近期,电商平台Shopify的“空间商务项目”团队就研发了一种类似的技术,该技术名为WonkaVision,特点是用2D显示器实现裸眼3D视觉效果,且成本低,通过电脑摄像头来追踪用户头部,从而将电脑屏幕的静止画面变得立体。

据青亭网了解,WonkaVision灵感来自于谷歌工程总监Johnny Lee在15年前的一个发明,当时Lee经过改装,将任天堂Wii控制器变成了红外头部追踪装置,用来定位穿戴在用户头上的传感器,并利用捕捉到的头部信息,将2D屏幕变成了跟随头部变化的裸眼3D效果(宣称是“VR效果”)。尽管Lee的改装发明获得网友普遍好评,给人留下了深刻的印象,但它几乎从未被商用。据悉,Lee此前曾参与过微软Kinect项目,也曾是Google Tango的负责人,而现在则在谷歌从事AR设备和体验管理。

改进的裸眼3D方案

为了改进Lee的设计,Shopify想用电脑摄像头来取代Wii控制器,并将裸眼3D程序在浏览器中运行。Shopify表示:如果使用电脑摄像头就能实现Lee的方案,那么它将被更多人使用,甚至可能带来全新的网络交互体验。未来可以和电商平台很好的结合,比如打造虚拟界面、立体的商品预览等等,如将品牌网站打造成立体的虚拟店面,允许消费者查看店面中的商品,就像是在线下逛商场的感觉。

值得注意的是,WonkaVision并非通过红外信号定位头部,而是通过摄像头来追踪用户的眼球。通常电脑摄像头为单目方案,于是项目组采用谷歌MediaPipe Iris眼球追踪模型,它使用单个RGB摄像头就能定位人眼的位置,以及瞳孔的特征点,无需借助专门的硬件。基于此,WonkaVision可预测出人眼和摄像头之间的相对位置,相对误差小于10%。

不过由于MediaPipe Iris并没有开源的JavaScript,所以不能在网页端运行。于是,Shopify改用MediaPipe Face Mesh,来测量摄像头与人眼之间的距离,经验证其准确性对WonkaVision足够用。以下是它的流程:

1)MediaPipe Face Mesh检测瞳孔周围四个点(上下左右); 2)结合四个点距离,以及瞳孔平均宽度(11.7毫米),来预测用户瞳孔参数; 3)结合瞳孔参数和摄像头参数,通过简单的针孔相机模型方程,来计算出人眼在空间中的深度/距离,从而推算出其X、Y坐标。

通过检测黑白棋盘四角,来计算摄像头参数

利用DIY方式验证瞳孔距离预测的准确度

将屏幕变成虚拟窗口

通过WonkaVision,Shopify希望那个将2D显示屏变成一个“窗口”,就像是当你透过窗户查看外面立体景色那样,屏幕显示的画面会跟随你的视角、距离而变化,看起来就像窗外的景色。

在解决眼球追踪功能后,Shopify团队在游戏引擎中建立了一个3D场景,并将该场景与屏幕边缘对齐,将摄像头的位置作为起始点。也就是说,该场景显示在屏幕上的每一帧,都是根据人眼和屏幕/摄像头的距离来改变。

为什么要将虚拟场景和物理屏幕对齐呢?Shopify解释,为了让屏幕有窗户的效果,则需要假设屏幕边框存在于虚拟世界中。与此同时,还在人眼(右眼)的位置设置了一个虚拟相机,这样虚拟相机就能捕捉到,在人眼位置看3D场景的效果(看起来具有远近深度)。

同轴和离轴透视投影

在这个方案中,Shopify还探索了3D成像的同轴、离轴投影问题。

如果WonkaVision的虚拟相机使用轴上透视投影方案,那么视椎体看起来像是形状不变的金字塔,它的问题是窗框外边的虚拟场景也会透出来。那么如果使用离轴透视投影矩阵,虚拟相机的视椎体则看起来像是不对称的金字塔,底部固定在虚拟窗口上,从正面看起来视觉效果理想,虚拟场景的内容会根据视角和距离而变化,窗口边缘外的虚拟内容不可见。

另外,WonkaVision的虚拟相机位于右眼,而非双眼中间。这是因为它追踪双眼位置来渲染3D效果,而非定位整个头部。但它有一个局限,就是只能将虚拟相机放在一只眼睛的位置,观看时需要闭上另一只眼睛。而如果将虚拟摄像头放在双眼中间,则无法准确计算双目视差,导致深度错觉感消失。Shopify表示:虚拟摄像头放在双眼中间时,依然能生成有趣的效果,但立体感不够理想。

实际上,VR头显就基于类似原理。VR会将同一个场景渲染两次,分别对应左右眼,并分别显示在屏幕左侧或右侧(或是左右两块屏幕)。而对于WonkaVision来讲,由于只有一块屏幕,因此便仅从一只眼的角度来进行渲染。

最终原型

经过验证,WonkaVision视觉效果自然,看起来就像从屏幕中冲出来一样。未来,除了虚拟商品、店面展示外,WonkaVision也可以为动画、游戏等内容带来有趣的3D视觉体验,比如用肉眼感知僵尸从屏幕里面走出来的感觉。

不过与Lee的方案类似,WonkaVision也存在一些局限,导致其难以被广泛应用。Shopify指出,虽然解决了硬件成本问题,但摄像头参数很难计算,而且屏幕的尺寸各不相同,因此难以适配。此外,它还有一些局限,比如需要闭上一只眼才有好的效果,这无疑为用户体验带来了门槛。

尽管WonkaVision可以在网页端运行,但它依然不适合广泛使用,因为目前仅适用于一种屏幕尺寸,和一种固定的摄像头参数。除非能够轻松获得任何摄像头参数,以及屏幕尺寸,否则这种3D模拟方案将很难成为主流。参考:Shopify

标签: