首页天道酬勤什么叫三维成像,三维视觉是利用什么原理

什么叫三维成像,三维视觉是利用什么原理

张世龙 05-12 20:49 40次浏览

三维成像结构光

微基线结构光

论文链接:

3358 open access.the CVF.com/content _ iccv _ 2019/papers/saragada m _ micro-baseline _ structured _ light _ IC cv

摘要

我们提出了微基线结构光(MSL ),是一种新型的三维成像方法,旨在用于手机、微型机器人等小型设备。 MSL使用小型投影仪的相机基线和低成本投影硬件,可以使用计算较少的算法恢复场景深度。 主要观察结果是,小基线导致小差异,实现非线性SL成像模型的一次近似。 这导致了本文的重要理论结果——MSL方程、线性化的SL成像方法。 由于每个像素都有两个未知量(深度和反照率),MSL方程受到约束,但可以使用局部最小二乘法有效地求解。 从不同的系统参数(如投影模式和基线)分析MSL的性能,为优化性能提供指导。 有了这些见解,我们创造了一个原型,用于实验验证这个理论及其实用性。

Introduction我们提出了一种新的SL方法,称为微基线结构光(MSL )。 这适合于这种高度受限的设备,并且公开了将SL引入到小型、低功耗、低复杂度的设备中的可能性。 MSL在小型(微)投影仪的照相机基线的限制下工作,基于观察到小基线导致投影仪和照相机的像素之间的小差异,如图1 ) b所示。

我们的主要理论观点是,在小差异下,结构光成像模型(未知情况下(深度和反射率)是非线性的)能够通过线性近似线性化。 这导致了新的线性SL约束推导,即微基线结构光(MSL )方程,它将场景的反照率、深度和测量强度联系起来。

Related Work结构光编码技术:

一般来说,SL技术可分为多透镜和单透镜方法[25]。 诸如光条纹[2]、灰度编码[23]和正弦相移[3]的多透镜技术通过快速且连续地投影多个图案来估计形状。 这些技术可以通过计算简单的解码算法来恢复高精度的深度,但是需要诸如LCD、DMD之类的复杂投影设备,这些设备可以动态地改变投影模式,使得它们不适合于诸如动态场景和移动电话之类的低复杂度设备单镜头技术只投影一种模式,取决于强度[32]、颜色[ 8,13 ]或对应于局部附近投影仪的代码[ 9,20,14 ]。 虽然单模技术最适合动态场景,但是这些技术通常使用复杂的计算解码算法,并且需要专用硬件来实现实时性能。 虽然有傅立叶变换轮廓术[FTP][30]等比较简单的解码方法,但对场景的纹理和深度提出了有力的假设。

实时SL系统:

您可以使用基于学习的方法,例如运行高速(1000 fps ) SL、使用无法移植到移动设置的高成本高速照相机(12 ),以及最近使用的超深度(ultratereo )7)。 有足够的数据和Kinect[1]等专用硬件,这些方法被证明是快速准确的。

我们的目标不同

我们的目的是利用传统SL方程在小基线约束下的微分表达式发展简单解析封闭形式的解码方法。 未来一个有趣的研究方向是使用数据驱动技术增强MSL,潜在地进一步提高精度和速度。

为了了解投影相机基线在结构光优化结构光学系统中的作用,我们首先介绍了SL系统的成像模型。 成像模型。 考虑如图1(b )所示的投影仪-照相机对。 假设矩形投影仪或照相机的放置,将投影仪和照相机的中心水平移动b个单位。 此外,假设投影仪和相机具有相同的空间分辨率和焦距f。 这些假设只是为了便于说明; 所提供的分析和技术对一般结构和系统参数有效。

在下一节中,需要投影一个模式,但需要捕获两个图像。 因为计算成本低,所以可以在电力受限的系统中有效地实现。 另外,虽然传统的SL系统使用尽可能大的基线,但是所提出的技术是为只允许在投影仪和照相机之间具有小(微)基线的小尺寸设备设计的。

微基线结构光与微分法的关系

上述分析与最近光度立体设计的差分方法[5]和基于光场的运动估计[18]有相似之处。 这些方法也将本来难以解决的非线性问题线性化,产生了容易处理的分析和解决方案。 基于类似的精神,MSL可以被认为是SL的差分版本。

与光流的关系

请注意,MSL矩阵类似于LucasKanade tracker[16]的结构qxdsy。 在立体背景下,视差/光流相似线性化和22矩阵的形成已经在探索中[ 6,21 ]。 结构qxdsy和MSL矩阵的一个重要区别是MSL矩阵仅依赖于投影模式及其导数。 因此,MSL矩阵的可逆性只能根据投影模式的性质来分析,不能根据场景来分析。

Invertibility of MSL Matrix这个命题通过投影非常数和指数函数的模式,在理论上保证了MSL方程有解。 接下来,讨论存在噪声时的重要考虑事项——解的稳定性。 因此,当投影模式是周期性的时,MSL方程的解是稳定的。 阵列周期可能与分析窗口不一致。 但实际上,正如我们的实验所示,深度

估计对小的偏差是稳健的。

Handling Texture Edge

为了保持计算简单,我们假设反照率只是引导图像的缩放版本。图2通过计算高纹理对象的深度说明了引导MSL相对于标准MSL的优势。导频MSL极大地提高了基于MSL的深度恢复精度,几乎没有计算开销,从而扩展了所提出方法的范围。此后,我们的所有结果都是使用引导MSL方法计算的。

Practical Considerations for MSL

图3(b)说明了作为一些代表性模式周期的基线函数的精度。显然,与最小误差相对应的周期随着基线的增大而增大。

小基线确保一阶近似成立,但遭受三角测量误差[31]。另一方面,大基线需要一个大窗口,因此局部不变假设可能不成立。图4显示了作为基线函数的精度模拟。对于此分析,给定基线,我们选择达到该基线的最佳精度的模式周期。我们观察到,MSL在一组不同的例子中始终达到8-30mm之间的最高精度。在实际应用中,参数的准确选择取决于几个附加因素,如投影仪的允许分辨率、相机和投影仪的散焦。我们发现15mm的基线导致了最精确的结果,因此我们的实验室原型与此基线相符合(见图6)。

在什么样的设备约束下,MSL比现有的SL技术更合适?MSL的目标是具有受限的外形、低硬件复杂度和计算资源的平台,因此不应被视为现有测距硬件的通用替代方案。例如,如果一个系统能够投射多个模式,那么相移[3]即使在窄基线下也能精确工作,如图5所示。同样,如果一个系统有足够的计算资源和/或大基线,现有的单发技术[20、8、33、1、7、24]可以达到比MSL更高的精度。

此外,如果该系统配备了两个摄像机,则可以依靠精确的立体匹配技术[17]来获得对应关系,尽管计算要求很高。然而,当所考虑的设备体积小,硬件和计算能力有限时,MSL承诺提供一个重量轻的解决方案。图5说明,MSL比小于100毫米的基线的块匹配更精确,同时速度也更快。虽然具体数字取决于具体配置,但当基线很小且只能投影单个图案时,MSL是合适的。

Experiments

硬件设置

我们的设备包括一台1280×720 DLP投影仪(AAXA technologies),f=8mm和一台2048×1536机器视觉摄像机(Basler acA2040120uc),f=12mm。不同的焦距和像素大小导致相机图像中的投影仪图形大小为2.5倍。摄像机放置在投影仪上方,水平基线为15mm,如图6所示。该系统还具有沿垂直方向的基线,这是由于机械约束而无法避免的。然而,由于我们提出了一个垂直对称的模式,因此只考虑水平基线和差异;垂直基线不影响水平差异的计算。

基本事实

我们使用五个频率的相移码捕获地面真实深度信息,对应于1280px、100px、50px、20px和10px的模式周期。低频被用来展开高频相位,这使得亚像素级的视差精确估计成为可能。

手机上的运行时比较

为了评估实时性,我们通过投影ran 800mm dom点模式,将MSL与具有微基线的立体块匹配算法进行了比较。结果如图7所示。请注意,投影模式以及解码策略没有针对窄基线进行优化;我们在这里的重点是比较时序复杂性而不是准确性。图5(b)显示了Android设备googlepixel2xl上不同图像分辨率的运行时与现有的基于匹配的方法(如块匹配和使用OpenCV[4]实现的半全局方法(SGBM))之间的比较。块匹配和半全局匹配3MP图像的运行时间分别为133ms和1s。相比之下,MSL在27ms时的速度要快得多,这表明MSL适合于移动平台。

视频序列

轻型SL技术的一个优点是能够以视频速率计算深度。为了验证这一点,我们以每秒30帧的速度拍摄了一系列图像,用于视频率3D成像。交替帧被捕获,没有任何模式用作指导图像。该系统以15fps的速度输出深度视频和无模式视频,无需计算(无需模式-场景分离),通常用于增强现实。我们在图8中显示了三个具有代表性的深度框架。请注意,深度变化在各种手势中都清晰可见。更重要的是,用于估计深度的计算开销非常小,可以实时输出,这使得MSL成为移动系统的一项引人注目的技术。

实验评价

图9显示了在几何和纹理复杂度不同的几个场景中基于MSL的3D恢复结果。所有的实验都用不同时期的三角形模式捕捉到,展示了MSL可以使用的各种场景。第一行显示具有各种纹理复杂性的平面对象的结果。人体模型场景演示了纹理有限的非平面场景的MSL。注意三维模型如何显示前额和脸颊的曲线。最后,bas地形场景显示了小深度范围但高空间复杂度的精度。通过显示6px周期的图形,计算了bas地形场景的深度图,获得了较高的空间分辨率。请注意,在3D模型中精确地重建了摄像机的大腿。在所有情况下,深度误差小于8毫米。

失败案例

由于MSL是一种局部加窗估计技术,因此计算出的深度边缘处的深度被平滑,从而导致粘附到对象边界(参见图9中的平面场景)。高纹理对象和复杂几何体(如精细结构)的性能也会因违反局部恒定性假设而降低。其次,制导MSL假设窗口内的反照率是环境光照下图像的缩放版本。如果环境照明、投影仪照明或反射或表面法线的光谱有很大变化,从而导致伪影,则此假设不成立。第三,MSL依赖于亚像素精度的强度-视差,但容易受到间接照明的影响,因此在相互反射或次表面散射下无法很好地工作(见图10)。


Discussion

我们提出了一种新的SL技术,它可以在窄基线、简单、低成本的硬件和低计算能力的限制下运行。通过对投影相机对应方程的线性化,我们证明了使用局部最小二乘法可以有效地估计深度。为投影图案的设计提供了理论和实践指导。MSL能够用有限的硬件进行深度计算,使其成为手机、无人机、微型机器人和内窥镜上的理想距离成像技术。

如何看三维立体图,三维立体图原理 matlab仿真光束经聚焦镜聚焦,雷达系统设计matlab仿真