360全景相机商用难 芯片与图像拼接成关键

   360全景相机商用化道路日渐明朗，但实际与众行业融合的过程中却是荆棘载途。首先，由于需要稳定的多路视频采集功能，对于芯片的运算能力提出了很高的要求;另外，在图像拼接与图像处理方面，也需要高效且稳定的图像算法来做一定的支持，这显然更大程度的提升了行业对360全景相机的配置及技术要求。

    首先，在芯片层面上，“多路视频采集”的功能不可或缺，作为商用全景相机应用最为频繁的一项功能，视频采集过程中会产生庞大的数据量，而且输入输出会非常频繁，因此对于芯片的运算能力及效率都提出了很高的要求。对此，各厂商也都拥有不同的解决方案，比如国外厂商Giroptic采用的FPGA方案，通过FPGA来编辑数字逻辑电路，然后将各个摄像头的画面整合在一起，最终输出到编码器当中;除此之外，业内也有其他厂商通过CMOS桥接DSP芯片来实现该功能，通过给摄像头的CMOS芯片上桥接一个DSP芯片来对原始视频数据进行压缩处理，最后将经过处理的数据传输到主芯片从而实现多路视频采集。

    对此，浙江得图网络有限公司CTO孙其瑞告诉记者：“作为一种新型的成像设备，360全景相机对芯片方面有一些硬性的指标要求，因此针对该领域，前两年市面上可选择的芯片种类也非常少，当时很多企业也都是利用行车记录仪中的芯片方案转化而来。不过，近两年随着VR产业的快速发展，芯片的选择也越来越多，目前主流的有安霸、高通以及海思等比较成熟的芯片方案，且近期也不断有一些传统平板手机领域的芯片厂商参与进来，比如盈方微、全志、威盛等，这在未来势必也会降低消费类全景相机产品的整体成本和终端价格。”

    成都观界创宇科技有限公司CEO刘天成也表示：“目前，针对四目及以上的360全景设备，业内对于芯片/FPGA都有一定的指标要求，比如3200万像素、60FPS以上的ISP处理能力、4路以上的input支持、强大的编码能力、类似SSD的高速写入能力以及配置为专有拼接算法提供的硬核等。而目前市面上仍不存在专门针对360全景相机领域而开发的芯片，想要实现这些基础指标，业内的厂商也都主要是通过复用手机或其他应用平台的SOC芯片方案略作修改而成，我们的产品则是通过选择复用最为接近硬件产品方案来进行改造和适配后形成的。”

    不过，这种情况也将会随着芯片厂商的加入而得到解决，随着360全景相机产业的兴起，各大芯片厂商也必然不会舍弃这块生机勃勃的新市场。AMD亚太区技术总监盧英瑞在接受记者采访时表示：“为了满足多路视频采集方面的要求，我们也拥有一个专业级的产品线，RadeonProSSG的开发套件能够为开发人员提供无需限制的解决方案，基于大型数据集和强大GPU运算需求，能够在这两个端点之间做进一步优化，以创建一个专用，快速的信息通道，从而消除瓶颈，确保开发人员能轻松地以同样的工作效率去处理额外增加数据配置及其他应用需求。而且也能够针对客户的特定需求提供产品的定制化服务，使得开发者们能够利用我们提供的公开标准来针对不同的产品做特定的开发，这将会对未来该领域技术与市场的发展产生积极的作用。”

    除此之外，全景相机要想实现稳定且流畅的视频及图片输出，软件层面上的图像拼接及处理技术也是必须要考量的重要一环。尽管目前市面上据说有一些产品可以做到实时拼接，但在实际应用当中，由于不同的摄像头之间会出现帧率不同以及时间差的问题，图像拼接功能也会给芯片运算模块带来很大负荷，且频繁的DDR读取以及内存搬运，对于一般的SOC而言，传输多路视频以及外加ISP会构成更大的压力，因此目前On-ChipStitching传输与处理成为全景相机图像处理领域最大的技术门槛。

    对此，刘天成表示：“现有的SOC以及FPGA方案，大多都是采用模板映射加上交界区域的多通道融合的方式来做到的。尽管这种方案的计算量较低而且易于实现，但实际上最终的图像拼接质量较差，且容易产生重影以及过缝扭曲等现象。举个例子，比如在高质量的Stitching过程中，通常会用到基于稠密像素级的光流算法，想要在SOC和FPGA内部进行相关的实时计算几乎是无法实现的，因此目前基于SOC和FPGA进行机内Stitching的方案实用价值不大。而且，现有的FPGA方案也很难满足全景相机在功耗、处理速度以及分辨率等多方面的需求。因此目前市面上常用的方式都是以安霸或海思等成熟芯片方案进行多模组组合来做，这种方案基本能够解决功耗以及帧率方面的问题，且画面不一致也可以通过CMOS硬件同步来解决。我们的产品就是在这种方案的基础上，外加了ISP以及在同步方面做了更多的优化，同时光流拼接缝合算法方面也体现出较大的优势。”

    盧英瑞也告诉记者：“为了达到更高质量的360全景影片效果，业内厂商需要在技术层面上做出多方面的优化和提升。就目前来看，业内所摄录的360全景影片基本都是使用2到32部独立(最高4K解析度)的摄影机录制，其中使用的摄影机数量越多，解析度也会相应提升。而我们目前所能够提供的解决方案最多是可以支持31部独立的摄影机同时录制最高16k*8k解析度的360全景影片，能够给观众带来良好的视觉体验。但就当前的技术而言，将多部摄影机的视角输出结合为单一、无接缝等距柱状投影的过程极为复杂，且这些摄影机的输出必须在软件当中被拼接在一起才能够加以编辑或检视，相应使用的摄影机数量越多，需要拼接的接缝也会越多，因此也很大的提升了产品的开发及应用的难度和成本。此外，镜头失真的修正、时差的考虑以及混合摄影机输出之间的曝光差异等也是必须要考虑的方面，只有综合解决这些问题，才能最终产生平衡的图像/影像。”

    而在图像拼接过程中，还需要在亮度以及细节部分来做一些像素的比对和微调，盧英瑞进一步补充到：“高质量的拼接首先会选取一个好的光线点，然后来针对主要的物体做出切割，因此它需要GPU拥有强大的并行运算能力以及较高的解析度。而我们的RadeonLoom方案能够很好的解决这个问题，利用我们所提供的开放源代码来建立OpenVX计算机视觉架构，各家厂商可以根据实际情况来与自己的架构进行融合，进而实现即时且快速离线拼接360度影片，实现与摄像头之间的衔接。”

    除了拼接之外，图像处理也是重要一环，但目前不少上市的产品都会存在图像边缘画面处理效果差、视频拍摄噪点、图像畸变以及色散(紫边)等问题，也成为影响用户体验和使用的重要因素。对此，各厂商的解决方案也不尽相同，刘天成表示：“针对这些问题，我们主要在两个方面做了优化。首先，在ISP上做了相关优化，能够部分减轻噪点以及色散方面的影响，并能够实现全局曝光和色温均衡;其次，我们在关键的sensor、镜头以及rig排布设计上也做了相应的优化，比如采用大靶面的sensor来提高基底的质量，优化设计镜头，提高靶面使用效率(常用的鱼眼镜头是内切圆，靶面使用率较低、像素浪费高)，且在rig排布上也兼顾了重叠区域大小以及靠近光心区域内容的使用，在多个技术层面上进行优化，提升了整体的图像处理效果。”

    孙其瑞也对记者表示：“我们主要是通过在ISP芯片上来处理这些问题，首先，我们出品的相机镜头视角可以达到210度，大视角方案很好的保证了图像的重合度;其次，我们的F-theta畸变能够达到-3%，在图像投影中的中心视场会被校正缩小且边沿视场也会有较好的拉伸效果，保证了图像的解析度不受影响;另外，由于我们产品的镜头一般都很小，因此图像畸变基本可以忽略不计。”