网络的加速,传感器分辨率的提升,屏幕显示清晰度的提高,加上处理器性能的升阶,催生了VR、高清摄像手机、工业显示和ADAS等新应用,嵌入式视频进入了一个“黄金时代”。但是对于开发工程师来说,这些新应用也将给他们带来全新的挑战。
嵌入式视频面临的新挑战
从嵌入式视频系统设计工程师的角度看,在他们的设计过程中,需要面临的挑战就是快读且不断发展的I/O接口。
过去几年,移动处理器、低成本图像传感器以及显示屏的快速普及以及MIP标准接口的广泛采用,快速改变了嵌入式系统设计。但是步入了最近两年,包括智能手机、无人机、VR等在内的移动平台成为嵌入式视频亟待创新的主战场。能将每个器件连接到应用处理器当然是最好的,但对于目前的新兴视频市场来说,这并不能如愿,通常发生的情况就是处理器接口的类型或数量不适配系统中的图像传感器或者显示屏。
例如在近年火起来的VR和3D视频应用中,工程师们需要探讨的是怎样才能快速又经济地从单个输入接收信号,然后传输到两个显示屏;而无人机中,就需要思考如何实现接收多个摄像头的输入,并以精确同步的方式讲个幅画面合并为尺寸更大的单幅图像帧。很多这样的新应用对业界提了新的需求。
莱迪思半导体亚太区资深事业发展经理陈英仁先生则认为,对于嵌入式视频开发而言,及时提出创新并且可行的视频解决方案是最大的挑战。如何加速产品上市进程,更快地进入市场试水,或是如何更好地吸引早期采用商,对于很多新兴市场,如无人机、VR / AR设备和360摄像头等尤为重要。
莱迪思半导体亚太区资深事业发展经理陈英仁
他表示,由于这类市场刚刚兴起,通常没有现成的解决方案。另外,市场和消费者的需求不断变化,也对产品设计灵活性提出了很高的要求。虽然可以利用一些现有的外围设备和接口,但通常存在接口兼容性的问题。他以几个热门应用为例,说明接口对这些嵌入式视频设备的重用性:
如360度摄像头,典型的360摄像头使用2个鱼眼相机拍摄360度影像。虽然传统的移动应用处理器可以支持两个摄像头接口,但它缺乏实时拼接的视频处理能力。另一方面,单反相机处理器能够执行实时拼接和复杂的视频处理,但是它通常仅支持一个摄像头。
再比如无人机的障碍规避,虽然传统的移动应用处理器可以支持两个摄像头接口,并通过深度绘图(depth mapping)实现障碍物规避,但这样的处理器仅支持一对立体摄像头,仅能实现一个方向上的防碰撞功能。理想情况下,应用处理器应当连接到6-8个或更多的摄像头,以便在多个方向上执行障碍物规避。
因此对于目前的嵌入式视频系统开发,如何提供高性能、低功耗、紧凑的接口桥接解决方案,能够最大限度地提高设计灵活性和实现设计创新,解决上文提到的连接问题,就成为技术提供商和开发者关注的重要问题。
CrsossLink:全新的pASSP方案解决桥接问题
为解决上述问题,知名的FPGA供应商,智能互联方案提供商lattice在2016年发布了全新的CrossLink™ 可编程ASSP(pASSP)IP解决方案。通过全新的三款CrossLink IP以及两款支持MIPI® DSI到LVDS以及CMOS到MIPI CSI-2桥接的CrossLink演示平台,设计工程师可实现全新的视频桥接功能。
通过陈英仁先生的介绍,我们得知,莱迪思的CrossLink™器件是全球首款可编程ASSP(pASSP™),面向MIPI D-PHY桥接解决方案。这是一款世界领先的超快 MIPI® D-PHY 桥接应用器件支持12 Gbps 带宽,实现分辨率最高为4K的超高清视频传输。
CrossLink器件框图
通过可编程架构、灵活的高速I/O以及MIPI D-PHY硬核,Crosslink能够实现低成本、小尺寸、高性能和灵活的解决方案来解决视频接口不兼容的问题。对于360摄像头应用来说,CrossLink可以轻松地桥接和拼接两个或多个摄像头的内容,通过单个MIPI CSI-2输出。
类似地,CrossLink还可以将多个摄像头传感器接口进行多路复用/切换和合并,使得应用处理器能够选择连接哪些立体摄像头并执行障碍物规避。
目前,Crosslink在多个领域支持多种接口。包括但不限于:视频接口(MIPI D-PHY: DSI, CSI-2、SLVS、LVDS、Sub-LVDS);音频接口( Slimbus、Soundwire、I2S),另外还有GPIO、I2C、SPI和UART等接口。
Lattice解决内部器件的互联问题
“与传统视频桥接ASSP相比,CrossLink能够提供卓越的可编程性和灵活性,使得设计工程师能够根据自己的需求定制和优化桥接解决方案。与传统的FPGA相比,CrossLink的MIPI硬核性价比更高、性能更强,可简化RTL和系统设计”,陈英仁先生强调。也就是说Crosslink非常适合于多个摄像头和传感器之间“融合”的设备。
陈英仁先生也表示, CrossLink非常适用于360摄像头、无人机或ADAS应用,实现不兼容接口之间的桥接,这些应用通常使用两个或多个摄像头,或者摄像头接口数量非常有限的常规应用处理器。
例如在VR头戴式显示器,CrossLink可以将多个摄像头(如inside-out跟踪摄像头和iris摄像头)桥接并合并输出到一个接口;对于AR眼镜应用,CrossLink则可以通过将MIPI DSI转换为LVDS来桥接移动应用处理器和普通微型OLED显示器之间不兼容的接口协议。
这些强大的功能,是基于他们便捷的开发环境。
“CrossLink是一款真正的pASSP,我们有许多现成的参考设计、视频桥接IP和演示示例。 新手用户可以利用我们的IP来实现常见的视频桥接功能,例如双摄像头聚合、RGBMIPI DSI转换、MIPI DSI端口复制等等,而经验丰富的开发人员可以充分利用可编程特性,自己编写代码并进行优化 。”陈英仁告诉半导体行业观察的记者。
这么一款能提供全方位帮助的产品,也着实让开发者难以抗拒。
在问到未来将会怎样持续帮助嵌入式开发者是,陈英仁先生表示,Lattice期望通过更先进的工艺节点实现更低的功耗和更高的性能。同时也希望看到需要支持更多视频通道的需求。
他进一步指出,除了视频桥接,可编程逻辑器件的并行处理能力也非常适合机器视觉应用。 lattice的产品将继续致力于协同处理和互连功能,为网络边缘设备带来更多智能功能。(文/李寿鹏)
今天是《半导体行业观察》为您分享的第1257期内容,欢迎关注。
【关于转载】:转载仅限全文转载并完整保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“半导体行业观察icbank”微信公众号。谢谢合作!
【关于征稿】:欢迎半导体精英投稿(包括翻译、整理),一经录用将署名刊登,红包重谢!签约成为专栏专家更有千元稿费!来稿邮件请在标题标明“投稿”,并在稿件中注明姓名、电话、单位和职务。欢迎添加我的个人微信号 MooreRen001或发邮件到 [email protected]
点击阅读原文加入摩尔精英