打造“千里眼”的非结构光场智能成像技术

打造“千里眼”的非结构光场智能成像技术

对于很多摄影圈资深人士来说，Lytro这个名字既如雷贯耳，又显得分外陌生。这曾是一家生产新型光场成像设备的初创企业，从2006年成立伊始，Lytro凭借其惊艳的产品和多项专利，一时间成为资本市场炙手可热的宠儿。但如今，除了部分摄影爱好者手中的珍藏品，我们已经难觅Lytro的踪迹了。

由清华大学、凌云光技术股份有限公司等多家单位共同完成的科研项目“非结构光场智能成像关键技术与装备”荣获2021年度北京市科学技术奖技术发明一等奖。该项科研成果将光场成像技术的发展推向了一个全新的高度。那么光场成像是否会在新技术的加持下焕发新生呢?

光场：既要“看得清”,又要“看得全”

说起“光场成像”,就要从那个生僻的物理概念——“光场”说起。在物理学领域里，“场”是一个被广泛应用的概念，我们耳熟能详的有“电场”“磁场”“引力场”等。对于这一抽象的物理学术语，我们可以简单地理解为物理量在时间和空间中的分布状态。从物理学的视角看去，光可不只是诗人在黑暗中(zhōng)寻(xún)找(zhǎo)的(de)圣(shèng)物(wù)，而(ér)是(shì)可(kě)以(yǐ)用严谨的数学模型表达的物理概念。

早在200多年前，电磁学之父法拉第就在他的一篇演讲中提出，光应该像磁场一样，被理解为一个“场”,这算是光场理论的起源。此后，麦克斯韦提出了将电、磁、光统归为电磁场现场的麦克斯韦方程组，为光场理论的发展打下了重要基础。1936年，物理学家亚历山大·格尔顺(AlexanderGershun)在他的论文中正式提出了“光场”这一概念，并首次对光场进行建模。不过一直到20世纪末，人类才在光场理论上取得了实质性突破，1991年麻省理工学院教授爱德华·阿德尔森(E.H.Adelson)

等学者，提出了全光函数，为光场理论建立了一套清晰的数学模型。阿德尔森用一个7维函数，将光线在空间中的分布简洁明了地(de)表(biǎo)达(dá)出来。在阿德尔森的理论中，全光函数将物体所发出或反射的光解析成7个维度的信息：光的空间(jiān)位(wèi)置(zhì)(用(yòng)空(kōng)间(jiān)坐(zuò)标(biāo)系(xì)x,y,z表(biǎo)达(dá)),光(guāng)线(xiàn)入射角度(用球坐标系的角度值θ,Φ表达),波长(用λ表达)和时间(用t表达)。全光函数的提出，将人类看得见却摸不着的光，完整地拆解开来呈现在人类面前。既然光线本身包含了这些维度的信息，那么如果我们在空间内遍布数量众多的观察光线的位置，那么由此记录下这个空间内光线的动态分布状态，就可以被理解为“光场”。

全光函数的提出推动了“光场理论”的发展与完善，也为科学家指明了研究方向——光场成像技术。我们知道，传统的数码相机是由光学镜头、影像传感器和影像处理器三大核心部件组成的，自然界三维场景发出、反射或散射的光线，被单镜头捕捉并聚焦，经由影像传感器转换为数字信号，最后交给影像处理器变成二维图像。清华大学方璐教授介绍道：“毕竟光是一个高维的信号，普通成像设备无法将光场内这些高维信号全部、高速并实时地转换成一个电子信号。”传统成像设备只能记录光场中的光亮信息，对光的方向等信息束手无策，导致深度信息的丢失，且能获取的总信息量受到影像处理器像素数量的限制。因此，“‘看得清’和‘看得全’这对矛盾一直困扰着人们。举个大家日常拍照上的例子，广角镜头可以把照片拍得很宽很大，分辨率却不甚精确。而长焦镜头可以拍得很远很清晰，却只能覆盖一片很小的区域。”方璐说。

光场成像的前世今生

近年来，光场采集感知重建理论及技术的进步为我们指出了另外一条思路：如果我们将全光函数中所有的参数都捕捉到，成像效果不就能做到既看得全也看得清吗?答案是肯定的。不过，全光函数包含了光线多达7个维度的信息，显然还是过于复杂了，而且并不是所有维度的信息在拍摄时都用得着。于是安德尔森的后继者们将该函数做了简化，波长λ被简化为记录红、绿、蓝三原色，时间t被简化为记录不同帧，这样函数就被简化为只包含位置(x,y,z)与光线入射角度(0,Φ)5个维度(dù)信(xìn)息(xi)。此(cǐ)后(hòu)又(yòu)被(bèi)进(jìn)一(yī)步(bù)降(jiàng)到(dào)了(le)4维(wéi)：即(jí)通(tōng)过(guò)记(jì)录(lù)一(yī)条(tiáo)光(guāng)线(xiàn)穿(chuān)过(guò)两(liǎng)个(gè)平(píng)行(xíng)平(píng)面(miàn)的(de)坐(zuò)标(biāo)(分(fēn)别(bié)用(yòng)u,v和(hé)x,y两(liǎng)个(gè)坐(zuò)标(biāo)系(xì)表(biǎo)示(shì)),就(jiù)能(néng)得(de)到(dào)光(guāng)线(xiàn)的(de)位(wèi)置(zhì)与(yǔ)方(fāng)向(xiàng)信(xìn)息(xi)。如(rú)果(guǒ)将(jiāng)这(zhè)个(gè)双(shuāng)平(píng)面(miàn)模(mó)型(xíng)套(tào)用(yòng)在(zài)普(pǔ)通(tōng)成(chéng)像(xiàng)系(xì)统(tǒng)的(de)结(jié)构(gòu)上(shàng)，那(nà)么(me)其(qí)中(zhōng)u-v平(píng)面(miàn)就(jiù)是(shì)主镜(jìng)头(tóu)中(zhōng)心(xīn)所(suǒ)在(zài)平(píng)面(miàn)，x-y平(píng)面(miàn)是(shì)影(yǐng)像(xiàng)传(chuán)感(gǎn)器(qì)所(suǒ)在(zài)平(píng)面(miàn)，这(zhè)样(yàng)通(tōng)过(guò)采集光(guāng)线(xiàn)穿(chuān)过(guò)两(liǎng)个(gè)平(píng)面(miàn)时(shí)所(suǒ)产(chǎn)生(shēng)的(de)4个(gè)维(wéi)度(dù)信(xìn)息(xi)，理(lǐ)论(lùn)上(shàng)就(jiù)能(néng)兼(jiān)顾(gù)到(dào)“看(kàn)得(de)全、看(kàn)得(de)清(qīng)”的(de)效(xiào)果(guǒ)。问(wèn)题(tí)在(zài)于(yú)，要(yào)借(jiè)助(zhù)什(shén)么(me)样(yàng)高(gāo)科(kē)技(jì)的(de)神(shén)器(qì)才(cái)完(wán)成(chéng)这(zhè)样(yàng)的(de)采集工(gōng)作(zuò)呢(ne)?“要(yào)兼(jiān)顾(gù)既(jì)看(kàn)得(de)全又(yòu)看(kàn)得(de)清(qīng)，就(jiù)意(yì)味(wèi)着(zhe)依(yī)靠(kào)单(dān)个(gè)镜(jìng)头(tóu)和(hé)单(dān)个(gè)影(yǐng)像(xiàng)传(chuán)感(gǎn)器(qì)的(de)系(xì)统(tǒng)根(gēn)本(běn)无(wú)能(néng)为(wèi)力(lì)。这(zhè)时(shí)人(rén)们(men)就(jiù)想(xiǎng)到(dào)：能(néng)否(fǒu)把(bǎ)多(duō)个(gè)相(xiāng)机(jī)放(fàng)在(zài)一(yī)起(qǐ)形(xíng)成(chéng)阵(zhèn)列(liè)，通(tōng)过(guò)‘量(liàng)变(biàn)引(yǐn)起(qǐ)质(zhì)变(biàn)’的(de)思(sī)路来(lái)实(shí)现(xiàn)?”方(fāng)璐(lù)介(jiè)绍(shào)道(dào)。初(chū)代(dài)光(guāng)场(chǎng)成(chéng)像(xiàng)技(jì)术(shù)的(de)解(jiě)决(jué)方(fāng)案(àn)是(shì)在(zài)影(yǐng)像(xiàng)传(chuán)感(gǎn)器(qì)前(qián)，用(yòng)数(shù)量(liàng)众(zhòng)多(duō)的(de)单(dān)镜(jìng)头(tóu)组(zǔ)成(chéng)阵(zhèn)列(liè)，形(xíng)成(chéng)类(lèi)似(shì)于(yú)昆(kūn)虫(chóng)复(fù)眼(yǎn)的(de)结(jié)构(gòu)，对(duì)u-v和(hé)x-y平(píng)面(miàn)的(de)信(xìn)息(xi)进(jìn)行(xíng)采集，然(rán)后(hòu)通(tōng)过(guò)数(shù)字(zì)调(diào)焦(jiāo)的(de)形(xíng)式(shì)进(jìn)行(xíng)图(tú)像(xiàng)还(hái)原(yuán)。这样就形成了“先拍照，后对焦”的特点，省去了传统成像设备同时对焦和拍照导致拍摄不清晰的麻烦。

2006年，美国斯坦福大学的马克·勒沃伊(MarcLevoy)团队根据这一思路研制出了阵列式光场成像系统，这个身形巨大的装置通过不同位置的相机同时曝光进行光场信息采集，从而迈出了光场成像技术落地的第一步。2012年(nián)，美(měi)国(guó)杜(dù)克(kè)大(dà)学(xué)的(de)戴(dài)维(wéi)·布(bù)雷(léi)迪(dí)(DavidBrady)团(tuán)队(duì)在(zài)顶(dǐng)级(jí)学(xué)术(shù)期(qī)刊(kān)《自(zì)然(rán)》上(shàng)发(fā)表(biǎo)了(le)世(shì)界(jiè)上(shàng)首(shǒu)款(kuǎn)亿(yì)像(xiàng)素(sù)级(jí)阵(zhèn)列(liè)式(shì)光(guāng)场(chǎng)成(chéng)像(xiàng)系(xì)统(tǒng)，像(xiàng)素(sù)分(fēn)辨(biàn)率(lǜ)达(dá)到(dào)当(dāng)年(nián)数(shù)码(mǎ)相(xiāng)机(jī)的(de)30多(duō)倍(bèi)，能(néng)捕(bǔ)捉(zhuō)到几倍于人眼感知能力的细节。但体积和重量的限制导致这些阵列成像设备只能止步于实验室。此外，在这种技术里，“每个相机采用同样的尺度，并且位置和姿态固定，只有一种拍摄模式，依赖事先标定(dìng)的参数进行重建，系统的鲁棒性和扩展性都受限。”方璐介绍道，“如果有相机在成像过程中受到扰动，整个阵列系统的工作都会受到影响，需要进行重新标定。”

欲穷千里目，智能技术来相助

方璐带领团队另辟蹊径，提出了非结构光场阵列感知技术。不同于之前，非结构光场阵列感知技术的特征是“层内非结构”和“层间异构”:层内非结构突破(pò)了(le)结(jié)构(gòu)固(gù)化(huà)的(de)制(zhì)约(yuē)，使(shǐ)得(de)阵(zhèn)列(liè)系(xì)统(tǒng)具(jù)有(yǒu)场(chǎng)景(jǐng)自(zì)适(shì)应(yīng)成(chéng)像(xiàng)的(de)能(néng)力(lì)；层(céng)间(jiān)异(yì)构(gòu)克(kè)服(fú)了(le)尺(chǐ)度(dù)单(dān)一(yī)的(de)瓶(píng)颈(jǐng)，使(shǐ)得(de)阵(zhèn)列(liè)系(xì)统(tǒng)的(de)感(gǎn)知(zhī)尺(chǐ)度(dù)和(hé)维(wéi)度(dù)可(kě)扩(kuò)展(zhǎn)。非(fēi)结(jié)构(gòu)光(guāng)场(chǎng)阵(zhèn)列(liè)感(gǎn)知(zhī)技(jì)术(shù)不(bù)再(zài)依(yī)赖(lài)复(fù)杂(zá)的(de)硬(yìng)件(jiàn)设(shè)计(jì)和(hé)烦(fán)琐(suǒ)的(de)系(xì)统(tǒng)标(biāo)定(dìng)，而(ér)是(shì)借(jiè)助(zhù)人(rén)工(gōng)智(zhì)能(néng)，通(tōng)过(guò)阵(zhèn)列(liè)结(jié)构(gòu)自(zì)适(shì)应(yīng)感(gǎn)知(zhī)、跨(kuà)尺(chǐ)度(dù)映(yìng)射(shè)融(róng)合(hé)等(děng)技(jì)术(shù)，直(zhí)接(jiē)利(lì)用(yòng)多(duō)尺(chǐ)度(dù)图(tú)像(xiàng)内(nèi)容(róng)进(jìn)行计算重建，同样的硬件资源条件下，大幅提升了系统的成像效率与鲁棒性。这一系列环环相扣的技术创新，大大降低了光场阵列系统的复杂程度，节约了硬件带来的高昂成本，让计算摄像和人工智能技术有了更多施展空间，突破了传统光学成像的瓶颈(jǐng)。

当(dāng)然(rán)，这(zhè)种全新的技术，是让几十个不一样的成像设备整合在一起工作，这背后算法部分的技术难度是可想而知的。“毕竟软件和算法的成本与迭代周期是远小于硬件系统的，我们把硬件制作的难度降低，让更多的工作留给算法去做，让智能成像成为可能，这种‘非结构光场感知’新范式使得光场成像真正实现了‘鲁棒性’。”方璐介绍道。

在人工智能技术的加持下，除了鲁棒性，非结构光场智能感知技术同时实现了另一大优势，即可扩展性：这种非结构光场阵列系统可以灵活地调整阵列的数量和组合方式，以适应不同的应用场景需求。对此，方璐指出：“要知道，鲁棒性和可扩展性这两大优势，对于技术的应用意义重大。在这两项优势加持下，这一新技术才有可能应用到未来多个不(bù)同(tóng)领(lǐng)域中(zhōng)。”从(cóng)工(gōng)业(yè)检(jiǎn)测(cè)到(dào)公(gōng)共(gòng)安(ān)全，再(zài)到(dào)智(zhì)慧(huì)城(chéng)市(shì)，光(guāng)场(chǎng)成(chéng)像(xiàng)在(zài)B端(duān)的(de)应(yīng)用(yòng)前(qián)景(jǐng)十(shí)分(fēn)广(guǎng)阔(kuò)。方璐认为，目前的非结构光场成像技术，并不是给摄影爱好者去品鉴的，而是供智能无人系统进行识别分析之用的。那么在这种应用场景下，追求高分辨率就并不是唯一的目标。她进一步指出：“对此，我们也在研究‘感算一体’的成像技术，将计算移到前端，在成像的同时就计算出目标物体的特征和位置，这就省去了传统光场成像对图片压缩和解压，以及后续的目标特征提取与识别等烦琐步骤，这节约的资源与功耗是巨大的。”

非结构光场智能成像技术所面临的另外一个问题就是数据。因为现阶段人工智能算法开发迭代对于数据集的依赖是非常大的。方璐对此说道：“但目前国际上常用的视觉数据集大多是少场景、少对象、关系简单，可能就只有一只猫、一条狗、一辆车这样的信息。这就难以呈现复杂真实的场景，难以支撑面向大场景多对象复杂对象的新一代人工智能理论和算法的研究。”在这样的数据集里进行训练的人工智能算法，一旦放在类似“万人跑马拉松”这样的壮观场景中，可能就力不从心了。因此，方璐带领团队构建了PANDA数据平台(全称GigaPixel-levelHuman-centricVideoDataset),具有大场景(平方千米级别范围)、高分辨(十亿像素级，支持百米对象识别)、多对象复杂关系(万级对象，尺度变化超百倍，遮挡关系复杂，交互行为丰富)的特点，填补了大场景下高密度群体对象数据平台的空白，为探索人工智能新理论和新方法提供了不可或缺的数据基础。

立足于人工智能技术，非结构光场智能成像技术为未来的光场成像技术指明了一条全新的赛道。谈到该技术的应用前景，方璐充满信心：“首先，我们会将技术从现在的宏观场景向微观场景普及，在未来会进一步向天文远观场景扩展，这背后的研发思路是一脉相承的。其次，人工智能算法还有待于进一步突破和推进：未来的成像目标是将性能做到极致，实现光速感知计算，这对于人工智能算法的要求是越来越高的。”