hdr是什么意思(HDRsensor原理介绍)

 1. 什么是sensor的动态范围(dynamic range): sensor的动态范围就是sensor在一幅图像里能够同时体现高光和阴影部分内容的能力。 用公式表达这种能力就是: DR = 20log10(i_max / i_min);//dB i_max 是sensor的最大不饱和电流----也可以说是sensor刚刚饱和时候的电流 i_min是sensor的底电流(blacklevel) ;  2. 为什么HDR在成像领域是个大问题: 在自然界的真实情况,有些场景的动态范围要大于100dB。 人眼的动态范围可以达到100dB。 Sensor 的动态范围: 高端的>78 dB; 消费级的 60 dB 上下;  所以当sensor的动态范围小于图像场景动态范围的时候就会出现HDR问题----不是暗处看不清,就是亮处看不清,有的甚至两头都看不清。

dol(HDRsensor原理介绍)

  上图暗处看不清--前景处的广告牌和树影太暗看不清。    

上图亮处看不清--远处背景的白云变成了一团白色,完全看不清细节。

3. 解决HDR问题的数学分析   根据前边动态范围公式 DR = 20log10(i_max / i_min); //dB 所以从数学本质上说要提高DR,就是提高i_max,减小 i_min; 对于10bit输出的sensor,从数学上来说,i_max =1023,i_min =1; 动态范围DR = 60;  对于12bit输出的sensor, DR = 72; 所以从数学上来看,提高sensor 输出的bit width就可以提高动态范围,从而解决HDR问题。 可是现实上却没有这么简单。 提高sensor的bit width导致不仅sensor的成本提高,整个图像处理器的带宽都得相应提高,消耗的内存也都相应提高,这样导致整个系统的成本会大幅提高。所以大家想出许多办法,既能解决HDR问题,又可以不增加太多成本。  

二.HDR Imaging Digital Overlap

 1.什么是时域多帧HDR技术 相机在时间上连续输出由欠曝到过曝的图像,然后做图像融合,得到HDR图像。

dol(HDRsensor原理介绍)

  融合后HDR图像

dol(HDRsensor原理介绍)

    比较典型的一种融合方法是根据luminance,contrast,motion等条件,对第K帧图像的像素[i,j]给出权重。Wij,k 是第K帧,位置i,j像素的权重,Xk((i,j)是原始像素值,Xf(i,j)是融合后的像素值。公式如下 

dol(HDRsensor原理介绍)

    对彩色图像,权重的计算会考虑色彩的饱和度等因素。  2.传统时域多帧HDR技术存在的局限 由于传统时域多帧是基于连续曝光的整帧图像(Frame Based)进行融合,所以图像之间的间隔时间就是一帧图像的周期,由此会产生很多artefacts:  场景内物体增减

dol(HDRsensor原理介绍)

    近距离物体快速移动形成拖影

 

      Color artefact

 

    Frame based的多曝光HDR技术常用于still image 的capture,也有视频HDR 采用这种技术,比如sensor以60fps的帧率交替输出长短曝光,融合后输出30fps的HDR图像。

 

 

 

    早期的HDR video有采用这种技术,自从DOL技术出现后,这种Frame based Video HDR技术就逐渐退出历史舞台了。  3.什么是DOL HDR DOL HDR 也叫做line interleaving HDR 技术。以两曝光DOL为例,sensor每行会以长短曝光两次先后输出,从readout角度来看,就是长曝光帧与短曝光帧line interleaving 依次输出,如下图,第一行L输出,第一行S输出,第二行L输出,第二行S输出,以此类推。

 

    frame based HDR,长短曝光帧的间隔是一个帧周期,也就是必须一整帧(长)曝光结束,再开始一整帧(短)曝光,如下图

 

  对于DOL HDR而言,由于line interleaving(行的交织),存在两帧的overlap,等于一帧输出没结束,下一帧就来了,长短曝光帧的间隔大大缩小了。 从下图可见,长曝光帧与短曝光帧overlap了一部分,所以这种技术叫digital overlap。

 

  4.DOL长短曝光帧的时间间隔 前边说过,Frame based HDR的长短曝光帧的间隔是一帧的时间,那么DOL HDR的长短曝光帧的时间间隔是多大呢?   如果先输出长曝光的话

 

  如果先输出短曝光的话

 

  T= long exposure 的时间   所以当然是先输出长曝光,这样T(时间间隔)会更小。。  5.DOL长短曝光时间比与动态范围扩展 以两曝光DOL 为例 Exposure ratio = Long exposure time/ short exposure time 假设Exposure ratio = 16,假设在xinhao 没有饱和的条件下,相当于曝光最大值增大了16倍:2^4。也就是动态范围扩大了4个bit。 以此类推,每增加一个曝光帧,如果exposure ratio =16,动态范围就可以扩大4bit。 按照一般HDR sensor 单曝光为12bit来算的话,4曝光就可以让sensor输出的动态范围扩大到24bit(12+4+4+4)。 exposure ratio 也不是越大越好,exposure ratio会受到三方面的制约,图像质量,sensor设计以及isp line delay buffer。 从图像质量上来说,短曝光时间越短,图像噪声越高,长曝光越长,motion的影响越大。Exposure Ratio越大,在图像融合后的SNR drop也越大。sensor设计上来说,长短曝光之比受到读出电路的限制,sony的DOL第二代采用虚拟通道技术一定程度改善了这个限制。ISP的角度来说line delay buffer 也限制了最大曝光时间。在短曝光行出来之前,第一个长曝光行应该还在delay buffer里,这样才能两者对齐好给后面的frame stitch操作。而长短曝光比越大,需要的line delay buffer就越大。

 

  对于sensor做hdr融合case而言,line delay buffer size就是固定的,所以ISP倾向于在isp这端做HDR融合,这样可以更灵活的设计。(Maver注:对于车载而言,带宽是个主要关注点,所以大部分用户不会选择在ISP侧做HDR融合)   6.DOL的局限 Sony在推出DOL的时候,宣传DOL是‘准同时’输出长短曝光。既然是‘准同时’,那就还不是同时,所以也会有一些典型时域多帧HDR的图像质量问题,同时DOL也有一些特有的IQ问题。   HDR Transition Artefacts 可以从下左图看到composition noise造成的edge,这种edge有时候会误导机器视觉。  

 

    从DOL hdr的noise profile可以看出来,如下图,在HDR拼接处,可以看到SNR的显著变化,叫做snr drop,当SNR drop大的时候,就会出现明显的edge,如上图所示。

 

    曝光比越小,SNR drop就越小, 可以想见,如果曝光比为1,也就没有snr drop了。反之,曝光比越大,动态范围越大,snr drop也越大,如下图所示。

 

  Flicker   交流电供电光源造成的flickering,如下图: 交流电供电光源造成的flickering,如下图: 为了避免banding,就得让最小曝光时间是半周期的整数倍。

 

    这样就不会出现banding了。但是由于最小曝光时间变大了,动态范围就损失了。所以有时候为了保证不损失动态范围,就得容忍Flickering。这就得看应用场景了。   类似的问题发生在PWM供电的Led光源上,尤其是交通信号灯以及汽车信号灯,如下图所示

 

    sensor的长曝光帧能catch到led 的light pulse,但是短曝光帧就没catch到,这样也会造成flickering甚至信号灯图像的丢失。 这种flicker或者信号灯信息丢失的问题在车载成像系统上是致命的,所以车载HDR现在更倾向采用spatial based HDR技术,比如Sony采用的sub pixel技术或者OV 采用的split pixel技术。

三.HDR imaging split/sub pixel 技术

我们在上一期讲了时域多帧HDR技术--Digital Overlap. 现在在监控领域的WDR sensor主要采用这种技术,如下图,利用不同的sensor曝光(蓝色线所示)覆盖不同的动态范围,再把多曝光图像stitching起来(红色线所示),达到最大的动态范围输出。Sony的imx290,OV的ov4689都是这个类型典型sensor。

 

 

    车载领域也广泛使用Temporal domain HDR技术,但是随着车载相机在ADAS与自动驾驶领域的迅速发展,对图像质量有着特别的需求,导致Temporal domain HDR技术不能满足需要。车载比较典型的两个IQ需求是不能有motion artefact 和 LED flickering。 motion artefact

 

  LED flickering

 

    Temporal  HDR 在原理上就存在这些缺陷,所以要解决这个问题就需要使用其他的HDR体制:Spatial HDR技术是现在车载领域的主流解决方案。 比较典型的是Sony sensor(imx390/490)采用的Subpixel技术与OV sensor(ovx1a)采用的split pixel技术,他们都属于SpatialHDR技术范畴,其基本原理是一致的。  1.大小pixel的分离结构 与普通CFA的不同,大小pixel技术的sensor在相邻位置有一大一小两个pixel,他们空间上非常接近,可以认为对空间采样相同。

 

  由于pixel的大小不同,物理上的sensitivity不同,FWC也不同,会产生与时域HDR一样的不同曝光效果,形成了对不同动态范围的覆盖。如下图可以看到LPD(Large Pixel Diode)与SPD(Small Pixel Diode)是如何扩展动态范围的。

 

  2.大小分离pixel的电路设计 典型的大小分离pixel的电路如下图所示

 

  SPD和LPD分别用黄色的二极管标出。CGC(conversion gain control)与TG(transfer gate)控制了photo diode 向FD充电,当TGs使能时,FD接收SPD来的电荷,RS会使能让FD的电荷转存出来。然后当TGL使能时,FD接收LPD来的电荷,RS会再一次使能让FD的电荷转存出来。RST负责在每一次转存后把FD电容清空。这样的电路结构就实现了LPD和SPD的分别读出。这个部分的电路时钟非常快,所以可以认为大小像素是同时曝光的。后面的读出电路也会把大小像素同时读出,由下图可见,T_lpd与T_spd是同时的。   3.大小像素HDR与时域HDR在motion artefact上的比较 由下图可以看出基于大小像素的HDR与时域HDR在拍摄运动物体上的motion artefact比较。 左图是基于大小像素的图像,完全没有motion artefact,右图是时域HDR,可以看到明显的motion artefact。

 

对于这种更挑战的场景,舞厅的旋转光球,左图是大小像素HDR,右图是时域HDR,可以看到时域HDR的图像把小的运动光点都混到了一起。  

 

4.大小像素与Dual conversion gain的结合 单独靠大小像素只能形成两个曝光的图像,再结合之前介绍过的DCG技术,在大小pixel分别配合HCG,LCG,就可以形成4曝光。 假设单曝光输出12bit,曝光比是16,那总共的动态范围可以达到24bit输出。 5.两种场景的切换 如下图,横轴是场景的光亮度,纵轴是SNR,红色曲线是LPD像素的SNR曲线,蓝色曲线是LPD像素的SNR曲线。   SPD的饱和点更高,而LPD的低光SNR更高。这两条曲线说明了大小像素这种设计可以很灵活的适配场景的变化,当场景非常亮的情况,就用大小像素融合输出,这样可以扩大动态范围。 当场景非常暗的情况,就完全切换到LPD像素,因为它的SNR更高。