機(jī)器視覺系列｜第六期

“機(jī)器視覺被譽(yù)為智能制造皇冠上的明珠。凌云光深耕機(jī)器視覺行業(yè)二十余載，擁有豐富的技術(shù)積累及應(yīng)用實(shí)踐經(jīng)驗(yàn)，深度參與編寫了《機(jī)器視覺發(fā)展白皮書》2021版。本欄目將以白皮書為藍(lán)本，為您講述機(jī)器視覺發(fā)展變遷、機(jī)遇挑戰(zhàn)、市場前景、行業(yè)應(yīng)用?？靵砀S凌小云一起探索機(jī)器視覺的星辰大海吧！”

CCD的誕生與工作原理

CCD（charge coupled device，電荷耦合器件）是貝爾實(shí)驗(yàn)室W.S. Boyle和G.E.Smith于1970年發(fā)明，由于它有光電轉(zhuǎn)換、信息存儲、延時(shí)和將電信號按順序傳送等功能，且集成度高，功耗低，因此得到飛速發(fā)展。CCD是圖像采集及數(shù)字化處理必不可少的關(guān)鍵器件，廣泛應(yīng)用于科學(xué)、教育、醫(yī)學(xué)、商業(yè)、工業(yè)、和消費(fèi)領(lǐng)域。

CCD 由許多感光單位組成，通常以百萬像素為單位。當(dāng) CCD 表面受到光線照射時(shí)，每個感光單位會將電荷反映在組件上，所有的感光單位所產(chǎn)生的信號加在一起，就構(gòu)成了一幅完整的畫面。

｜CCD 的比較顯著特點(diǎn)

①技術(shù)成熟；②成像質(zhì)量高；③靈敏度高，噪聲低，動態(tài)范圍大；④響應(yīng)速度快，有自掃描功能，圖像畸變小，無殘像；⑤應(yīng)用超大規(guī)模集成電路工藝技術(shù)生產(chǎn)，像素集成度高，尺寸精確。

CCD工作過程有四個，原理示意圖如下

信號電荷產(chǎn)生；信號電荷存儲；信號電荷傳輸；信號電荷檢測與輸出。

CCD的分類

CCD分類有很多種，線陣CCD、面陣CCD、全幀CCD、三線傳感器CCD等。全幀CCD具有更多的功率處理能力、更好的動態(tài)范圍、低噪聲和傳輸光學(xué)分辨率，可以實(shí)時(shí)拍攝全色圖像。CCD曝光通過機(jī)械快門或快門進(jìn)行控制來保存圖像，并行寄存器用于測光和測光值的讀取。圖像被投影到屏幕上的并列陣列上。這個元件接收圖像信息，將其分成由離散數(shù)量決定的量化要素。這些信息流從并行寄存器流向串行寄存器。此過程將重復(fù)進(jìn)行，直到所有信息都被傳輸。

EMCCD在傳統(tǒng)的CCD相機(jī)里面增加了增益寄存器，在增益寄存器中分布有倍增電極，用于加速載流子，高速的電荷會激發(fā)更多的載流子，實(shí)現(xiàn)信號放大。電荷經(jīng)過增益寄存器，可實(shí)現(xiàn)定量倍增（通常1-1000倍可調(diào)），原理如下圖所示：

EMCCD通常使用背照式芯片，在弱光成像時(shí)盡可能收集所有的入射光，并且不管其他有的沒的，直接將信號放大個兩百倍，這樣，即使是Z 高速的讀出端口，EMCCD的等效讀出噪聲也可以小于1e-。而CCD只能通過增加曝光時(shí)間提高信噪比；但在觀測較亮目標(biāo)時(shí)，EMCCD在信號放大過程中會引入其它噪聲，在相同曝光時(shí)間下，CCD或許是更好的選擇。

EMCCD的典型工作模式為感光區(qū)按照指定曝光時(shí)間積分，待曝光結(jié)束后感光區(qū)電荷迅速轉(zhuǎn)移到存儲區(qū)，感光區(qū)可立刻進(jìn)入下一次曝光；與此同時(shí)，存儲區(qū)的電荷從上到下逐行進(jìn)行轉(zhuǎn)移；在讀出過程中電荷轉(zhuǎn)移至增益寄存器進(jìn)行放大并讀出。這種工作模式讀出速度快，可以無需機(jī)械快門，通?？梢悦棵氆@取十幾張圖像，能夠滿足一些科學(xué)目標(biāo)對短曝光、快讀出的需求。

隨著上世紀(jì) 70 年代和 80 年代固態(tài)成像應(yīng)用的飛速發(fā)展， CCD 技術(shù)和制造加工在光學(xué)特性和成像質(zhì)量方面得到了Z 優(yōu)化。在上世紀(jì)末的 25年里， CCD 技術(shù)一直統(tǒng)領(lǐng)著圖像傳感器件的潮流，它是能集成在一塊很小的芯片上的高分辨率和高質(zhì)量圖像傳感器。

?

CMOS和sCMOS

CMOS(Compementary Metal Oxide Semiconductor互補(bǔ)金屬氧化物半導(dǎo)體)，CMOS圖像生成機(jī)理同樣是光電效應(yīng)，它的工作過程也包括電荷產(chǎn)生、電荷收集、電荷包轉(zhuǎn)移和電荷包測量。與CCD不同的是CMOS每個像素都集成了模擬電路，四個過程在一個像素里完成，即每個像素輸出的是轉(zhuǎn)換完的電壓信號。

CMOS應(yīng)用電子快門，如卷簾快門和全局快門。

?卷簾快門：圖像是逐行讀出的，這與機(jī)械快門很像，在拍攝快速移動的物體時(shí)會出現(xiàn)斜坡圖像、晃動等現(xiàn)象。

?全局快門：像素在曝光時(shí)間積累電荷，曝光結(jié)束后所有像素同時(shí)重置、同時(shí)傳輸?shù)酱鎯^(qū)域并讀出，所以拍攝快速移動物體沒有變形。

相比全局快門像素，卷簾快門像素讀出噪聲低、讀出速度快，適合拍攝與相機(jī)相對靜止或者一些要求低噪聲和高幀頻的目標(biāo)圖像；全局快門像素則更適合拍攝與相機(jī)之間具有相對高速運(yùn)動的目標(biāo)圖像。電子快門相較機(jī)械快門，無需考慮快門效應(yīng)和快門壽命，在實(shí)際使用中可以實(shí)現(xiàn)短曝光，同時(shí)維護(hù)、維修方便。

CMOS傳感器高光時(shí)刻

電源消耗量比CCD低，CCD為提供優(yōu)異的影像品質(zhì)，付出代價(jià)即是較高的電源消耗量，為使電荷傳輸順暢，噪聲降低，需由高壓差改善傳輸效果。但CMOS傳感器將每一畫素的電荷轉(zhuǎn)換成電壓，讀取前便將其放大，利用3.3V的電源即可驅(qū)動，電源消耗量比CCD低。

與周邊電路的整合性高，可將ADC與訊號處理器整合在一起，使體積大幅縮小。

在板級版本，非常適合用于嵌入式視覺系統(tǒng)。速度、大小、重量、可替換性和其他因素也有助于創(chuàng)建強(qiáng)大的移動多攝像頭設(shè)置。

價(jià)格戰(zhàn)完勝，在相同分辨率下，CMOS價(jià)格比CCD便宜，但是CMOS器件產(chǎn)生的圖像質(zhì)量相比CCD來說要低一些。

2009年出現(xiàn)了科學(xué)級CMOS（scientific CMOS, sCMOS）技術(shù)，該技術(shù)基于CMOS的架構(gòu)，通過片上相關(guān)多采樣來降低噪聲、調(diào)整半導(dǎo)體摻雜比例等提高像素滿阱容量、大小增益雙路讀出合成高動態(tài)范圍圖像技術(shù)提高動態(tài)范圍、二維無縫拼接技術(shù)實(shí)現(xiàn)大靶面等，克服了CMOS的一些缺點(diǎn)，實(shí)現(xiàn)了低噪聲、高幀頻、高動態(tài)范圍、高分辨率、大靶面等。sCMOS作為CMOS一種類型，主要應(yīng)用于科研領(lǐng)域。

2015 年后，隨著 CMOS 芯片技術(shù)革新，原 CMOS 的性能短板（如暗噪聲抑 制，效率等）不斷改善， CMOS 成像質(zhì)量逐漸接近甚至超過 CCD。同時(shí) CMOS 的低功耗，高幀速，低成本，易開發(fā)等原有優(yōu)勢更加明顯，工業(yè)視覺的全 CMOS 時(shí)代條件逐漸成熟，國內(nèi)成像器件資源開始豐富，涌現(xiàn)了多個具有國際水平的國產(chǎn) CMOS 芯片和 FPGA 芯片廠商，在成像 CMOS 芯片方面，出現(xiàn)眾多國產(chǎn)高分辨率芯片，高速芯片和高靈敏芯片，極大助力了國產(chǎn)工業(yè)相機(jī)的發(fā)展。

｜CMOS VS CCD、sCOMS

敲黑板總結(jié)

1、現(xiàn)代的CMOS芯片從趨勢上已逐步替代標(biāo)準(zhǔn)CCD芯片。將來的視覺相機(jī)市場的主要發(fā)展方向仍然是以 CMOS 作為基礎(chǔ)元件核心，這不僅僅在于價(jià)格方面，而且還因?yàn)槊鞔_的技術(shù)優(yōu)勢，包括更快的速度、更高的分辨率、更少的圖像干涉或極低的發(fā)熱。

2、CCD、EMCCD、CMOS和sCMOS作為半導(dǎo)體感光器件，因其結(jié)構(gòu)不同，特點(diǎn)不同。在實(shí)際檢測中，選擇適合的才是Z 好的。

3、為滿足部分高端機(jī)器視覺的應(yīng)用需求，國內(nèi)外知名廠家不斷努力，研發(fā)出了多種新型芯片技術(shù)。例如， TOF 芯片技術(shù)、多光譜芯片技術(shù)、事件類芯片、智慧芯片等，用于解決復(fù)雜場景、更多維度的圖像信息采集處理。