傳感器和鏡頭

奈奎斯特頻率成像

用奈奎斯特頻率當作成像分辨率的評估，由根據分辨率選擇鏡頭章節的 公式 1 定義。但是，通常這不是一個好主意，因為它意味著正在觀察的特徵點恰好落在一個像素上。當成像系統偏移了一半像素，物件要觀察的特徵點將落在兩個像素之間，並且完全模糊掉。因此，以奈奎斯特頻率成像是不建議。如果沒有使用子像素作插值計算，通常建議以奈奎斯特頻率的一半進行成像，因為這將把想要觀察的特徵點用兩個像素計算。

另一個假設狀況是鏡頭不適於搭配的相機，除非它在傳感器上具有奈奎斯特頻率對比度 (>20%) 。若不是這種條件。如前所述，使用奈奎斯特限值是不明智的，並且可能會導致一些問題。整個檢查系統確定鏡頭是否合適是否使用選用的相機傳感器，這通常取決於應用需求。以下內容陳述了成像過程中以奈奎斯特頻率或接近奈奎斯特頻率在系統中使用，對整體系統分辨率的影響。

了解相機傳感器和成像鏡頭之間的相互影響是設計和實現機器視覺系統的關鍵。然而這種關係的優化往往被忽視，其實它對系統整體分辨率的影響是很大的。不合適的相機/鏡頭組合可能會導致成像系統在成本上的浪費。不過，在不同應用中選用合適的鏡頭和相機並不是一件容易的事情：更多的相機傳感器（導致更多鏡頭）被設計和製造出來，得益於更先進的製造技術，它們擁有更強的性能。這些新的傳感器為我們選擇鏡頭新添了更多挑戰，使得相機和鏡頭搭配要考量更多因素。

第一個挑戰是像素變的更小。雖然較小的像素通常意味著更高的系統級分辨率，不過若將其他光學元件也考慮在內，實際情況將變得更加複雜。在理想情況下，如果一個系統中不存在繞射或光學誤差，分辨率將僅僅與像素大小和物體大小有關 (參見分辨率)。簡單來說，當像素尺寸減小時，分辨率增加。這種增加使得拍攝較小的物體時，即使物體之間的間距減小，由於像素更小，它們之間的縫隙也能被解析出來。不過這是一個非常簡單的模型，解釋了相機傳感器如何檢測物體，但並沒考慮雜訊或其他參數的影響。

鏡頭也具有分辨率規格，但其基本原理並不像傳感器分辨率那麼容易理解，因為沒有像素這樣具體的解釋。當待測物特徵經由鏡頭成像到像素時，最終決定其對比度展現的（調製傳遞函數或MTF） (更多详情请参见解析度與對比度限制：艾里斑)有兩個因素：繞射效應和像差。光線通過光圈時會發生繞射，造成對比度降低從鏡頭到傳感器：收光限制。每個成像鏡頭設計時都會有像差存在，各式不同種類的像差, 會讓影像變得模糊或是產生成像偏移。使用大光圈鏡頭(≤f/4)，光學像差通常是系統不“完美”的原因，系統會受到繞射極限的限制；在大多數情況下，鏡頭通常無法在其理論截止頻率 ($ \small{\xi_{\small{\text{Cutoff}}}} $ ), 下工作，如 公式 1所示。

有個公式描述相機像素和對比關係，隨著像素頻率的增加（像素變小），對比度下降 - 每個鏡頭都遵循這一趨勢。但這並不代表實際的鏡頭性能。鏡頭的公差和製造精度也會對鏡頭的像差產生影響，其實際性能將會與標稱的設計性能有所不同。

(1)$$ \xi _{\small{\text{Cutoff}}} = \frac{1}{\lambda \times \left( f / \# \right) } $$

(1)

$$ \xi _{\small{\text{Cutoff}}} = \frac{1}{\lambda \times \left( f / \# \right) } $$

我們很難基於鏡頭的標稱數據來估計鏡頭的實際表現，但實驗室中的測試可以幫助我們判定特定鏡頭和相機傳感器是否相互匹配。想要了解一個鏡頭在某個傳感器上的表現，有一種方法是使用USAF 1951測試板條狀線條來測試其分辨率。與星標板相比，這種測試板更夠更好的測試鏡頭/傳感器的匹配，因為它們的條狀線條排列呈正方形（和矩形）。以下示例顯示，在相同照明條件下，使用相同的高分辨率50mm焦距鏡頭拍攝。在三個不同的相機傳感器上所成的測試圖像。將每個圖像與鏡頭的標稱軸上MTF曲線（藍色曲線）進行比較。在這種情況下，我們僅使用軸上曲線，因為測量對比度時，僅用到傳感器中心的一小部分。圖6.8a顯示了焦距50mm鏡頭搭配與2.2μm的1 / 2.5英寸ON Semiconductor MT9P031傳感器在放大倍率0.177X下性能。

A comparison of nominal lens performance vs. real-world performance for a high-resolution 50mm lens on the (a) ON Semiconductor MT9P031 with 2.2μm pixels, the (b) Sony IXC655 with 3.45μm pixels, and the (c) ON Semiconductor KAI-4021 with 7.4μm pixels. The red, purple, and dark green lines show the Nyquist limits of the sensors, respectively. The yellow, light blue, and light green lines show half of the Nyquist limits of the sensors, respectively.

圖 1: 像素大小為2.2μm的安森美半導體MT9P031傳感器搭配高分辨率50mm鏡頭時，標稱鏡頭性能與實際性能的比較。（b）具有3.45μm像素的Sony IXC655，以及（c）ON Semiconductor的KAI-4021像素為7.4μm。紅色，紫色和深綠色線條顯示傳感器的奈奎斯特極限。黃色，淺藍色，淺綠色線分別表示傳感器的奈奎斯特極限一半的分辨率。

使用分辨率中的 公式 1，傳感器的奈奎斯特分辨率 ($\xi_{\small{\text{Sensor}}}$) 為227.7 $ \small{ \tfrac{\text{lp}}{\text{mm}}} $ 這意味著在理論上，系統可以成像的最小物體0.177X的放大倍數為12.4μm (使用 公式 1 的另一表示分辨率).

(2)$$ \xi _{\small{\text{Sensor}}} = \frac{1000 \tfrac{\large{\unicode[Cambria Math]{x03BC}} \normalsize{\text{m}}}{\text{mm}}}{ 2 \times 2.2 \large{\unicode[Cambria Math]{x03BC}} \normalsize{\text{m}}} \cong 227.7 \tfrac{\text{lp}}{\text{mm}} $$

(2)

$$ \xi _{\small{\text{Sensor}}} = \frac{1000 \tfrac{ \mu {\text{m}}}{\text{mm}}}{ 2 \times 2.2 \mu {\text{m}}} \cong 227.7 \tfrac{\text{lp}}{\text{mm}} $$

請注意，這些計算沒有與之相關的對比度值。 圖 1a 中顯示了USAF 1951測試板上兩組圖像；左邊圖像顯示每個特徵占用兩個像素，右邊圖像顯示每個特徵占用一個像素。在傳感器的奈奎斯特頻率 (227$ \small{ \tfrac{\text{lp}}{\text{mm}}} $), 下，系統成像的對比度為8.8％，而對於一個可靠的成像系統來說，最小對比度應為20％以上。通過增加特徵尺寸，將數值提高兩倍到24.8μm，對比度增加了近3倍。實際上，當成像系統的像素頻率為奈奎斯特頻率的一半時，圖像質量的可靠性高得多。

(3)$$ \xi_{\small{\text{Object Space}}} = \xi_{\small{\text{Sensor}}} \times m = 227 \tfrac{\text{lp}}{\text{mm}} \times 0.177 \cong 40.3 \tfrac{\text{lp}}{\text{mm}} \cong 12.4 \large{\unicode[Cambria Math]{x03BC}} \normalsize{\text{m}} $$

(3)

$$ \xi_{\small{\text{Object Space}}} = \xi_{\small{\text{Sensor}}} \times m = 227 \tfrac{\text{lp}}{\text{mm}} \times 0.177 \cong 40.3 \tfrac{\text{lp}}{\text{mm}} \cong 12.4 \mu {\text{m}} $$

與公式2.1和2.2顯示的結果不同，尺寸為12.4μm的物體無法在該成像系統下清晰地成像，儘管在數學上，物體尺寸在系統的有效範圍內。這種矛盾突出顯示了一階計算值和近似值不足以判定成像系統能否實現特定的分辨率。另外，奈奎斯特頻率計算值也不是一種能夠確定係統分辨率水平的統一度量，只能當作一種系統極限的工具。8.8％的對比度太低，不夠精確，因為測試環境的微小變化就可能會使對比度降低到無法解析的水平。

圖 1b 和 圖 1c 顯示了類似的圖像，使用的傳感器分別為索尼ICX655傳感器（像素大小3.45μm）和安森美半導體KAI-4021傳感器（像素大小7.4μm）。每幅圖中的左邊圖像顯示每個特徵占兩個像素，右邊圖像顯示每個特徵占一個像素。三個圖之間的主要區別是圖6.8b和6.8c中的所有圖像對比度都高於20％，意味著（乍一看）它們能夠有效地解析這些特徵。與圖6.8a中像素大小為2.2μm的傳感器相比，它們能夠分辨的物體最小尺寸要更大。但是，它們在奈奎斯特頻率下的成像仍然是不清晰的，因為物體的輕微移動就會使兩個像素之間的期望特徵產生偏移，使得物體很難被解析出來。隨著像素尺寸從2.2μm增加到3.45μm再到7.4μm，從每個特徵占一個像素到每個特徵占兩個像素引起的對比度增加幅度越來越小，在ICX655（像素大小3.45μm）上，對比度變化僅在2倍左右；而在KAI-4021（像素大小7.4μm）上，這種效果進一步減小。

Images taken with the same lens and lighting conditions on three different camera sensors with three different pixel sizes. The top images are taken with four pixels per feature, and the bottom images are taken with two pixels per feature.

圖 2: 採用相同的鏡頭和照明條件，使用三種不同像素尺寸的相機傳感器拍攝的圖像。上方圖像每個特徵占四個像素，下方圖像每個特徵占兩個像素。

圖 1 中的一個重要差異點是鏡頭規格標示的MTF與真實世界中的真正圖像對比比較。 圖 1a 上方的鏡頭MTF曲線代表鏡頭在 227$ \small{ \tfrac{\text{lp}}{\text{mm}}} $ 的頻率下能獲得約24％的對比度而實際上只有8.8%的對比度。主要有兩個造成這種差異的原因分別為：傳感器的MTF和鏡頭生產公差。傳感器公司通常不會公布其傳感器的MTF曲線，但它們具有與鏡頭類似的性能曲線。如果要比較精確的評估系統總體的分辨率，系統級別的MTF是系統所有元件（鏡頭）的MTF和傳感器的MTF相互乘積的結果。

如上所述，鏡頭本身因為生產變異讓MTF偏移了它的設計值。所有這些因素累積在一起共同改變了理想系統的分辨率，以及鏡頭MTF曲線本身不無法真正代表系統級別的分辨率。

如 圖 2中的圖像所示，用較大像素拍攝的圖像擁有更好的系統級對比度。隨著像素尺寸的減小，對比度下降很快。在機器視覺系統中，最好將對比度保持在20％以上，如果對比度低於此值，將會極易受到溫度變化或照明變化引起的雜訊波動的影響。圖 1a 中採用50mm鏡頭和像素大小2.2μm傳感器拍攝的圖像的對比度為8.8％，對於與2.2μm像素尺寸相對應的對象特徵來說，對比度太低，因而圖像數據是不可靠的，此時鏡頭成為了系統的關鍵因素。像素尺寸遠小於2.2μm的傳感器市面上也有銷售並且很受歡迎，當像素遠遠低於2.2μm時，光學鏡頭幾乎無法解析出單個像素。這意味著第2節中的提到的公式可計算出鏡頭無法達到整個系統要的分辨率，而與上述特徵圖像相似的圖像也無法被捕捉到。然而，這些微小的像素仍然是有價值的-只是因為光學件無法解析它們，並不代表它們無用。對於某些演算法，例如斑點分析或光學字符識別（OCR）來說，重點不在於鏡頭能否解析單個像素，而是更多地關注在我們可以在特定特徵點上包含多少個像素。避免使用較小的像素插值，將增加測量的準確性。另外，使用拜爾濾光片配合彩色相機，可以減少分辨率的損失。

另一個要記住的一點是，當每個特徵占一個像素變為每個特徵占兩個像素時，對比度會顯著升高，特別是當像素較小時。像方頻率減半，最小的可解析物體大小將翻倍。如果非要查看單個像素級別，最好將光學倍率翻倍並將視場減半。

這將導致特徵尺寸能夠覆蓋兩倍的像素，對比度會高得多。這個解決方案的缺點是整體視場範圍減小。從圖像傳感器的角度出發，最好的做法是保持像素大小不變，使圖像傳感器的尺寸大小加倍，例如，一個使用像素大小為2.2μm的½”傳感器，1X放大率的成像系統與另一個使用像素大小為2.2μm的1”傳感器，2倍放大率的系統相比，擁有相同的視場和空間分辨率，但是理論上2X系統的對比度倍增了。

不過，傳感器尺寸大小倍增的增加會對鏡頭造成額外的影響。成像鏡頭的主要成本因素之一是其設計時的鏡片尺寸。設計一個適用於更大尺寸傳感器的鏡頭需要用到更多的光學鏡片，並且這些鏡片會變得更大，此外我們還需要更緊的系統裝配公差。對於上述例子，我們設計一個用於1“傳感器的鏡頭的花費可能是設計一個用於½”傳感器的鏡頭五倍。即使如此，它可能也無法達到與後者相同的像素極限分辨率規格。

上個章節下個章節 Next Section

特色資源

應用筆記