【中國數(shù)字視聽網(wǎng)訊】1.引言

在視頻監(jiān)控領(lǐng)域，提高監(jiān)控圖像質(zhì)量和編碼傳輸效率一直是我們最為重要的追求目標(biāo)。提高視頻質(zhì)量意味著提高最終用戶的觀看滿意度，提高編碼效率則意味著在同樣的碼率限制下可以傳輸更高質(zhì)量的視頻。這涉及到監(jiān)控系統(tǒng)中的多個環(huán)節(jié)，從上游的實際場景，到中間的傳輸網(wǎng)絡(luò)，再到下游的用戶終端，主要包括圖像的采集、壓縮處理、傳輸或存儲、解壓縮和顯示等部分，其中任何一個上游環(huán)節(jié)出了問題，對圖像質(zhì)量的影響都不是下游環(huán)節(jié)能夠糾正或補救的。視頻信號的預(yù)處理處在系統(tǒng)最上游，是針對主處理而言的，如圖1所示。在視頻監(jiān)控中，主處理一般是指視頻的壓縮編碼和傳輸，此前的處理一般稱之為預(yù)處理，常將它歸并在視頻采集部分。無疑，視頻采集中的預(yù)處理是一個重要環(huán)節(jié)，處理的好壞將直接影響采集圖像質(zhì)量以及后續(xù)編碼傳輸處理的效率。

有一個現(xiàn)象可以有力地說明預(yù)處理在改進(jìn)圖像質(zhì)量方面的作用：對同樣場景、采用相同的碼率，不同廠家的網(wǎng)絡(luò)攝像機解碼輸出視頻的質(zhì)量往往存在較大的差別。尤其是在比較惡劣的環(huán)境下，其差別更為顯著。產(chǎn)生這種差別的一個重要原因在于：在監(jiān)控系統(tǒng)中，雖然大家都采用標(biāo)準(zhǔn)化的視頻壓縮方法，但最后解碼輸出圖像的質(zhì)量高低很大程度上取決于有無預(yù)處理、預(yù)處理的好壞，有時還包括適當(dāng)?shù)暮筇幚怼?/p>

近來，隨著人們對預(yù)處理重要性認(rèn)識的不斷提高，隨著集成芯片和信號處理器能力的不斷增強，業(yè)界對視頻信號的預(yù)處理越來越重視，市場上高質(zhì)量的監(jiān)控產(chǎn)品一定離不開高質(zhì)量的視頻預(yù)處理方法。

2.預(yù)處理的作用

視頻預(yù)處理的第一個作用是提高編碼視頻的質(zhì)量。在實際的視頻監(jiān)控的應(yīng)用中，不像娛樂視頻，往往有高質(zhì)量的攝像機、良好的演播室拍攝環(huán)境和專業(yè)技術(shù)人員的時時人為干預(yù)，因此可以保證得到的高質(zhì)量的采集視頻。而視頻監(jiān)控系統(tǒng)由于成本、環(huán)境等因素影響，所獲取的原始視頻質(zhì)量并不高，甚至很低。例如，由于環(huán)境、噪聲、光照、運動等影響，往往所采集的圖像常常出現(xiàn)模糊、扭曲、噪點、太亮或太暗、彩色不鮮明、……。對于這樣比較差的視頻，再進(jìn)行壓縮、傳輸、解碼顯示，用戶所看到的監(jiān)控視頻常常不能令人滿意的。如何在現(xiàn)有的條件下提高采集視頻質(zhì)量的問題就實在地放在我們面前。對此，一個重要的應(yīng)對措施就是在視頻采集環(huán)節(jié)進(jìn)行預(yù)處理(preprocessing)，以利于提高采集視頻質(zhì)量，有利于后續(xù)的視頻處理，以利于用戶提取視頻中感興趣的信息。

視頻預(yù)處理的第二個作用是提高編碼效率和有利于碼率控制。我們知道，無論是有線還是無線視頻傳輸，都是基于IP的包傳輸方式，信號的傳輸速率不穩(wěn)定，速率會隨用戶的擁擠程度、信道的物理介質(zhì)而不斷變化。要在這樣速率變化的信道上穩(wěn)定、高效地傳輸壓縮視頻圖像，除了依賴編碼器的碼率控制之外，還可以利用預(yù)處理的方法來輔助實現(xiàn)。在編碼前對圖像進(jìn)行預(yù)處理，控制輸入到編碼器的視頻數(shù)據(jù)量，從而來間接控制編碼器輸出的碼率，其過程仍可參見圖1。

由圖1可見，不僅通過緩沖區(qū)的滿溢程度來控制量化步長，同時也加上了預(yù)處理對輸入的視頻數(shù)據(jù)進(jìn)行控制。例如，當(dāng)信道變窄時，我們可以根據(jù)信道帶寬信息對輸入視頻進(jìn)行一定程度的平滑濾波，減少細(xì)節(jié)，甚至進(jìn)行下采樣處理、跳幀處理，使編碼視頻的碼率能與信道帶寬相匹配。當(dāng)然，由于信道狀況信息的獲得比較麻煩，可以經(jīng)統(tǒng)計學(xué)習(xí)建立信道帶寬變化的近似模型，再依據(jù)這個模型來決定預(yù)處理的方法和程度。

最早的視頻預(yù)處理是在模擬域進(jìn)行的，包括對模擬視頻信號的限帶濾波、噪聲抑制、自動增益控制、白平衡以及r校正等。隨著視頻采集技術(shù)的數(shù)字化進(jìn)程，這些簡單的預(yù)處理方法大多已經(jīng)集成到芯片中去了。現(xiàn)在，視頻預(yù)處理都是在數(shù)字域進(jìn)行的，即在視頻數(shù)字化采集以后進(jìn)行，充分發(fā)揮了數(shù)字信號處的方便、高效、靈活和一致的優(yōu)越性。目前，在視頻監(jiān)控中常見的預(yù)處理方法除了基本的圖像濾波、圖像去噪和多種圖像增強處理外，還出現(xiàn)了多種針對特殊應(yīng)用環(huán)境的預(yù)處理方法，如背光或暗光處理、雨霧煙處理、感興趣區(qū)間的處理等。

3.常見的預(yù)處理方法

現(xiàn)在常見的效果明顯的視頻預(yù)處理主要包括下面的幾個方面。

3.1 限帶濾波和降采樣

根據(jù)奈奎斯特定理，只有對圖像進(jìn)行高于兩倍信號最高頻率的采樣才能保證從采樣值完全恢復(fù)原圖像。但是如果該條件不滿足，即欠采樣時，高次諧波的頻譜就會疊加到基波，出現(xiàn)頻譜混疊效應(yīng)。隨著圖像高清晰度的增加，由于采樣率的限制，絕大多數(shù)成像系統(tǒng)都存在不同的混疊現(xiàn)象。怎樣消除混疊效應(yīng)成為了預(yù)處理中的一個令人關(guān)注的問題。

抑制或消除混疊效應(yīng)常采用兩項措施，一是限帶濾波，二是下采樣。限帶濾波就是對高速采樣的數(shù)字視頻進(jìn)行一次低通濾波，抑制奈奎斯特定理定義的通帶以外的高頻分量。因為這些帶外分量在后續(xù)的處理中會引起混疊效應(yīng)，產(chǎn)生無意義的高頻分量，而編碼器還得對它們進(jìn)行編碼，浪費不少寶貴的編碼比特。僅采用限帶濾波只能濾除信號中少量的高頻分量，如果信號帶寬遠(yuǎn)高于奈奎斯特帶寬，那么在限帶濾波后還需進(jìn)行一次下采樣，進(jìn)一步減少碼字。

3.2 噪聲去除

噪聲對于任何實際的視頻采集來說均是不可避免的，如果在編碼前未將不必要的噪聲去除，不僅會影響解碼視頻質(zhì)量，而且后面的編碼部分還將為噪聲編碼，降低了效率。視頻中常見的噪聲主要有加性噪聲、乘性噪聲和量化噪聲等。圖像中的噪聲往往和信號交織在一起，尤其是乘性噪聲，如果濾波不當(dāng)，就會使圖像本身的細(xì)節(jié)，如邊界輪廓、線條等，變得模糊不清。如何既平滑掉噪聲又盡量保持圖像細(xì)節(jié)，是圖像去噪的難點所在。

圖像去噪方法很多，它們大體上可以分為兩類：空間域的去噪方法和變換域的去噪方法。這兩類方法的最主要區(qū)別是前者直接對觀察圖像數(shù)據(jù)進(jìn)行處理，而后者則是先對圖像進(jìn)行某種變換，然后再對變換后的系數(shù)進(jìn)行處理。

變換域的去噪方法認(rèn)為，在變換域圖像往往是稀疏表示的，即高頻分量很少，大部份噪聲處于高頻部分，通過在變換域設(shè)置閾值或者截斷高端頻譜來去除噪聲。這類方法的優(yōu)點是在變換域進(jìn)行處理比較簡單。它的不足之處在于對閾值的設(shè)置比較困難;在去除噪聲的同時不可避免地會平滑圖像本身的紋理細(xì)節(jié);圖像在變換域丟失了部分結(jié)構(gòu)特征，特別是邊界信息等。這些都會影響去噪圖像的質(zhì)量。　　空間域的去噪方法關(guān)注圖像數(shù)據(jù)本身，如近年來流行的基于塊的去噪方式，其基本思想是為去噪圖像的每一個塊尋找與它相似的塊，相似塊可以在同一幀內(nèi)部尋找，或者其它幀中尋找，還可在其它圖像中尋找，最后通過加權(quán)平均等操作恢復(fù)圖像塊。空間域的方法利用了更多的圖像數(shù)據(jù)信息，保留圖像的結(jié)構(gòu)，有利于保持圖像細(xì)節(jié)，但也容易出現(xiàn)過平滑現(xiàn)象。近年來針對圖像的混合高斯噪聲，出現(xiàn)了一種將變換域和空間域方法相結(jié)合的自適應(yīng)噪聲去除方法。這種方法首先采用基于塊和濾波的噪聲參數(shù)估計，自適應(yīng)的估計混合高斯噪聲參數(shù)，然后利用估計得到的噪聲參數(shù)進(jìn)行圖像去噪，將多幅去噪圖像進(jìn)行簡單的數(shù)據(jù)融合，最終獲得性能良好的去噪圖像，其過程如下圖2所示

3.3 圖像增強

圖像增強處理的任務(wù)是有目地突出圖像中的感興趣部分，或目標(biāo)的特征，抑制圖像中某些不需要的特征，提高圖像的清晰度，改進(jìn)圖像的觀賞質(zhì)量。在圖像增強過程中，一般不考慮圖像降質(zhì)的原因，增強后的圖像也不一定要逼近原圖像。圖像增強中常見的幾種具體處理方法為：

(1)直方圖均衡

在圖像處理中，圖像直方圖表示了圖像中像素灰度值的分布情況。為使圖像變得清晰，增大反差，凸顯圖像細(xì)節(jié)，通常希望圖像灰度的分布從暗到亮大致均勻。直方圖均衡就是把那些直方圖分布不均勻的圖像(如大部分像素灰度集中分布在某一段)經(jīng)過一種函數(shù)變換，使之成一幅具有均勻灰度分布的新圖像，其灰度直方圖的動態(tài)范圍擴大。用于直方均衡化的變換函數(shù)不是統(tǒng)一的，它是輸入圖像直方圖的積分，即累積分布函數(shù)。

(2)灰度變換

灰度變換可使圖像動態(tài)范圍增大，對比度得到擴展，使圖像清晰、特征明顯，是圖像增強的重要手段之一。它主要利用圖像的點運算來修正像素灰度，由輸入像素點的灰度值確定相應(yīng)輸出像素點的灰度值，可以看作是“從像素到像素”的變換操作，不改變圖像內(nèi)的空間關(guān)系。像素灰度級的改變是根據(jù)輸入圖像f(x, y)灰度值和輸出圖像g(x, y)灰度值之間的轉(zhuǎn)換函數(shù)g(x，y)=T[f(x，y)]進(jìn)行的。

灰度變換包含的方法很多，如逆反處理、閾值變換、灰度拉伸、灰度切分、灰度級修正、動態(tài)范圍調(diào)整等。

(3)白平衡

白色是人眼對比例相同且具有一定亮度的藍(lán)、綠、紅三種色光所形成的視覺反應(yīng)。在正常的情況下，視頻采集系統(tǒng)對白光的輸出為白色，簡單地說這個系統(tǒng)處于白平衡狀態(tài)。如果系統(tǒng)對白光不能夠保持白色輸出，出現(xiàn)偏色，如發(fā)紅或發(fā)藍(lán)等，就說明采集系統(tǒng)對現(xiàn)場彩色的處理出現(xiàn)了偏差，即未達(dá)到白平衡。由于場景的彩色情況非常復(fù)雜，難以斷定白平衡情況，所以在實際應(yīng)用中，常常用白光來判定系統(tǒng)的白平衡狀況。這是一種衡量系統(tǒng)的色彩比例是否恰當(dāng)?shù)囊环N方便、直觀的方法。如果達(dá)到了白平衡，那么輸出的色彩也是白色，沒有其它的偏色;如果有偏色，說明沒有達(dá)到白平衡，需要在預(yù)處理時加以調(diào)整，使之成像后仍然為白色。

(4)伽瑪校正

在視頻采集系統(tǒng)中，CCD、CMOS等光電轉(zhuǎn)換的器件的特性都是非線性的。場景的亮度L和是傳感器輸出的電壓E，之間的關(guān)系可用一個冪函數(shù)E(x, y)=kLr(x, y)來表示，其中k是比例常數(shù)，r是冪函數(shù)的指數(shù)，用它來衡量非線性器件的轉(zhuǎn)換特性，稱之為伽瑪特性。在視頻中由于伽瑪特性的存在，會導(dǎo)致圖像信號的亮度失真，影響圖像質(zhì)量。因此要對這個失真進(jìn)行補償，即伽瑪校正。簡單地說，就是對輸出電壓用一個負(fù)指數(shù)函數(shù)對其進(jìn)行校正，使得校正后的光、電兩個量之間保持線性關(guān)系。

(5)圖像平滑

在空間域中進(jìn)行平滑濾波技術(shù)主要用于消除圖像中的噪聲，主要有鄰域平均法、中值濾波法等等。這種局部平均的方法在削弱噪聲的同時，常常會帶來圖像細(xì)節(jié)信息的損失。

鄰域平均，也稱均值濾波，對于給定的圖像f(x,y)中的每個像素點(x,y)，它所在鄰域S中所有M個像素灰度值平均值為其濾波輸出，即用一像素鄰域內(nèi)所有像素的灰度平均值來代替該像素原來的灰度。

中值濾波，對于給定像素點(x,y)所在領(lǐng)域S中的n個像素值數(shù)值{f1, f2,…,fn}，將它們按大小進(jìn)行有序排列，位于中間位置的那個像素數(shù)值稱為這n個數(shù)值的中值。某像素點中值濾波后的輸出等于該像素點鄰域中所有像素灰度的中值。中值濾波是一種非線性濾波，運算簡單，實現(xiàn)方便，而且能較好的保護(hù)邊界。

(6)圖像銳化

采集圖像變得模糊的原因往往是圖像受到了平均或者積分運算，因此，如果對其進(jìn)行微分運算，就可以使邊緣等細(xì)節(jié)信息變得清晰。這就是在空間域中的圖像銳化處理，其的基本方法是對圖像進(jìn)行微分處理，并且將運算結(jié)果與原圖像疊加。從頻域中來看，銳化或微分運算意味著對高頻分量的提升。常見的連續(xù)變量的微分運算有一階的梯度運算、二階的拉普拉斯算子運算，它們分別對應(yīng)離散變量的一階差分和二階差分運算。

(7)小波變換增強

對圖像進(jìn)行小波變換，可得到圖像的不同頻率分量的小波變換系數(shù)，如果對適當(dāng)?shù)母哳l系數(shù)進(jìn)行增強處理后，再進(jìn)行小波逆變換之后，就可以達(dá)到圖像的細(xì)節(jié)或邊緣增強的目的。當(dāng)然，小波變換還可以用來去除圖像中的噪聲。由于噪聲大多屬于高頻信息，因此，當(dāng)進(jìn)行小波變換之后，噪聲信息大多集中在高頻子塊之中，對這一部分系數(shù)進(jìn)行抑制，則可以達(dá)到一定的噪聲去除效果。