近紅外光譜(Near-Infrared Spectroscopy, NIRS)是一種應(yīng)用十分廣泛的快速分析技術(shù)，近年來(lái)能在各行各業(yè)受到一致認(rèn)可，離不開光譜數(shù)據(jù)處理和建模優(yōu)化的加持。我們知道近紅外原始光譜中往往包含噪聲、基線漂移和其他干擾因素，我們不能讓這些干擾影響了數(shù)據(jù)的準(zhǔn)確性和可靠性，從而影響近紅外檢測(cè)的效率和效果。對(duì)近紅外光譜數(shù)據(jù)進(jìn)行預(yù)處理，是數(shù)據(jù)處理的重要環(huán)節(jié)，那么近紅外常用的光譜數(shù)據(jù)預(yù)處理方法有哪些呢？這么多方法該選用哪個(gè)呢？下面我們就來(lái)展開說說。

平滑處理主要用于降低光譜數(shù)據(jù)中的高頻隨機(jī)噪聲。不同的平滑算法簡(jiǎn)單來(lái)說都是是通過對(duì)相鄰數(shù)據(jù)點(diǎn)進(jìn)行加權(quán)平均來(lái)減少隨機(jī)誤差，在平滑的同時(shí)還需要保持信號(hào)的峰值和形狀特征。有人說平滑處理就像用一張細(xì)膩的砂紙，輕輕地打磨掉數(shù)據(jù)表面那些微小的不規(guī)則波動(dòng)，例如當(dāng)儀器本身存在輕微的抖動(dòng)或者環(huán)境中有微小干擾時(shí)，原始光譜上就會(huì)形成一些細(xì)微的波動(dòng)，平滑處理能夠在不破壞數(shù)據(jù)整體特征的前提下，讓這些小瑕疵消失不見，如下圖所示。

常用的平滑方法包括：

移動(dòng)平均平滑，對(duì)窗口內(nèi)的數(shù)據(jù)取平均值，原理算法簡(jiǎn)單，但可能導(dǎo)致峰形變寬；

加權(quán)移動(dòng)平均平滑，賦予窗口內(nèi)不同數(shù)據(jù)點(diǎn)不同的權(quán)重，中心點(diǎn)權(quán)重通常較高；

Savitzky-golay (SG)平滑，基于局部多項(xiàng)式最小二乘擬合的濾波方法，通過在移動(dòng)窗口內(nèi)擬合一個(gè)多項(xiàng)式并使用該多項(xiàng)式的值來(lái)代替中心點(diǎn)的值，從而達(dá)到平滑的效果；

局部加權(quán)回歸散點(diǎn)平滑，對(duì)每個(gè)數(shù)據(jù)點(diǎn)進(jìn)行局部加權(quán)回歸，在處理非線性趨勢(shì)時(shí)更靈活。對(duì)于信噪比較低的光譜，更更大的平滑窗口可能更有效，但要小心過度平滑導(dǎo)致信號(hào)失真。 

標(biāo)準(zhǔn)化是將數(shù)據(jù)轉(zhuǎn)換為具有零均值和單位方差的形式，而歸一化則是將數(shù)據(jù)縮放到特定的范圍（如0到1）。這兩種方法都可以消除不同變量之間的量綱差異，提高模型的穩(wěn)定性和預(yù)測(cè)性能。在近紅外光譜數(shù)據(jù)中，不同樣本的數(shù)據(jù)范圍可能差異很大，歸一化可以將這些數(shù)據(jù)調(diào)整到一個(gè)統(tǒng)一的尺度上，避免因?yàn)閿?shù)據(jù)范圍的差異而導(dǎo)致分析結(jié)果的偏差，以改善后續(xù)建模的效果。

去趨勢(shì)一般用于消除光譜數(shù)據(jù)中的基線漂移，可能來(lái)自于儀器響應(yīng)變化、樣品散射特性變化或其他因素。常用的去趨勢(shì)方法有：

多項(xiàng)式擬合去趨勢(shì)，用一個(gè)多頂式函數(shù)來(lái)擬合光譜的基線，然后從原始光譜中減去該多項(xiàng)式，從而消除基線漂移；

一階導(dǎo)數(shù)和二階導(dǎo)數(shù)，可以有效地消除基線平移和斜率變化，一階導(dǎo)數(shù)消除常數(shù)基線漂移，二階導(dǎo)數(shù)消除線性基線漂移；

小波變換去噪，小波變換分解信號(hào)為不同頻率成分，去除噪聲，重構(gòu)信號(hào)。

簡(jiǎn)單的線性基線漂移，多項(xiàng)式擬合或一階導(dǎo)數(shù)即可，更復(fù)雜的基線漂移，用二階導(dǎo)數(shù)或小波變換可能更有效。

散射校正用于消除由于顆粒大小、樣品表面不均勻性和光程變化引起的光譜散射效應(yīng)，通過假設(shè)每個(gè)樣本的光譜都與某個(gè)“理想”光譜成線性關(guān)系來(lái)進(jìn)行校正。常用的散射校正方法有：

多元散射校正（MSC），通過將每個(gè)光譜與“理想”光譜 (通常是所有光譜的平均值)進(jìn)行比較來(lái)校正散射效應(yīng)；

標(biāo)準(zhǔn)正態(tài)變量變換（SNV），對(duì)每個(gè)光譜進(jìn)行標(biāo)準(zhǔn)化，使其均值為0，標(biāo)準(zhǔn)差為1；

穩(wěn)健正態(tài)變量變換（RNV），使用中位數(shù)和絕對(duì)中位差來(lái)代替均值和標(biāo)準(zhǔn)差，對(duì)異常值更穩(wěn)健。

MSC 和 SNV 是最常用的散射校正方法，MSC更適合于校正乘性散射效應(yīng)，SNV更適合于校正加性散射效應(yīng)。RNV 對(duì)異常值的存在不敏感。 

還有很多預(yù)處理方法，如正交信號(hào)校正、連續(xù)小波變換、經(jīng)驗(yàn)?zāi)B(tài)分解、空域?yàn)V波等等，在實(shí)際應(yīng)用中，根據(jù)不同的研究目的和數(shù)據(jù)特點(diǎn)，選擇適合的一種預(yù)處理方法或者多種方法組合。將不同的預(yù)處理方法組合起來(lái)，就像是組建一支X戰(zhàn)隊(duì)，每個(gè)隊(duì)員都有自己的特長(zhǎng)，在一起能發(fā)揮出更強(qiáng)大的力量。 

建模時(shí)選擇合適的光譜預(yù)處理方法，需要對(duì)近紅外光譜技術(shù)有深入的理解和豐富的實(shí)踐經(jīng)驗(yàn)，這使許多用戶感到煩惱，而我們的近紅外建模軟件有全面的自動(dòng)優(yōu)化功能，可以根據(jù)建模效果為用戶推薦最優(yōu)的預(yù)處理方法、光譜范圍和因子數(shù)組合，是不是頓時(shí)感覺到眼前一亮呢？

無(wú)論數(shù)據(jù)的世界多么復(fù)雜，我們一直在這里，等著你！

微信號(hào) : 蘇州斌智科技有限公司

掃碼關(guān)注我們