1、 穩健回歸
其主要思路是將對異常值十分敏感的經典最小二乘回歸中的目標函數進行修改。經典最小二乘回歸以使誤差平方和達到最小為其目標函數。因為方差為一不穩健統計量，故最小二乘回歸是一種不穩健的方法。為減少異常點的作用，對不同的點施加不同的權重，殘差小的點權重大，殘差大的店權重小。
2、 變系數回歸
地理位置加權
3、 偏最小二乘回歸
長期以來，模型式的方法和認識性的方法之間的界限分得十分清楚。而偏最小二乘法則把它們有機的結合起來了，在一個算法下，可以同時實現回歸建模（多元線性回歸）、數據結構簡化（主成分分析）以及兩組變量之間的相關性分析（典型相關分析）。偏最小二乘法在統計應用中的重要性體現在以下幾個方面：偏最小二乘法是一種多因變量對多自變量的回歸建模方法。偏最小二乘法可以較好的解決許多以往用普通多元回歸無法解決的問題。偏最小二乘法之所以被稱為第二代回歸方法，還由于它可以實現多種數據分析方法的綜合應用。能夠消除自變量選取時可能存在的多重共線性問題。普通最小二乘回歸方法在自變量間存在嚴重的多重共線性時會失效。自變量的樣本數與自變量個數相比過少時仍可進行預測。
4、 支持向量回歸
能較好地解決小樣本、非線性、高維數和局部極小點等實際問題。
傳統的化學計量學算法處理回歸建模問題在擬合訓練樣本時，要求“殘差平方和”最小，這樣將有限樣本數據中的誤差也擬合進了數學模型，易產生“過擬合”問題，針對傳統方法這一不足之處，SVR采用“ε不敏感函數”來解決“過擬合”問題，即f（x）用擬合目標值yk時，?。篺（x） =∑SVs（αi-α*i）K（xi,x）
上式中αi和α*i為支持向量對應的拉格朗日待定系數，K（xi,x）是采用的核函數[18],x為未知樣本的特征矢量，xi為支持向量（擬合函數周圍的ε“管壁”上的特征矢量），SVs
為支持向量的數目。目標值yk擬合在yk-∑SVs（αi-α*i）K（xi,xk）≤ε時，即認為進一步擬合是無意義的。
5、 核回歸
核函數回歸的最初始想法是用非參數方法來估計離散觀測情況下的概率密度函數（pdf）。為了避免高維空間中的內積運算 由Mercer條件，存在映射函數a和核函數K（？,?），使得：=K（xi ,x）
采用不同的函數作為SVM的核函數K （x i,x），可以實現多種從輸入空間到特征空間的非線性映射形式
6、 嶺回歸
嶺回歸分析是一種專用于共線性數據分析的有偏估計回歸方法，實質上是一種改良的最小二乘估計法，通過放棄最小二乘法的無偏性，以損失部分信息、降低精度為代價獲得回歸系數更為符合實際、更可靠的回歸方法，對病態數據的耐受性遠遠強于最小二乘法。
7、 半參數回歸
模型既含有參數分量又含有非參數分量，其參數部分用來解釋函數關系已知的部分，它是觀測值中的主要成分，而其非參數部分則描述函數關系未知，無法表達為待定參數的函數部分。
8、 自回歸
例1.Yt = α+β0Xt +β1Xt-1 +……+βsXt-s + ut,
例2.Yt = f （Yt-1, Yt-2, … , X2t, X3t, … ） ,滯后的因變量（內生變量）作為解釋變量出現在方程的右端。這種包含了內生變量滯后項的模型稱為自回歸模型。
9、正交回歸
因素水平值在區間[Zj1, Zj2]內變化，經編碼之后，編碼值xi在區間[-1,+1]間變化，將響應值y原來對Z1, Z2……Zm的回歸問題，轉化為y對x1,x2……xm的回歸問題。它的主要優點是可以把實驗或計算的安排、數據的處理和回歸方程的精度統一起來加以考慮，根據實驗目的和數據分析來選擇實驗或計算點，不僅使得在每個實驗或計算點上獲得的數據含有最大的信息，從而減少實驗或計算次數，而且使數據的統計分析具有一些較好的性質，以較少的實驗或計算建立精度較高的回歸方程。
10、逐步回歸
實際問題中影響因變量的因素可能很多，我們希望從中挑選出影響顯著的自變量來建立回歸模型，這就涉及到變量選擇的問題，逐步回歸是一種從眾多變量中有效地選擇重要變量的方法?；舅悸窞?，先確定一初始子集，然后每次從子集外影響顯著的變量中引入一個對y 影響最大的，再對原來子集中的變量進行檢驗，從變得不顯著的變量中剔除一個影響最小的，直到不能引入和剔除為止。
11、主成分回歸
在統計學中，主成分分析是一種簡化數據集的技術。它是一個線性變換。這個變換把數據變換到一個新的坐標系統中，使得任何數據投影的第一大方差在第一個坐標（稱為第一主成分）上，第二大方差在第二個坐標（第二主成分）上，依次類推。
首先對X陣進行主成份分析，T陣的維數可以與X陣相同，如果使用整個T陣參加回歸，這樣得到的結果與多元線性回歸沒有多大的差別。因為主成分（新變量）是原變量的線性組合。前面的k個主成份包含了X矩陣的絕大部分有用信息，而后面的主成份則往往與噪聲和干擾因素有關。因此參與回歸的是少數主成分組成的矩陣。在維數上遠小于X.主成分回歸通過對參與回歸的主成份的合理選擇，可以去掉噪音。主成份間相互正交，解決了多元線性回歸中的共線性問題。主成分回歸能夠充分利用數據信息，有效地提高模型的抗干擾能力。
其主要思路是將對異常值十分敏感的經典最小二乘回歸中的目標函數進行修改。經典最小二乘回歸以使誤差平方和達到最小為其目標函數。因為方差為一不穩健統計量，故最小二乘回歸是一種不穩健的方法。為減少異常點的作用，對不同的點施加不同的權重，殘差小的點權重大，殘差大的店權重小。
2、 變系數回歸
地理位置加權
3、 偏最小二乘回歸
長期以來，模型式的方法和認識性的方法之間的界限分得十分清楚。而偏最小二乘法則把它們有機的結合起來了，在一個算法下，可以同時實現回歸建模（多元線性回歸）、數據結構簡化（主成分分析）以及兩組變量之間的相關性分析（典型相關分析）。偏最小二乘法在統計應用中的重要性體現在以下幾個方面：偏最小二乘法是一種多因變量對多自變量的回歸建模方法。偏最小二乘法可以較好的解決許多以往用普通多元回歸無法解決的問題。偏最小二乘法之所以被稱為第二代回歸方法，還由于它可以實現多種數據分析方法的綜合應用。能夠消除自變量選取時可能存在的多重共線性問題。普通最小二乘回歸方法在自變量間存在嚴重的多重共線性時會失效。自變量的樣本數與自變量個數相比過少時仍可進行預測。
4、 支持向量回歸
能較好地解決小樣本、非線性、高維數和局部極小點等實際問題。
傳統的化學計量學算法處理回歸建模問題在擬合訓練樣本時，要求“殘差平方和”最小，這樣將有限樣本數據中的誤差也擬合進了數學模型，易產生“過擬合”問題，針對傳統方法這一不足之處，SVR采用“ε不敏感函數”來解決“過擬合”問題，即f（x）用擬合目標值yk時，?。篺（x） =∑SVs（αi-α*i）K（xi,x）
上式中αi和α*i為支持向量對應的拉格朗日待定系數，K（xi,x）是采用的核函數[18],x為未知樣本的特征矢量，xi為支持向量（擬合函數周圍的ε“管壁”上的特征矢量），SVs
為支持向量的數目。目標值yk擬合在yk-∑SVs（αi-α*i）K（xi,xk）≤ε時，即認為進一步擬合是無意義的。
5、 核回歸
核函數回歸的最初始想法是用非參數方法來估計離散觀測情況下的概率密度函數（pdf）。為了避免高維空間中的內積運算 由Mercer條件，存在映射函數a和核函數K（？,?），使得：
采用不同的函數作為SVM的核函數K （x i,x），可以實現多種從輸入空間到特征空間的非線性映射形式
6、 嶺回歸
嶺回歸分析是一種專用于共線性數據分析的有偏估計回歸方法，實質上是一種改良的最小二乘估計法，通過放棄最小二乘法的無偏性，以損失部分信息、降低精度為代價獲得回歸系數更為符合實際、更可靠的回歸方法，對病態數據的耐受性遠遠強于最小二乘法。
7、 半參數回歸
模型既含有參數分量又含有非參數分量，其參數部分用來解釋函數關系已知的部分，它是觀測值中的主要成分，而其非參數部分則描述函數關系未知，無法表達為待定參數的函數部分。
8、 自回歸
例1.Yt = α+β0Xt +β1Xt-1 +……+βsXt-s + ut,
例2.Yt = f （Yt-1, Yt-2, … , X2t, X3t, … ） ,滯后的因變量（內生變量）作為解釋變量出現在方程的右端。這種包含了內生變量滯后項的模型稱為自回歸模型。
9、正交回歸
因素水平值在區間[Zj1, Zj2]內變化，經編碼之后，編碼值xi在區間[-1,+1]間變化，將響應值y原來對Z1, Z2……Zm的回歸問題，轉化為y對x1,x2……xm的回歸問題。它的主要優點是可以把實驗或計算的安排、數據的處理和回歸方程的精度統一起來加以考慮，根據實驗目的和數據分析來選擇實驗或計算點，不僅使得在每個實驗或計算點上獲得的數據含有最大的信息，從而減少實驗或計算次數，而且使數據的統計分析具有一些較好的性質，以較少的實驗或計算建立精度較高的回歸方程。
10、逐步回歸
實際問題中影響因變量的因素可能很多，我們希望從中挑選出影響顯著的自變量來建立回歸模型，這就涉及到變量選擇的問題，逐步回歸是一種從眾多變量中有效地選擇重要變量的方法?；舅悸窞?，先確定一初始子集，然后每次從子集外影響顯著的變量中引入一個對y 影響最大的，再對原來子集中的變量進行檢驗，從變得不顯著的變量中剔除一個影響最小的，直到不能引入和剔除為止。
11、主成分回歸
在統計學中，主成分分析是一種簡化數據集的技術。它是一個線性變換。這個變換把數據變換到一個新的坐標系統中，使得任何數據投影的第一大方差在第一個坐標（稱為第一主成分）上，第二大方差在第二個坐標（第二主成分）上，依次類推。
首先對X陣進行主成份分析，T陣的維數可以與X陣相同，如果使用整個T陣參加回歸，這樣得到的結果與多元線性回歸沒有多大的差別。因為主成分（新變量）是原變量的線性組合。前面的k個主成份包含了X矩陣的絕大部分有用信息，而后面的主成份則往往與噪聲和干擾因素有關。因此參與回歸的是少數主成分組成的矩陣。在維數上遠小于X.主成分回歸通過對參與回歸的主成份的合理選擇，可以去掉噪音。主成份間相互正交，解決了多元線性回歸中的共線性問題。主成分回歸能夠充分利用數據信息，有效地提高模型的抗干擾能力。
