在實際應(yīng)用中，需要歸一化的模型：
基于距離計算的模型：KNN。
通過梯度下降法求解的模型：線性回歸、邏輯回歸、支持向量機、神經(jīng)網(wǎng)絡(luò)。
但樹形模型不需要歸一化，因為它們不關(guān)心變量的值，而是關(guān)心變量的分布和變量之間的條件概率，如決策樹、隨機森林(Random Forest)。
樹形結(jié)構(gòu)為什么不需要歸一化？
因為數(shù)值縮放不影響分裂點位置，對樹模型的結(jié)構(gòu)不造成影響。
按照特征值進行排序的，排序的順序不變，那么所屬的分支以及分裂點就不會有不同。而且，樹模型是不能進行梯度下降的，因為構(gòu)建樹模型(回歸樹)尋找最優(yōu)點時是通過尋找最優(yōu)分裂點完成的，因此樹模型是階躍的，階躍點是不可導(dǎo)的，并且求導(dǎo)沒意義，也就不需要歸一化。
在k-means或kNN，我們常用歐氏距離來計算最近的鄰居之間的距離，有時也用曼哈頓距離，請對比下這兩種距離的差別 歐氏距離，最常見的兩點之間或多點之間的距離表示法，又稱之為歐幾里得度量，它定義于歐幾里得空間中。
數(shù)據(jù)歸一化(或者標準化，注意歸一化和標準化不同)的原因
能不歸一化最好不歸一化，之所以進行數(shù)據(jù)歸一化是因為各維度的量綱不相同。而且需要看情況進行歸一化。
有些模型在各維度進行了不均勻的伸縮后，最優(yōu)解與原來不等價(如SVM)需要歸一化。 有些模型伸縮有與原來等價，如：LR則不用歸一化，但是實際中往往通過迭代求解模型參數(shù)，如果目標函數(shù)太扁(想象一下很扁的高斯模型)迭代算法會發(fā)生不收斂的情況，所以最好進行數(shù)據(jù)歸一化。
京公網(wǎng)安備 11010802030320號