【中國智能制造網(wǎng) 技術(shù)前沿】在機器學(xué)習(xí)領(lǐng)域，每個給定的建模問題都存在幾十種解法，本文作者認(rèn)為，模型算法的假設(shè)并不一定適用于手頭的數(shù)據(jù)；在追求模型佳性能時，重要的是選擇適合數(shù)據(jù)集（尤其是“大數(shù)據(jù)”）的模型算法。　　
　　統(tǒng)計建模和工程開發(fā)很相似。在工程開發(fā)中，人們有多種方法搭建一套鍵-值存儲系統(tǒng)，每種設(shè)計針對使用模式有一套不同的假設(shè)。在統(tǒng)計建模中，也有很多算法來構(gòu)造一個分類器，每種算法對數(shù)據(jù)也有各自的假設(shè)集合。
　　
　　當(dāng)處理少量數(shù)據(jù)時，因為實驗成本很低，我們盡可能多的嘗試各種算法，從而選出效果優(yōu)的算法。但提到“大數(shù)據(jù)”，提前分析數(shù)據(jù)，然后設(shè)計相應(yīng)“管道”模型（預(yù)處理，建模，優(yōu)化算法，評價，產(chǎn)品化）是事半功倍的。
　　
　　正如在我以前的文章里提到，每個給定的建模問題都存在幾十種解法。每個模型會提出不同的假設(shè)條件，我們也很難直觀辨別哪些假設(shè)是合理的。在業(yè)界，大多數(shù)從業(yè)人員傾向于挑選他們熟悉的建模算法，而不是適合數(shù)據(jù)集的那個。在這篇文章中，我將分享一些常見的認(rèn)識誤區(qū)（要避免的）。在今后的文章中再介紹一些佳實踐方法（應(yīng)該做的）。
　　
　　1.想當(dāng)然地使用默認(rèn)損失函數(shù)
　　
　　很多從業(yè)者喜歡用默認(rèn)的損失函數(shù)（比如平方誤差）來訓(xùn)練和選擇優(yōu)模型。事實上，默認(rèn)的損失函數(shù)很少能滿足我們的業(yè)務(wù)需求。拿詐騙檢測來說。當(dāng)我們檢測詐騙交易時，我們的業(yè)務(wù)需求是盡量減少詐騙帶來的損失。然而現(xiàn)有二元分類器默認(rèn)的損失函數(shù)對誤報和漏報的危害一視同仁。對于我們的業(yè)務(wù)需求，損失函數(shù)不僅對漏報的懲罰要超過誤報，對漏報的懲罰程度也要和詐騙金額成比例。而且，詐騙檢測的訓(xùn)練數(shù)據(jù)集往往正負(fù)樣本極度不均衡。在這種情況下，損失函數(shù)就要偏向于照顧類（如通過升/降采樣等）。
　　
　　2.用普通線性模型處理非線性問題
　　
　　當(dāng)需要構(gòu)建一個二元分類器時，很多人馬上就想到用邏輯回歸，因為它很簡單。但是，他們忘記了邏輯回歸是線性模型，非線性因素的交叉特征需要靠手工編碼處理?；氐絼偛旁p騙檢測的例子，要獲得好的模型效果，就需要引入“帳單地址=送貨地址&&交易金額<$50”之類的高階交叉特征。因此，在處理包含交叉特征的問題上我們應(yīng)該盡可能選擇非線性模型，比如有核函數(shù)的SVM，或者基于樹的分類器。
　　
　　3.忽視異常值
　　
　　異常值很有意思。根據(jù)上下文情況，它們要么需要被特別處理，要么應(yīng)該被完全忽略。就拿收入預(yù)測來說。如果觀察到收入有異常尖峰，我們可能要加倍注意他們，并分析是什么原因造成這些峰值。但如果異常值是由于機械誤差、測量誤差或者其它任何非普遍化因素導(dǎo)致的，那我們好在準(zhǔn)備訓(xùn)練數(shù)據(jù)之前過濾掉這些異常值。