大數據和數據科學是經常一起聽到的概念。人們相信，如今有大量數據，并且數據科學可以從，所有這些TB的信息中獲得有價值的信息。但是，在實際情況下，解決問題的數據通常很少。收集大數據集可能會非常昂貴或根本不可能。結果，通常別無選擇，只能使用一個小的數據集，試圖獲得盡可能準確的預測。在本文中，我們將簡要介紹使用小型數據集時出現的問題。然后，我們將討論克服這些問題的最有效技術。

　　偏差權衡

簡而言之，當您尋找一個完美的模型來解釋您的數據時，您正在平衡偏差和方差。

偏差是模型預測值與真實值之間的差。具有高偏差的模型過分簡化了預測變量和目標變量之間的關系，并在訓練和測試數據上顯示出很高的誤差。

方差反映了模型預測的可變性。具有高方差的模型過于關注訓練數據，而不能很好地推廣到測試數據集。結果，這些模型在訓練集上顯示出非常低的誤差，而在測試集上顯示出非常高的誤差。

具有低偏差和高方差的模型會擬合數據，而具有高偏差和低方差的模型則擬合數據。

在小型數據集上訓練的模型更有可能看到不存在的模式，這會導致測試集的高方差和極高的誤差。這些是過度擬合的常見跡象。因此，使用小型數據集時，您的主要目標是避免過度擬合。你怎么做到這一點？

　　處理小數據集的7種有效方法

現在，我們將討論在使用小型數據集時避免過擬合的七種最有用的技術。

　　1. 選擇簡單的模型。具有許多參數的復雜模型更容易過度擬合：

· 如果您正在訓練分類器，請考慮從邏輯回歸開始。

· 如果要訓練模型以預測某個值，請考慮權重數量有限的簡單線性模型。

· 對于基于樹的模型，請限制最大深度。

· 使用正則化技術可以使模型更加保守。

對于稀缺的數據，您的目標是限制模型查看不存在的模式和關系的能力。這意味著您要限制權重和參數的數量，并排除所有暗示非線性或特征相互作用的模型。還要注意，根據研究，某些分類器可能更適合處理小型數據集。

　　2. 從數據中刪除異常值。當使用小型數據集時，離群值會對模型產生巨大影響。因此，在處理稀缺數據時，您需要識別并刪除異常值。另一種方法是使用對異常值具有魯棒性的技術。消除異常值的影響對于使用小數據集獲得明智的模型至關重要。

　　3. 選擇相關功能。通常，顯式特征選擇不是最佳方法，但是當數據有限時，這可能是必不可少的步驟。 很難避免因少量觀察值和大量預測變量而過度擬合。特征選擇有幾種方法，包括與目標變量的相關性分析，重要性分析和遞歸消除。還值得注意的是，功能選擇將始終受益于領域專業(yè)知識。因此，如果您不熟悉主題領域，請找一位領域專家來討論特征選擇的過程。

　　4. 合并幾個模型。當您組合來自多個模型的結果時，您可能會獲得更準確的預測。例如，與來自各個模型的預測相比，作為來自各個模型的預測的加權平均值計算的最終預測將具有更低的方差和更高的通用性。此外，您可以使用不同的超參數值組合來自不同模型或來自同一模型的預測。

　　5. 依靠置信區(qū)間而不是點估計。除了預測本身之外，估計預測的置信區(qū)間通常也是個好主意。當您使用小型數據集時，這一點尤其重要。因此，在回歸分析中，請確保估計95%的置信區(qū)間。如果要解決分類問題，請計算班級預測的概率。如果您更好地了解了模型對預測的“信心”，則根據模型的結果得出錯誤結論的可能性就較小。

　　6. 擴展數據集。當數據真正稀缺或數據集嚴重失衡時，請尋找擴展數據集的方法。例如，您可以：

· 使用合成樣品。這是解決數據集中某些類的代表性不足的常用方法。有幾種 方法，以增強與合成樣品的數據集。選擇最適合您的特定任務的一種。

· 合并來自其他可能來源的數據。例如，如果要在特定區(qū)域中對溫度建模，則也要使用其他區(qū)域的天氣信息，但要對感興趣區(qū)域的數據點分配更高的權重。

　　7. 盡可能進行轉移學習。這種方法也是數據擴展的一種。轉移學習意味著在可用的大型數據集上訓練通用模型，然后在小型數據集上對其進行微調。例如，如果您要處理圖像分類問題，則可以使用在龐大的圖像數據集ImageNet上預先訓練的模型，然后針對特定問題對其進行微調。與使用有限數據從頭開始訓練的模型相比，預訓練的模型更有可能產生準確的預測。遷移學習與靈活的深度學習技術特別有效。

　　小數據只是您可以克服的另一個挑戰(zhàn)

許多研究人員和實踐者認為，小數據是數據科學的未來。對于每種問題都擁有龐大的數據集是不可行的。請遵循以下準則來克服小型數據集的挑戰(zhàn)：

· 了解統計信息的基礎知識，以了解處理少量觀測值時可能遇到的問題。

· 了解避免過度擬合的關鍵策略，并從小數據中獲得準確的結果。

· 有效地執(zhí)行所有數據清理和數據分析步驟。

· 從模型預測中得出結論時，請注意模型的局限性。

上述就是關于處理小數據集的7種有效方法的全部內容，想了解更多關于處理數據的信息，請繼續(xù)關注中培偉業(yè)。