首頁  技術文章  正則化過擬合

正則化過擬合

發布時間:2024-12-05 09:38:19 瀏覽量:348 作者:Paul

正文


正則化過擬合


假設由一個(ge) 二次函數產(chan) 生的信號x^2/10+2 x+1,其中包含了一些噪聲


對應波形如圖所示



不了解函數的具體(ti) 波形的情況下,使用不同階數去擬合函數的波形,分別獲得




當擬合的參數過少,屬於(yu) 欠擬合。當引入過多高階項時,雖然當時誤差見笑了。但是如果繼續添加新的數據,誤差卻是越來越大。為(wei) 了抑製高階項的係數,引入正則化的方法,將高階的係數保持在一定的範圍內(nei) 。


例如一個(ge) 函數

對上述公式進行正則化處理,正則化可以分為(wei) L1正則化和L2正則化。


或者



通過zui小二乘法計算的代價(jia) 函數,為(wei) L1正則化,為(wei) L2正則化。


假設以L2正則化為(wei) 例,對C進行求導,仍舊保持不變,梯度仍舊區域原來的位置,但是求導後得到,他的梯度位於(yu) 原點位置,因此整體(ti) 會(hui) 將參數拉向遠點位置,當越大,就越偏向於(yu) 遠點,從(cong) 而減小這幾項係數的權重。因此因為(wei) 稱為(wei) 懲罰項。


以一個(ge) 簡單方程為(wei) 例


假設代價(jia) 函數為(wei) x^2 - 6 x + 1 + y^2 - 6 y + 1 + 0.5 x y



如果仍舊是按照梯度下降算法去計算,那麽(me) zui低點位於(yu) {2.4, 2.4}


如果加上懲罰函數後,隨著不斷增加,代價(jia) 函數Min值zui終會(hui) 更加靠近原點



將Signal信號為(wei) 例子,抑製高階參數


L2正則化公式可以按照下述方式描述,本身是為(wei) 了求解幾個(ge) 係數。然後根據梯度下降算法求解Min值



正確的方程加應該是a->1, b->2, c->0.1, d->0, e->0。當沒有L2正則化的情況下,常規的評價(jia) 函數獲取的解如下


當添加L2正則化後,需要懲罰的係數為(wei) c和d。不同參數的情況下得到。不斷增大[MISSING IMAGE: ,  ]的情況下,d和e越來越趨近於(yu) 零



zui終結果是

與(yu) 初始值像差還是非常遠的


增加采樣數據點數


將原有的信號從(cong) 10個(ge) 變成30個(ge) 點



同樣使用梯度算法,並且不斷增加係數的大小



五個(ge) 係數從(cong) zui初的


變成


可以看到他的確一邊壓製高階項,同時低階項目也越來越準確。


了解更多詳情,請訪問上海昊量光電的官方網頁:

https://www.weilancj.com/three-level-46.html


更多詳情請聯係昊量光電/歡迎直接聯係昊量光電

關(guan) 於(yu) 昊量光電:

上海昊量光電設備有限国产黄色在线观看是光電国产欧美在线專(zhuan) 業(ye) 代理商,国产欧美在线包括各類激光器、光電調製器、光學測量設備、光學元件等,涉及国产成人在线观看免费网站涵蓋了材料加工、光通訊、生物醫療、科學研究、國防、量子光學、生物顯微、物聯傳(chuan) 感、激光製造等;可為(wei) 客戶提供完整的設備安裝,培訓,硬件開發,軟件開發,係統集成等服務。

您可以通過我們(men) 昊量光電的官方網站www.weilancj.com了解更多的国产欧美在线信息,或直接來電谘詢4006-888-532。