交叉熵
交叉熵
zui小二乘
假設一個(ge) Sigmod函數，初始權重為(wei) 0.6，偏置0.9，輸入目標為(wei) 1， 輸出目標等於(yu) 0。通過zui小二乘求解合適的權重和偏置，求解方法為(wei) 梯度下降法，學習(xi) 率
帶入初始值後目標輸出為(wei) 0.817574。
根據zui小二乘的定義(yi) ，定義(yi) 函數f，並將其命名為(wei) 評價(jia) 函數。因此函數f的3D形狀
沿著45°方向，上述方程截麵分布
觀察其梯度分布，整體(ti) 指向左下角，並且兩(liang) 側(ce) 變換緩慢，中間變化快。因此，如果初始值在右上角，梯度下降的過程是一個(ge) 先慢後快在變慢的過程。如果初始值在左下角，迭代過程會(hui) 緩慢的進入平穩的狀態
首先仍舊是以初始值(0.6, 0.9）開始，正好位於(yu) 梯度下降的斜坡
如果將初始值移動到右上方，假設為(wei) (2.5, 2.5)，那麽(me) 迭代過程會(hui) 出現先慢後快，在趨向於(yu) 穩定的過程。
zui後如果初始值位於(yu) 左下角，假設是（-2.5， -2.5）
交叉熵
因為(wei) 評價(jia) 函數整體(ti) 是一個(ge) 兩(liang) 邊平緩，中間陡峭的過程，導致梯度下降緩慢。因此引入新的評價(jia) 函數：交叉熵代價(jia) 函數
n是數據總量，x是輸入，y是目標輸出，a是對應函數。
通過以下3D圖形和梯度圖可知，整個(ge) 函數zui終趨向於(yu) 點(0.5,0.5），表明當a和y的分布是相同的時候，真個(ge) 函數趨向於(yu) zui低點。因此使用交叉熵代價(jia) 函數可以替代zui小二乘法生成的函數。
將Sigmod函數帶入其中交叉熵代價(jia) 函數，因此函數c定義(yi) 為(wei)
如果按照梯度下降方法求解函數c，找到的必定是zui小值，或者說是梯度為(wei) 零的位置
因此當
時，他的zui優(you) 解
交叉熵
仍舊是以輸入為(wei) 1，輸出為(wei) 0作為(wei) 基礎，初始點為(wei) (0.6, 0.9），學習(xi) 率\[Eta]=0.15為(wei) 條件，尋找合適的權重和偏置
觀察其梯度分布，右上角分布陡峭，右下角分布平緩。
拖過下述的幾個(ge) 例子看出，交叉熵可以更快的接近目標值。
了解更多詳情，請訪問上海昊量光電的官方網頁：
https://www.weilancj.com/three-level-46.html
更多詳情請聯係昊量光電/歡迎直接聯係昊量光電
關(guan) 於(yu) 昊量光電：
上海昊量光電設備有限国产黄色在线观看是光電国产欧美在线專(zhuan) 業(ye) 代理商，国产欧美在线包括各類激光器、光電調製器、光學測量設備、光學元件等，涉及国产成人在线观看免费网站涵蓋了材料加工、光通訊、生物醫療、科學研究、國防、量子光學、生物顯微、物聯傳(chuan) 感、激光製造等；可為(wei) 客戶提供完整的設備安裝，培訓，硬件開發，軟件開發，係統集成等服務。
您可以通過我們(men) 昊量光電的官方網站www.weilancj.com了解更多的国产欧美在线信息，或直接來電谘詢4006-888-532。
展示全部 
