PyTorch 多分類損失函數(shù)

Pytorch提供了豐富的損失函數(shù)，而多分類任務(wù)用到最多的就是nn.CrossEntropyLoss和nn.NLLLoss了，不妨討論一下。

nn.CrossEntropyLoss

CrossEntropy顧名思義就是交叉熵，概念來自香農(nóng)的信息論，用于度量兩個(gè)概率分布間的差異性信息，可以認(rèn)為是在給定的真實(shí)分布下，使用非真實(shí)分布的策略消除系統(tǒng)的不確定性所需要付出的努力的大小。交叉熵越小，證明計(jì)算出的非真實(shí)分布越接近真實(shí)分布。

公式如下：

H(p,q)=?∑k=1N(pk?logqk)H(p,q)=?∑k=1N(pk?logqk)

在PyTroch的文檔中明確指出它和nn.NLLLoss之間的關(guān)系，后面我們會(huì)進(jìn)行測試。

This criterion combines nn.LogSoftmax() and nn.NLLLoss() in one single class.

nn.NLLLoss

全名是負(fù)對數(shù)似然損失函數(shù)（Negative Log Likelihood），在Pytorch的文檔中有如下說明：

Obtaining log-probabilities in a neural network is easily achieved by adding a LogSoftmax layer in the last layer of your network. You may use CrossEntropyLoss instead, if yo

pytorch 機(jī)器學(xué)習(xí)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。