神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)筆記（一）邏輯回歸與梯度下降

文章目錄

前言

結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的區(qū)別

結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化數(shù)據(jù)

圖片的矩陣表示

輸入輸出格式

Logistic Regression邏輯回歸

Gradient Descent梯度下降

后記

前言

完成coursera上吳恩達(dá)老師的深度學(xué)習(xí)專(zhuān)項(xiàng)課程第一課神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)已經(jīng)有一段時(shí)間了。由于筆記中的各類(lèi)公式就沒(méi)有開(kāi)始動(dòng)筆總結(jié)并發(fā)布。

好在最近也在很痛苦地學(xué)習(xí)LaTex，就企圖與LaTex一起更新算了。假期快結(jié)束，后面時(shí)間其實(shí)也是很緊張的。==不該浪的，不該浪的

值得一提的是，我非常不建議在非coursera平臺(tái)學(xué)習(xí)吳恩達(dá)老師的課程。coursera的課程大多數(shù)都可以申請(qǐng)獎(jiǎng)學(xué)金資助，只要你是學(xué)生基本都會(huì)通過(guò)審批。至于coursera的視頻播放問(wèn)題，在大多數(shù)情況下改電腦的host都可以解決，再加上騰訊布局的長(zhǎng)鵝教育加速器在后期也會(huì)逐漸發(fā)力。實(shí)在沒(méi)有理由再去b站那些平臺(tái)聽(tīng)課。但，最重要的一點(diǎn)是，學(xué)習(xí)實(shí)際上是一個(gè)反饋的過(guò)程，這個(gè)反饋?zhàn)詈玫姆绞骄褪琴M(fèi)曼學(xué)習(xí)法。

coursera的平臺(tái)作業(yè)能夠?qū)崟r(shí)反饋你的學(xué)習(xí)情況，遇到不會(huì)的可以回去重新聽(tīng)一遍。然而b站實(shí)際上沒(méi)有這種功能，盡管大多數(shù)up主會(huì)在他們的評(píng)論區(qū)貼出作業(yè)，但是沒(méi)有coursera的實(shí)時(shí)反饋，那些作業(yè)實(shí)際上給自己的幫助也不是太高，更不提在coursera上類(lèi)似jupyter notebook的線上系統(tǒng)做作業(yè)，進(jìn)而不用在自己電腦上安裝相關(guān)環(huán)境的優(yōu)勢(shì)。

另外就是，不要高估自己自主學(xué)習(xí)的能力，那些b站的作業(yè)鏈接大多人也不會(huì)點(diǎn)開(kāi)，點(diǎn)開(kāi)了也不一定做，做了也不一定會(huì)認(rèn)真寫(xiě)，看幾下就去面向百度做作業(yè)比比皆是。對(duì)于編程類(lèi)的實(shí)踐作業(yè)課程，b站真的不是最適合的。

結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的區(qū)別

結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化數(shù)據(jù)，如果你覺(jué)得不好記住，不妨就這樣記著，能夠用傳統(tǒng)的數(shù)據(jù)庫(kù)行列存儲(chǔ)的數(shù)據(jù)都是結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化數(shù)據(jù)，包括文檔、文本、圖片、XML、HTML、報(bào)表、圖像和音視頻這些，是傳統(tǒng)的數(shù)據(jù)庫(kù)行列不能存儲(chǔ)的數(shù)據(jù)

在第一周的測(cè)驗(yàn)中有著相關(guān)的題目

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)第一周測(cè)驗(yàn) Introduction to Deep Learning

題目大概意思是：

貓的識(shí)別圖像是"結(jié)構(gòu)化"數(shù)據(jù)的示例，是因?yàn)樗谟?jì)算機(jī)中表示為結(jié)構(gòu)化數(shù)組。真/假？

這當(dāng)然是錯(cuò)的，貓的圖像是個(gè)圖片，不是結(jié)構(gòu)化數(shù)據(jù)

圖片的矩陣表示

借著上面的貓的圖像，我們來(lái)看看在計(jì)算機(jī)中，圖片的二進(jìn)制表示（本文大多數(shù)公式是使用LaTex敲的，感興趣可以學(xué)習(xí)LaTex）

一張圖片中有紅綠藍(lán)三個(gè)矩陣，來(lái)完整描述一個(gè)圖片的像素值。如果這張圖片是64×64的，那么它的像素值就是64×64×3。在x中我們可以表示成下面的樣子用于圖像數(shù)據(jù)的輸入，x在這種情況下就是64×64×3維的。記得這是小x，與后面的大X要區(qū)分開(kāi)。

x = [ 255 ? 233 ? ? ] \mathbf{x}=[Math Processing Error]

[

255

?

233

?

?

]

x=????????? 255?233?? ?????????

輸入輸出格式

于是對(duì)于輸入x，輸出y，我們有：

( x , y ) x ∈ R n x , x 是 n ( x ) 維 向 量 , y ∈ { 0 , 1 } (x,y)\qquad x\in R^{n_x},\quad x是n(x)維向量,\quad y\in\{0,1\} (x,y)x∈Rnx ,x是n(x)維向量,y∈{0,1}

對(duì)于m個(gè)訓(xùn)練樣本

{ ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , ? ( x ( m ) , y ( m ) ) } \{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots (x^{(m)},y^{(m)}) \} {(x(1),y(1)),(x(2),y(2)),?(x(m),y(m))}

有

X = [ ? ? ? ? ? ? ? ? x ( 1 ) x ( 2 ) x ( 3 ) ? x ( m ) ? ? ? ? ? ? ? ? ] ? n ( x ) × m 維 矩 陣 } n x \mathbf{X}= \left. \underbrace{[Math Processing Error]

[

?

?

?

?

?

?

?

?

x

(

1

)

x

(

2

)

x

(

3

)

?

x

(

m

)

?

?

?

?

?

?

?

?

]

}_{n(x)\times m維矩陣 }\right\}_{n_x} X=n(x)×m維矩陣

?????????? ??x(1)?? ??x(2)?? ??x(3)?? ? ??x(m)?? ?????????? ????????????????????????????? nx

這樣對(duì)x的輸入進(jìn)行表示較為簡(jiǎn)單

與此對(duì)應(yīng)的y的輸出應(yīng)該為

Y = [ y ( 1 ) y ( 2 ) y ( 3 ) ? y ( m ) ] ? 1 × m 大 小 的 矩 陣 \mathbf{Y}= \underbrace{[Math Processing Error]

[

y

(

1

)

y

(

2

)

y

(

3

)

?

y

(

m

)

]

}_{1\times m大小的矩陣} Y=1×m大小的矩陣

[y(1) y(2) y(3) ? y(m) ]

X與Y的形狀為

X.shape(nx,m) Y.shape(1,m)

1

2

Logistic Regression邏輯回歸

現(xiàn)在我們使用$ \hat{y} $ 表示對(duì)真實(shí)值 y y y 的估計(jì)

y ^ = P { y = 1 ∣ x } 0 ≤ y ^ ≤ 1 \hat{y} = P\{y = 1| x \} \qquad 0\le \hat{y} \le 1 y^ =P{y=1∣x}0≤y^ ≤1

接下來(lái)是定義邏輯回歸的參數(shù) w w w 和 b b b

w ∈ R n x , b ∈ R , b 是 一 個(gè) 偏 置 量 w\in R^{n_x}, \quad b\in R, \quad b是一個(gè)偏置量 w∈Rnx ,b∈R,b是一個(gè)偏置量

我們定義輸出為

y ^ = σ ( w T x + b ) , σ 是 s i g m o i d 函 數(shù) \hat{y} = \sigma(w^Tx+b),\quad \sigma是sigmoid函數(shù) y^ =σ(wTx+b),σ是sigmoid函數(shù)

s i g m o i d sigmoid sigmoid 函數(shù)如下圖所示

為什么要使用 s i g m o i d sigmoid sigmoid 函數(shù)？

這是因?yàn)閺纳衔牡?y y y 輸出我們可以知道， y ^ \hat y y^ 要在 ( 0 , 1 ) (0,1) (0,1) 的區(qū)間范圍內(nèi)

而 s i g m o i d sigmoid sigmoid函數(shù)作為激活函數(shù)可以滿足這個(gè)要求

s i g m o i d sigmoid sigmoid函數(shù)的函數(shù)公式如下

σ ( z ) = 1 1 + e ? z \sigma(z)=\frac{1}{1+e^{-z}} σ(z)=1+e?z1

學(xué)過(guò)導(dǎo)數(shù)極限我們可以知道

當(dāng) z → + ∞ z\to +\infty z→+∞時(shí)， z → 1 z\to 1 z→1

當(dāng) z → ? ∞ z\to -\infty z→?∞時(shí)， z → 0 z\to 0 z→0

接下來(lái)我們要設(shè)計(jì)loss函數(shù)和cost函數(shù)，首先我們要明確loss函數(shù)和cost函數(shù)的區(qū)別

loss函數(shù)是單一值訓(xùn)練的偏差情況

l o s s f u n c t i o n : ? ( y ^ , y ) = 1 2 ( y ^ ? y ) 2 loss \quad function:\quad \ell(\hat y,y) = \frac{1}{2}(\hat y - y)^2 lossfunction:?(y^ ,y)=21 (y^ ?y)2

cost函數(shù)是所有的訓(xùn)練值偏差情況和的均值

? ( w , b ) = ? 1 m ∑ 1 m [ y ( i ) l o g y ^ ( i ) + ( 1 ? y ( i ) ) l o g ( 1 ? y ^ ( i ) ) ] \jmath(w,b) = - \frac{1}{m}\sum_{1}^m \left[ y^{(i)}log \hat y^{(i)}+(1-y^{(i)})log(1-\hat y^{(i)})\right] ?(w,b)=?m1 1∑m [y(i)logy^ (i)+(1?y(i))log(1?y^ (i))]

cost函數(shù)能夠很好反映參數(shù)成本，進(jìn)而找到更好的 w w w 與 b b b

Gradient Descent梯度下降

w = w ? α d ? ( w , b ) d w b = b ? α d ? ( w , b ) d b w = w - \alpha \frac{d\jmath (w,b) }{dw}\\ b = b - \alpha \frac{d\jmath (w,b) }{db} w=w?αdwd?(w,b) b=b?αdbd?(w,b)

我們使用梯度下降來(lái)對(duì) w w w 與 b b b 進(jìn)行更新

找到使得 ? ( w , b ) \jmath (w,b) ?(w,b)取得最小的 w w w與 b b b

在邏輯回歸中，我們一定能夠找到這樣的一組符合條件的 w w w 與 b b b 使得 ? ( w , b ) \jmath(w,b) ?(w,b) 取得最小值

后記

本篇主要是邏輯回歸與梯度下降的筆記，主要介紹輸入輸出的格式，邏輯回歸與梯度下降的做法等。

如果有更好的想法，歡迎在評(píng)論區(qū)留言！歡迎一鍵三連！

機(jī)器學(xué)習(xí) 深度學(xué)習(xí)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶(hù)投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。