機(jī)器學(xué)習(xí)查詢記錄（二）

https://medium.com/@manushaurya/mcculloch-pitts-neuron-vs-perceptron-model-8668ed82c36

McCulloch-Pitts神經(jīng)元與Perceptron模型

McCulloch-Pitts神經(jīng)元縮寫為MP Neuron，是人工神經(jīng)網(wǎng)絡(luò)的基本組成部分。與生物神經(jīng)元類似，MP神經(jīng)元和Perceptron模型都接受輸入并對(duì)其進(jìn)行處理以提供輸出，盡管它們?cè)谔幚矸绞缴嫌兴煌覀儗⒃谙挛闹袑?duì)此進(jìn)行介紹。

生物神經(jīng)元

但是首先，我們將看到生物神經(jīng)元是如何工作的。首先，神經(jīng)元可以分為三個(gè)基本單元，樹(shù)突，細(xì)胞體（也稱為Soma）和軸突。對(duì)于我們執(zhí)行的每項(xiàng)任務(wù)，在我們的大腦中，這些神經(jīng)元的特定網(wǎng)絡(luò)發(fā)出信號(hào)，這些信號(hào)通過(guò)突觸末端到達(dá)樹(shù)突，再穿過(guò)細(xì)胞體到達(dá)軸突，然后進(jìn)一步傳遞到另一個(gè)神經(jīng)元。

生物神經(jīng)元

McCulloch-Pitts神經(jīng)元模型

由沃倫·麥卡洛、克（Warren McCulloch）和沃爾、特·皮茨（Walter Pitts）于1943年提出，該模型模仿了生物神經(jīng)元的功能，因此也稱為人工神經(jīng)元。人工神經(jīng)元接受二進(jìn)制輸入，并根據(jù)可調(diào)整的某個(gè)閾值產(chǎn)生二進(jìn)制輸出。這主要可用于分類問(wèn)題。

人工神經(jīng)元（看起來(lái)類似于生物神經(jīng)元，對(duì)嗎？）

在獲取各種輸入后，函數(shù)將它們匯總，并根據(jù)匯總做出決策。聚合僅表示這些二進(jìn)制輸入的總和。如果合計(jì)值超過(guò)閾值，則輸出為1，否則為0。

感知器模型

該模型由弗蘭克·羅森布拉特（Frank Rosenblatt）在1957年開(kāi)發(fā)。這是我們之前看到的“人工神經(jīng)元”模型的略微調(diào)整版本。在這里，神經(jīng)元也稱為線性閾值單元（LTU）。該模型可以處理非布爾值，其中每個(gè)輸入連接都與權(quán)重關(guān)聯(lián)。此處，函數(shù)計(jì)算加權(quán)和，并根據(jù)提供的閾值提供二進(jìn)制輸出。

如上圖所示，感知器中的每個(gè)輸入連接均與權(quán)重相關(guān)聯(lián)，該權(quán)重確定該輸入對(duì)輸出產(chǎn)生的影響程度。

MP神經(jīng)元模型和感知器模型之間的比較

MP Neuron模型和Perceptron模型都可以處理線性可分離的數(shù)據(jù)。

MP Neuron模型僅接受布爾輸入，而Perceptron模型可以處理任何實(shí)際輸入。

在MP Neuron模型中，輸入未加權(quán)，這使該模型的靈活性降低。另一方面，Perceptron模型可以權(quán)衡提供的輸入。

在使用這兩個(gè)模型時(shí)，我們可以調(diào)整閾值輸入以使模型適合我們的數(shù)據(jù)集。

您可以在此處找到發(fā)表的論文McCulloch和Pitts?。

/*-----------------------------------------------------------------------------------------------------------*/

感知器

https://zh.wikipedia.org/wiki/%E6%84%9F%E7%9F%A5%E5%99%A8

$${\displaystyle?t=f(\sum?_{i=1}^{n}{{w}_{i}{x}_{i}+b})=f(\mathbf?{w}?^{T}\mathbf?{x}?)}?$$ $${\displaystyle?w(j):=w(j)+{\alpha?(y-f(x))}{x(j)}\quad?(j=1,\ldots?,n)}?$$

支持向量機(jī)

https://zh.wikipedia.org/wiki/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA

邏輯回歸

https://en.wikipedia.org/wiki/Logistic_regression

$$?P(t)={\frac??{1}{1+e^{{-t}}}}?$$

Softmax函數(shù)

https://zh.wikipedia.org/wiki/Softmax%E5%87%BD%E6%95%B0

$$?{\displaystyle?\sigma?(\mathbf?{z}?)_{j}={\frac?{e^{z_{j}}}{\sum?_{k=1}^{K}e^{z_{k}}}}}?$$

人工神經(jīng)網(wǎng)絡(luò)(ANN)

https://zh.wikipedia.org/wiki/%E4%BA%BA%E5%B7%A5%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

卷積神經(jīng)網(wǎng)絡(luò)(CNN)

卷積神經(jīng)網(wǎng)絡(luò)由一個(gè)或多個(gè)卷積層和頂端的全連通層（對(duì)應(yīng)經(jīng)典的神經(jīng)網(wǎng)絡(luò)）組成，同時(shí)也包括關(guān)聯(lián)權(quán)重和池化層（pooling?layer）。

https://zh.wikipedia.org/wiki/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

https://cezannec.github.io/Convolutional_Neural_Networks/

https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53

https://towardsdatascience.com/basics-of-the-classic-cnn-a3dce1225add

https://adeshpande3.github.io/A-Beginner%27s-Guide-To-Understanding-Convolutional-Neural-Networks/

https://vinodsblog.com/2018/10/15/everything-you-need-to-know-about-convolutional-neural-networks/

完全卷積神經(jīng)網(wǎng)絡(luò)(FCN)

https://arxiv.org/abs/1907.11371

https://leonardoaraujosantos.gitbooks.io/artificial-inteligence/content/image_segmentation.html

A?Fully?Convolutional?neural?network?(FCN)?is?a?normal?CNN,?where?the?last?fully?connected?layer?is?substituted?by?another?convolution?layer?with?a?large?"receptive?field".

受限玻爾茲曼機(jī)(RBM)

https://zh.wikipedia.org/wiki/%E5%8F%97%E9%99%90%E7%8E%BB%E5%B0%94%E5%85%B9%E6%9B%BC%E6%9C%BA

https://blog.csdn.net/hustqb/article/details/84847230

https://zhuanlan.zhihu.com/p/22794772

https://www.jiqizhixin.com/articles/2018-05-07-7

https://zh.wikipedia.org/wiki/%E7%8E%BB%E5%B0%94%E5%85%B9%E6%9B%BC%E6%9C%BA

受限玻爾茲曼機(jī)（英語(yǔ)：restricted?Boltzmann?machine,?RBM）是一種可通過(guò)輸入數(shù)據(jù)集學(xué)習(xí)概率分布的隨機(jī)生成神經(jīng)網(wǎng)絡(luò)。

自編碼器（AE）

https://zh.wikipedia.org/wiki/%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8

深度信念網(wǎng)絡(luò)（DBN）

https://blog.csdn.net/a819825294/article/details/53608141

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)

https://zh.wikipedia.org/wiki/%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

https://towardsdatascience.com/recurrent-neural-networks-d4642c9bc7ce

https://towardsdatascience.com/illustrated-guide-to-recurrent-neural-networks-79e5eb8049c9

http://karpathy.github.io/2015/05/21/rnn-effectiveness/

https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-recurrent-neural-networks

https://www.tensorflow.org/guide/keras/rnn

https://machinelearningmastery.com/recurrent-neural-network-algorithms-for-deep-learning/

https://www.geeksforgeeks.org/introduction-to-recurrent-neural-network/

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent?neural?network：RNN）是神經(jīng)網(wǎng)絡(luò)的一種。 單純的RNN因?yàn)闊o(wú)法處理隨著遞歸，權(quán)重指數(shù)級(jí)爆炸或梯度消失問(wèn)題，難以捕捉長(zhǎng)期時(shí)間關(guān)聯(lián)；而結(jié)合不同的LSTM可以很好解決這個(gè)問(wèn)題。[1][2] 時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)可以描述動(dòng)態(tài)時(shí)間行為，因?yàn)楹颓梆伾窠?jīng)網(wǎng)絡(luò)（feedforward?neural?network）接受較特定結(jié)構(gòu)的輸入不同， RNN將狀態(tài)在自身網(wǎng)絡(luò)中循環(huán)傳遞，因此可以接受更廣泛的時(shí)間序列結(jié)構(gòu)輸入。手寫識(shí)別是最早成功利用RNN的研究結(jié)果

長(zhǎng)短期記憶(Long Short-Term Memory，LSTM)

https://zh.wikipedia.org/wiki/%E9%95%B7%E7%9F%AD%E6%9C%9F%E8%A8%98%E6%86%B6

是一種時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN） 由于獨(dú)特的設(shè)計(jì)結(jié)構(gòu)，LSTM適合于處理和預(yù)測(cè)時(shí)間序列中間隔和延遲非常長(zhǎng)的重要事件。

生成對(duì)抗網(wǎng)絡(luò)(Generative?Adversarial?Network，GAN)

https://zh.wikipedia.org/wiki/%E7%94%9F%E6%88%90%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C

是非監(jiān)督式學(xué)習(xí)的一種方法，通過(guò)讓兩個(gè)神經(jīng)網(wǎng)路相互博弈的方式進(jìn)行學(xué)習(xí)。

決策樹(shù)

https://zh.wikipedia.org/wiki/%E5%86%B3%E7%AD%96%E6%A0%91%E5%AD%A6%E4%B9%A0

https://zh.wikipedia.org/wiki/%E5%86%B3%E7%AD%96%E6%A0%91

統(tǒng)計(jì)學(xué)，數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)中的決策樹(shù)訓(xùn)練，使用決策樹(shù)作為預(yù)測(cè)模型來(lái)預(yù)測(cè)樣本的類標(biāo)。 這種決策樹(shù)也稱作分類樹(shù)或回歸樹(shù)。在這些樹(shù)的結(jié)構(gòu)里，?葉子節(jié)點(diǎn)給出類標(biāo)而內(nèi)部節(jié)點(diǎn)代表某個(gè)屬性。 在決策分析中，一棵決策樹(shù)可以明確地表達(dá)決策的過(guò)程。在數(shù)據(jù)挖掘中，一棵決策樹(shù)表達(dá)的是數(shù)據(jù)而不是決策。

ID3算法

https://zh.wikipedia.org/wiki/ID3%E7%AE%97%E6%B3%95

D3算法（Iterative?Dichotomiser?3?迭代二叉樹(shù)3代）是一個(gè)由Ross?Quinlan發(fā)明的用于決策樹(shù)的算法。

C4.5算法

https://zh.wikipedia.org/wiki/C4.5%E7%AE%97%E6%B3%95

C4.5算法是由Ross?Quinlan（英語(yǔ)：Ross?Quinlan）開(kāi)發(fā)的用于產(chǎn)生決策樹(shù)的算法。該算法是對(duì)Ross?Quinlan之前開(kāi)發(fā)的ID3算法的一個(gè)擴(kuò)展。

CART

https://zhuanlan.zhihu.com/p/36108972

https://blog.csdn.net/ACdreamers/article/details/44664481

隨機(jī)森林

https://zh.wikipedia.org/wiki/%E9%9A%8F%E6%9C%BA%E6%A3%AE%E6%9E%97

在機(jī)器學(xué)習(xí)中，隨機(jī)森林是一個(gè)包含多個(gè)決策樹(shù)的分類器，並且其輸出的類別是由個(gè)別樹(shù)輸出的類別的眾數(shù)而定。 這個(gè)方法則是結(jié)合Breimans的"Bootstrap?aggregating"想法和Ho的"random?subspace?method"以建造決策樹(shù)的集合。

Bagging算法(Bootstrap aggregating,引導(dǎo)聚集算法，又稱裝袋算)

https://zh.wikipedia.org/wiki/Bagging%E7%AE%97%E6%B3%95

https://en.wikipedia.org/wiki/Bootstrap_aggregating

給定一個(gè)大小為n的訓(xùn)練集D，Bagging算法從中均勻、有放回地（即使用自助抽樣法）選出m個(gè)大小為n′的子集Di， 作為新的訓(xùn)練集。在這m個(gè)訓(xùn)練集上使用分類、回歸等算法，則可得到m個(gè)模型，再通過(guò)取平均值、取多數(shù)票等方法，即可得到Bagging的結(jié)果。

梯度提升樹(shù)（GBT或GBDT）

https://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6%E6%8F%90%E5%8D%87%E6%8A%80%E6%9C%AF

梯度提升（梯度增強(qiáng)）是一種用于回歸和分類問(wèn)題的機(jī)器學(xué)習(xí)技術(shù)，其產(chǎn)生的預(yù)測(cè)模型是弱預(yù)測(cè)模型的集成， 如采用典型的決策樹(shù)?作為弱預(yù)測(cè)模型，這時(shí)則為梯度提升樹(shù)（GBT或GBDT）。 像其他提升方法一樣，它以分階段的方式構(gòu)建模型，但它通過(guò)允許對(duì)任意可微分損失函數(shù)進(jìn)行優(yōu)化作為對(duì)一般提升方法的推廣。

AdaBoost

https://zh.wikipedia.org/wiki/AdaBoost

AdaBoost方法的自適應(yīng)在于：前一個(gè)分類器分錯(cuò)的樣本會(huì)被用來(lái)訓(xùn)練下一個(gè)分類器。

Boosting

https://zh.wikipedia.org/wiki/%E6%8F%90%E5%8D%87%E6%96%B9%E6%B3%95

線性回歸（linear regression）

https://zh.wikipedia.org/zh-sg/%E7%B7%9A%E6%80%A7%E5%9B%9E%E6%AD%B8

嶺回歸（Ridge regression）

https://blog.csdn.net/google19890102/article/details/27228279

Lasso算法(least absolute shrinkage and selection operator，又譯最小絕對(duì)值收斂和選擇算子、套索算法)

https://zh.wikipedia.org/wiki/Lasso%E7%AE%97%E6%B3%95

K-近鄰算法(KNN)

https://zh.wikipedia.org/wiki/K-%E8%BF%91%E9%82%BB%E7%AE%97%E6%B3%95

貝葉斯定理（Bayes' theorem）

https://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86

葉斯定理（英語(yǔ)：Bayes'?theorem）是機(jī)率論中的一個(gè)定理，描述在已知一些條件下，某事件的發(fā)生機(jī)率。

樸素貝葉斯分類器

https://zh.wikipedia.org/wiki/%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%99%A8

在機(jī)器學(xué)習(xí)中，單純貝氏分類器是一系列以假設(shè)特征之間強(qiáng)（樸素）獨(dú)立下運(yùn)用貝葉斯定理為基礎(chǔ)的簡(jiǎn)單概率分類器（英語(yǔ)：probabilistic?classifier）。

正態(tài)貝葉斯分類器

https://blog.csdn.net/neu_chenguangq/article/details/79288905

https://zhuanlan.zhihu.com/p/47390725

https://blog.csdn.net/BBZZ2/article/details/50915660

貝葉斯網(wǎng)絡(luò)

https://zh.wikipedia.org/wiki/貝氏網(wǎng)路

https://zh.m.wikipedia.org/zh-hans/%E8%B2%9D%E6%B0%8F%E7%B6%B2%E8%B7%AF

貝氏網(wǎng)路（Bayesian?network），又稱信念網(wǎng)絡(luò)（belief?network）或是有向無(wú)環(huán)圖模型（directed?acyclic?graphical?model）， 是一種機(jī)率圖型模型，藉由有向無(wú)環(huán)圖（directed?acyclic?graphs,?or?DAGs）中得知一組隨機(jī)變數(shù){X1,X2,...,Xn} 及其n組條件機(jī)率分配（conditional?probability?distributions,?or?CPDs）的性質(zhì)。

隱含狄利克雷分布(Latent Dirichlet allocation，LDA)

https://zh.wikipedia.org/wiki/%E9%9A%90%E5%90%AB%E7%8B%84%E5%88%A9%E5%85%8B%E9%9B%B7%E5%88%86%E5%B8%83

是一種主題模型，它可以將文檔集中每篇文檔的主題按照概率分布的形式給出。 同時(shí)它是一種無(wú)監(jiān)督學(xué)習(xí)算法，在訓(xùn)練時(shí)不需要手工標(biāo)注的訓(xùn)練集，需要的僅僅是文檔集以及指定主題的數(shù)量k即可。 此外LDA的另一個(gè)優(yōu)點(diǎn)則是，對(duì)于每一個(gè)主題均可找出一些詞語(yǔ)來(lái)描述它。

Kernel Linear Discriminant Analysis,KLDA

https://www.sciencedirect.com/science/article/pii/S187705091502027X

https://www.researchgate.net/publication/221017649_An_Iterative_Algorithm_for_KLDA_Classifier

主成分分析(Principal components analysis，PCA)

https://zh.wikipedia.org/wiki/%E4%B8%BB%E6%88%90%E5%88%86%E5%88%86%E6%9E%90

核主成分分析(kernel principal component analysis，kernel PCA)

https://zh.wikipedia.org/wiki/%E6%A0%B8%E4%B8%BB%E6%88%90%E5%88%86%E5%88%86%E6%9E%90

流行學(xué)習(xí)(manifold learning)

https://en.wikipedia.org/wiki/Manifold_alignment

https://blog.csdn.net/chl033/article/details/6107042

https://leovan.me/cn/2018/03/manifold-learning/

局部線性嵌入(Locally Linear Embedding, 簡(jiǎn)稱為L(zhǎng)LE)

https://www.cnblogs.com/pinard/p/6266408.html

https://blog.csdn.net/VictoriaW/article/details/78496963

https://leoncuhk.gitbooks.io/feature-engineering/feature-extracting10.html

https://www.imooc.com/article/44215

拉普拉斯特征映射（LaplacianEigenmaps）

https://blog.csdn.net/qrlhl/article/details/78066994

https://blog.csdn.net/yujianmin1990/article/details/48420483

等距特征映射(Isomap)

https://zh.wikipedia.org/wiki/%E7%AD%89%E8%B7%9D%E7%89%B9%E5%BE%81%E6%98%A0%E5%B0%84

局部保持投影法(Locality Preserving Projections, LPP）

https://www.zhihu.com/question/41453753

https://blog.csdn.net/u010555688/article/details/39028471

https://blog.csdn.net/evillist/article/details/74981761

概率圖模型（Graphical Model）

https://zh.wikipedia.org/wiki/%E5%9C%96%E6%A8%A1%E5%BC%8F

在概率論、統(tǒng)計(jì)學(xué)及機(jī)器學(xué)習(xí)中，概率圖模型（Graphical?Model）是用圖論方法以表現(xiàn)數(shù)個(gè)獨(dú)立隨機(jī)變數(shù)之關(guān)聯(lián)的一種建模法。 一個(gè)p個(gè)節(jié)點(diǎn)的圖中，節(jié)點(diǎn)i對(duì)應(yīng)一個(gè)隨機(jī)變數(shù)，記為Xi。概率圖模型被廣泛地應(yīng)用于貝葉斯統(tǒng)計(jì)與機(jī)器學(xué)習(xí)中。

隱馬爾可夫模型（Hidden Markov Model，HMM）

https://zh.wikipedia.org/wiki/%E9%9A%90%E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E6%A8%A1%E5%9E%8B

是統(tǒng)計(jì)模型，它用來(lái)描述一個(gè)含有隱含未知參數(shù)的馬爾可夫過(guò)程。 其難點(diǎn)是從可觀察的參數(shù)中確定該過(guò)程的隱含參數(shù)。然后利用這些參數(shù)來(lái)作進(jìn)一步的分析，例如模式識(shí)別。

條件隨機(jī)場(chǎng)（conditional random field，簡(jiǎn)稱 CRF）

https://zh.wikipedia.org/wiki/%E6%A2%9D%E4%BB%B6%E9%9A%A8%E6%A9%9F%E5%9F%9F

是一種鑑別式機(jī)率模型，是隨機(jī)場(chǎng)的一種，常用於標(biāo)注或分析序列資料，如自然語(yǔ)言文字或是生物序列。 如同馬爾可夫隨機(jī)場(chǎng)，條件隨機(jī)場(chǎng)為無(wú)向性之圖模型，圖中的頂點(diǎn)代表隨機(jī)變數(shù)，頂點(diǎn)間的連線代表隨機(jī)變數(shù)間的相依關(guān)係， 在條件隨機(jī)場(chǎng)當(dāng)中，隨機(jī)變數(shù)?Y?的分佈為條件機(jī)率，給定的觀察值則為隨機(jī)變數(shù)?X。原則上，條件隨機(jī)場(chǎng)的圖模型佈局是可以任意給定的， 一般常用的佈局是鏈結(jié)式的架構(gòu)，鏈結(jié)式架構(gòu)不論在訓(xùn)練（training）、推論（inference）、或是解碼（decoding）上，都存在有效率的演算法可供演算。 條件隨機(jī)場(chǎng)跟隱藏式馬可夫模型常被一起提及，條件隨機(jī)場(chǎng)對(duì)於輸入和輸出的機(jī)率分佈，沒(méi)有如隱藏式馬可夫模型那般強(qiáng)烈的假設(shè)存在。 線性鏈條件隨機(jī)場(chǎng)應(yīng)用于標(biāo)注問(wèn)題是由Lafferty等人與2001年提出的[1]

層次聚類(HCA)

https://en.wikipedia.org/wiki/Hierarchical_clustering

在數(shù)據(jù)挖掘和統(tǒng)計(jì)中，層次聚類（也稱為層次聚類分析或HCA）是一種聚類分析的方法，旨在建立聚類的層次。

K-平均算法（k-means clustering）

https://zh.wikipedia.org/wiki/K-%E5%B9%B3%E5%9D%87%E7%AE%97%E6%B3%95

源于信號(hào)處理中的一種向量量化方法，現(xiàn)在則更多地作為一種聚類分析方法流行于數(shù)據(jù)挖掘領(lǐng)域。 k-平均聚類的目的是：把n{\displaystyle?n}nn個(gè)點(diǎn)（可以是樣本的一次觀察或一個(gè)實(shí)例）劃分到k個(gè)聚類中， 使得每個(gè)點(diǎn)都屬于離他最近的均值（此即聚類中心）對(duì)應(yīng)的聚類，以之作為聚類的標(biāo)準(zhǔn)。這個(gè)問(wèn)題將歸結(jié)為一個(gè)把數(shù)據(jù)空間劃分為Voronoi?cells的問(wèn)題。 這個(gè)問(wèn)題在計(jì)算上是NP困難的，不過(guò)存在高效的啟發(fā)式算法。一般情況下，都使用效率比較高的啟發(fā)式算法，它們能夠快速收斂于一個(gè)局部最優(yōu)解。 這些算法通常類似于通過(guò)迭代優(yōu)化方法處理高斯混合分布的最大期望算法（EM算法）。 而且，它們都使用聚類中心來(lái)為數(shù)據(jù)建模；然而k-平均聚類傾向于在可比較的空間范圍內(nèi)尋找聚類，期望-最大化技術(shù)卻允許聚類有不同的形狀。

DBSCAN（Density-based spatial clustering of applications with noise）

https://zh.wikipedia.org/wiki/DBSCAN

聚類分析算法，?這個(gè)算法是以密度為本的：給定某空間裡的一個(gè)點(diǎn)集合，這算法能把附近的點(diǎn)分成一組（有很多相鄰點(diǎn)的點(diǎn)）， 並標(biāo)記出位於低密度區(qū)域的局外點(diǎn)（最接近它的點(diǎn)也十分遠(yuǎn)）。 DBSCAN?是最常用的聚類分析算法之一，也是科學(xué)文章中最常引用的聚類分析算法之一。

OPTICS(Ordering points to identify the clustering structure)

https://zh.wikipedia.org/wiki/OPTICS

基于密度的聚類分析算法 OPTICS并不依賴全局變量來(lái)確定聚類，而是將空間上最接近的點(diǎn)相鄰排列，以得到數(shù)據(jù)集合中的對(duì)象的線性排序。[2] 排序后生成的序列存儲(chǔ)了與相鄰點(diǎn)之間的距離，并最終生成了一個(gè)?dendrogram?。OPTICS算法的思路與DBSCAN類似， 但是解決了DBSCAN的一個(gè)主要弱點(diǎn)，即如何在密度變化的數(shù)據(jù)中取得有效的聚類。同時(shí)?OPTICS也避免了多數(shù)聚類算法中對(duì)輸入?yún)?shù)敏感的問(wèn)題。

Mean shift

https://en.wikipedia.org/wiki/Mean_shift

均值平移是一種用于定位密度函數(shù)最大值的非參數(shù)?特征空間分析技術(shù)，即所謂的模式尋找算法。

譜聚類（spectral clustering）

https://www.cnblogs.com/pinard/p/6221564.html

https://www.jiqizhixin.com/graph/technologies/48f118d7-d49d-433a-a127-9912a40aaae6

https://cloud.tencent.com/developer/article/1189421

最大期望（EM）算法,最大期望演算法（Expectation-maximization algorithm，又譯期望最大化算法）

https://zh.wikipedia.org/wiki/%E6%9C%80%E5%A4%A7%E6%9C%9F%E6%9C%9B%E7%AE%97%E6%B3%95

在統(tǒng)計(jì)計(jì)算中，最大期望（EM）算法是在概率模型中尋找參數(shù)最大似然估計(jì)或者最大后驗(yàn)估計(jì)的算法，其中概率模型依賴于無(wú)法觀測(cè)的隱變量。

策略迭代(Policy Iteration)

https://en.wikipedia.org/wiki/Markov_decision_process#Policy_iteration

https://zhuanlan.zhihu.com/p/34006925

https://www.jiqizhixin.com/graph/technologies/1a28fecc-5783-4128-9063-ea9f0e94f474

https://www.cnblogs.com/huangyc/p/10381184.html

值迭代（Value Iteration）

https://en.wikipedia.org/wiki/Markov_decision_process#value_iteration

蒙特卡羅方法

https://zh.wikipedia.org/wiki/%E8%92%99%E5%9C%B0%E5%8D%A1%E7%BE%85%E6%96%B9%E6%B3%95

蒙特卡羅方法（英語(yǔ)：Monte?Carlo?method），也稱統(tǒng)計(jì)模擬方法，是1940年代中期由于科學(xué)技術(shù)的發(fā)展和電子計(jì)算機(jī)的發(fā)明， 而提出的一種以概率統(tǒng)計(jì)理論為指導(dǎo)的數(shù)值計(jì)算方法。是指使用隨機(jī)數(shù)（或更常見(jiàn)的偽隨機(jī)數(shù)）來(lái)解決很多計(jì)算問(wèn)題的方法。 ##?在解決實(shí)際問(wèn)題的時(shí)候應(yīng)用蒙特卡羅方法主要有兩部分工作： *?用蒙特卡羅方法模擬某一過(guò)程時(shí)，需要產(chǎn)生各種概率分布的隨機(jī)變量。 *?用統(tǒng)計(jì)方法把模型的數(shù)字特征估計(jì)出來(lái)，從而得到實(shí)際問(wèn)題的數(shù)值解。

時(shí)序差分算法(Temporal-Difference Learning)

https://www.jianshu.com/p/0bfeb09b7d5f

https://www.jiqizhixin.com/graph/technologies/7411ce5b-c024-49eb-a565-3e1718adeb8a

https://blog.csdn.net/qq_30159351/article/details/72896220

https://www.cnblogs.com/steven-yang/p/6516818.html

SARSA算法

https://zhuanlan.zhihu.com/p/29283927

https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/3-1-tabular-sarsa1/

http://zuzhiang.cn/2019/10/10/sarsa/

https://cloud.tencent.com/developer/article/1602094

Q學(xué)習(xí)(Q-Learning)

https://zh.wikipedia.org/wiki/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

https://zh.wikipedia.org/wiki/Q%E5%AD%A6%E4%B9%A0

https://blog.csdn.net/qq_30615903/article/details/80739243

https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/2-2-tabular-q1/

https://www.jiqizhixin.com/articles/2018-04-17-3

https://cloud.tencent.com/developer/article/1012013

Q-學(xué)習(xí)是強(qiáng)化學(xué)習(xí)的一種方法。Q-學(xué)習(xí)就是要記錄下學(xué)習(xí)過(guò)的政策，因而告訴智能體什么情況下采取什么行動(dòng)會(huì)有最大的獎(jiǎng)勵(lì)值。 Q-學(xué)習(xí)不需要對(duì)環(huán)境進(jìn)行建模，即使是對(duì)帶有隨機(jī)因素的轉(zhuǎn)移函數(shù)或者獎(jiǎng)勵(lì)函數(shù)也不需要進(jìn)行特別的改動(dòng)就可以進(jìn)行。 對(duì)于任何有限的馬可夫決策過(guò)程（FMDP），Q-學(xué)習(xí)可以找到一個(gè)可以最大化所有步驟的獎(jiǎng)勵(lì)期望的策略。 [1]，在給定一個(gè)部分隨機(jī)的策略和無(wú)限的探索時(shí)間，Q-學(xué)習(xí)可以給出一個(gè)最佳的動(dòng)作選擇策略。 「Q」這個(gè)字母在強(qiáng)化學(xué)習(xí)中表示一個(gè)動(dòng)作的品質(zhì)（quality)。[2]

DQN（Deep Q-Learning）

https://zhuanlan.zhihu.com/p/26052182

https://zhuanlan.zhihu.com/p/35882937

https://zhuanlan.zhihu.com/p/21262246

https://zhuanlan.zhihu.com/p/91685011

https://medium.com/@jonathan_hui/rl-dqn-deep-q-network-e207751f7ae4

//

https://blog.csdn.net/SIGAI_CSDN/article/details/80991031

//

伯努利分布

https://zh.wikipedia.org/wiki/%E4%BC%AF%E5%8A%AA%E5%88%A9%E5%88%86%E5%B8%83

https://blog.csdn.net/kingzone_2008/article/details/80584743

https://blog.csdn.net/solo_sky/article/details/47777943

泊松分布

https://zh.wikipedia.org/wiki/%E6%B3%8A%E6%9D%BE%E5%88%86%E4%BD%88

最大似然估計(jì)

https://zh.wikipedia.org/wiki/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1

人工智能

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。