【技術(shù)科普】機(jī)器學(xué)習(xí)你了解嗎？

@TOC

1 機(jī)器學(xué)習(xí)概述

1.1 人工智能概述

人工智能應(yīng)用場景

網(wǎng)絡(luò)安全、電子商務(wù)、計(jì)算模擬、社交網(wǎng)絡(luò) … ...

人工智能發(fā)展必備三要素

數(shù)據(jù)

算法

計(jì)算力

CPU、GPU、TPU

什么類型的程序適合在GPU上運(yùn)行？

計(jì)算密集型程序；

所謂計(jì)算密集型(Compute-intensive)的程序，就是其大部分運(yùn)行時(shí)間花在了寄存器運(yùn)算上，寄存器的速度和處理器的速度相當(dāng)，從寄存器讀寫數(shù)據(jù)幾乎沒有延時(shí)?？梢宰鲆幌聦Ρ?，讀內(nèi)存的延遲大概是幾百個(gè)時(shí)鐘周期；讀硬盤的速度就不說了，即便是SSD, 也實(shí)在是太慢了。

易于并行的程序；

GPU其實(shí)是一種SIMD(Single Instruction Multiple Data)架構(gòu)， 他有成百上千個(gè)核，每一個(gè)核在同一時(shí)間最好能做同樣的事情。

人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)

機(jī)器學(xué)習(xí)是人工智能的一個(gè)實(shí)現(xiàn)途徑

深度學(xué)習(xí)是由機(jī)器學(xué)習(xí)的一個(gè)方法發(fā)展而來

1.2 人工智能的發(fā)展歷程

起源

圖靈測試

測試者與被測試者（一個(gè)人和一臺(tái)機(jī)器）隔開的情況下，通過一些裝置（如鍵盤）向被測試者隨意提問。多次測試（一般為5min之內(nèi)），如果有超過30%的測試者不能確定被測試者是人還是機(jī)器，那么這臺(tái)機(jī)器就通過了測試，并被認(rèn)為具有人類智能。

達(dá)特茅斯會(huì)議

1956年8月，在美國漢諾斯小鎮(zhèn)寧靜的達(dá)特茅斯學(xué)院中，

約翰·麥卡錫（John McCarthy）

馬文·閔斯基（Marvin Minsky，人工智能與認(rèn)知學(xué)專家）

克勞德·香農(nóng)（Claude Shannon，信息論的創(chuàng)始人）

艾倫·紐厄爾（Allen Newell，計(jì)算機(jī)科學(xué)家）

赫伯特·西蒙（Herbert Simon，諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主）等科學(xué)家正聚在一起，討論著一個(gè)完全不食人間煙火的主題：

用機(jī)器來模仿人類學(xué)習(xí)以及其他方面的智能。

會(huì)議足足開了兩個(gè)月的時(shí)間，雖然大家沒有達(dá)成普遍的共識(shí)，但是卻為會(huì)議討論的內(nèi)容起了一個(gè)名字：?人工智能

因此，1956年也就成為了人工智能元年。

發(fā)展歷程

人工智能充滿未知的探索道路曲折起伏。如何描述人工智能自1956年以來60余年的發(fā)展歷程，學(xué)術(shù)界可謂仁者見仁、智者見智。我們將人工智能的發(fā)展歷程劃分為以下6個(gè)階段：

第一是起步發(fā)展期：1956年—20世紀(jì)60年代初。

人工智能概念提出后，相繼取得了一批令人矚目的研究成果，如機(jī)器定理證明、跳棋程序等，掀起人工智能發(fā)展的第一個(gè)高潮。

第二是反思發(fā)展期：20世紀(jì)60年代—70年代初。

人工智能發(fā)展初期的突破性進(jìn)展大大提升了人們對人工智能的期望，人們開始嘗試更具挑戰(zhàn)性的任務(wù)，并提出了一些不切實(shí)際的研發(fā)目標(biāo)。然而，接二連三的失敗和預(yù)期目標(biāo)的落空（例如，無法用機(jī)器證明兩個(gè)連續(xù)函數(shù)之和還是連續(xù)函數(shù)、機(jī)器翻譯鬧出笑話等），使人工智能的發(fā)展走入低谷。

第三是應(yīng)用發(fā)展期：20世紀(jì)70年代初—80年代中。

20世紀(jì)70年代出現(xiàn)的專家系統(tǒng)模擬人類專家的知識(shí)和經(jīng)驗(yàn)解決特定領(lǐng)域的問題，實(shí)現(xiàn)了人工智能從理論研究走向?qū)嶋H應(yīng)用、從一般推理策略探討轉(zhuǎn)向運(yùn)用專門知識(shí)的重大突破。專家系統(tǒng)在醫(yī)療、化學(xué)、地質(zhì)等領(lǐng)域取得成功，推動(dòng)人工智能走入應(yīng)用發(fā)展的新高潮。

第四是低迷發(fā)展期：20世紀(jì)80年代中—90年代中。

隨著人工智能的應(yīng)用規(guī)模不斷擴(kuò)大，專家系統(tǒng)存在的應(yīng)用領(lǐng)域狹窄、缺乏常識(shí)性知識(shí)、知識(shí)獲取困難、推理方法單一、缺乏分布式功能、難以與現(xiàn)有數(shù)據(jù)庫兼容等問題逐漸暴露出來。

第五是穩(wěn)步發(fā)展期：20世紀(jì)90年代中—2010年。

由于網(wǎng)絡(luò)技術(shù)特別是互聯(lián)網(wǎng)技術(shù)的發(fā)展，加速了人工智能的創(chuàng)新研究，促使人工智能技術(shù)進(jìn)一步走向?qū)嵱没?997年國際商業(yè)機(jī)器公司（簡稱IBM）深藍(lán)超級(jí)計(jì)算機(jī)戰(zhàn)勝了國際象棋世界冠軍卡斯帕羅夫，2008年IBM提出“智慧地球”的概念。以上都是這一時(shí)期的標(biāo)志性事件。

第六是蓬勃發(fā)展期：2011年至今。

隨著大數(shù)據(jù)、云計(jì)算、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展，泛在感知數(shù)據(jù)和圖形處理器等計(jì)算平臺(tái)推動(dòng)以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)飛速發(fā)展，大幅跨越了科學(xué)與應(yīng)用之間的“技術(shù)鴻溝”，諸如圖像分類、語音識(shí)別、知識(shí)問答、人機(jī)對弈、無人駕駛等人工智能技術(shù)實(shí)現(xiàn)了從“不能用、不好用”到“可以用”的技術(shù)突破，迎來爆發(fā)式增長的新高潮。

1.3 人工智能的主要分支

主要分支介紹

通訊、感知與行動(dòng)是現(xiàn)代人工智能的三個(gè)關(guān)鍵能力

計(jì)算機(jī)視覺(CV)、

自然語言處理(NLP)

在 NLP 領(lǐng)域中，分為覆蓋文本挖掘/分類、機(jī)器翻譯和語音識(shí)別。

機(jī)器人

計(jì)算機(jī)視覺(CV)是指機(jī)器感知環(huán)境的能力。這一技術(shù)類別中的經(jīng)典任務(wù)有圖像形成、圖像處理、圖像提取和圖像的三維推理。物體檢測和人臉識(shí)別是其比較成功的研究領(lǐng)域。

當(dāng)前階段：

計(jì)算機(jī)視覺現(xiàn)已有很多應(yīng)用，這表明了這類技術(shù)的成就，也讓我們將其歸入到應(yīng)用階段。隨著深度學(xué)習(xí)的發(fā)展，機(jī)器甚至能在特定的案例中實(shí)現(xiàn)超越人類的表現(xiàn)。但是，這項(xiàng)技術(shù)離社會(huì)影響階段還有一定距離，那要等到機(jī)器能在所有場景中都達(dá)到人類的同等水平才行(感知其環(huán)境的所有相關(guān)方面)。

語音識(shí)別是指識(shí)別語音(說出的語言)并將其轉(zhuǎn)換成對應(yīng)文本的技術(shù)。相反的任務(wù)(文本轉(zhuǎn)語音/TTS)也是這一領(lǐng)域內(nèi)一個(gè)類似的研究主題。

當(dāng)前階段：

語音識(shí)別已經(jīng)處于應(yīng)用階段很長時(shí)間了。最近幾年，隨著大數(shù)據(jù)和深度學(xué)習(xí)技術(shù)的發(fā)展，語音識(shí)別進(jìn)展頗豐，現(xiàn)在已經(jīng)非常接近社會(huì)影響階段了。

語音識(shí)別領(lǐng)域仍然面臨著聲紋識(shí)別和「雞尾酒會(huì)效應(yīng)」等一些特殊情況的難題。

現(xiàn)代語音識(shí)別系統(tǒng)嚴(yán)重依賴于云，在離線時(shí)可能就無法取得理想的工作效果。

這里的文本挖掘主要是指文本分類，該技術(shù)可用于理解、組織和分類結(jié)構(gòu)化或非結(jié)構(gòu)化文本文檔。其涵蓋的主要任務(wù)有句法分析、情緒分析和垃圾信息檢測。

當(dāng)前階段：

我們將這項(xiàng)技術(shù)歸類到應(yīng)用階段，因?yàn)楝F(xiàn)在有很多應(yīng)用都已經(jīng)集成了基于文本挖掘的情緒分析或垃圾信息檢測技術(shù)。文本挖掘技術(shù)也在智能投顧的開發(fā)中有所應(yīng)用，并且提升了用戶體驗(yàn)。

文本挖掘和分類領(lǐng)域的一個(gè)瓶頸出現(xiàn)在歧義和有偏差的數(shù)據(jù)上。

機(jī)器翻譯(MT)是利用機(jī)器的力量自動(dòng)將一種自然語言(源語言)的文本翻譯成另一種語言(目標(biāo)語言)。

當(dāng)前階段：

機(jī)器翻譯是一個(gè)見證了大量發(fā)展歷程的應(yīng)用領(lǐng)域。該領(lǐng)域最近由于神經(jīng)機(jī)器翻譯而取得了非常顯著的進(jìn)展，但仍然沒有全面達(dá)到專業(yè)譯者的水平；但是，我們相信在大數(shù)據(jù)、云計(jì)算和深度學(xué)習(xí)技術(shù)的幫助下，機(jī)器翻譯很快就將進(jìn)入社會(huì)影響階段。

在某些情況下，俚語和行話等內(nèi)容的翻譯會(huì)比較困難(受限詞表問題)。

專業(yè)領(lǐng)域的機(jī)器翻譯(比如醫(yī)療領(lǐng)域)表現(xiàn)通常不好。

機(jī)器人學(xué)(Robotics)研究的是機(jī)器人的設(shè)計(jì)、制造、運(yùn)作和應(yīng)用，以及控制它們的計(jì)算機(jī)系統(tǒng)、傳感反饋和信息處理。

機(jī)器人可以分成兩大類:固定機(jī)器人和移動(dòng)機(jī)器人。固定機(jī)器人通常被用于工業(yè)生產(chǎn)(比如用于裝配線)。常見的移動(dòng)機(jī)器人應(yīng)用有貨運(yùn)機(jī)器人、空中機(jī)器人和自動(dòng)載具。機(jī)器人需要不同部件和系統(tǒng)的協(xié)作才能實(shí)現(xiàn)最優(yōu)的作業(yè)。其中在硬件上包含傳感器、反應(yīng)器和控制器；另外還有能夠?qū)崿F(xiàn)感知能力的軟件，比如定位、地圖測繪和目標(biāo)識(shí)別。

當(dāng)前階段：

自上世紀(jì)「Robot」一詞誕生以來，人們已經(jīng)為工業(yè)制造業(yè)設(shè)計(jì)了很多機(jī)器人。工業(yè)機(jī)器人是增長最快的應(yīng)用領(lǐng)域，它們在 20 世紀(jì) 80 年代將這一領(lǐng)域帶入了應(yīng)用階段。在安川電機(jī)、Fanuc、ABB、庫卡等公司的努力下，我們認(rèn)為進(jìn)入 21 世紀(jì)之后，機(jī)器人領(lǐng)域就已經(jīng)進(jìn)入了社會(huì)影響階段，此時(shí)各種工業(yè)機(jī)器人已經(jīng)主宰了裝配生產(chǎn)線。此外，軟體機(jī)器人在很多領(lǐng)域也有廣泛的應(yīng)用，比如在醫(yī)療行業(yè)協(xié)助手術(shù)或在金融行業(yè)自動(dòng)執(zhí)行承銷過程。

但是，法律法規(guī)和「機(jī)器人威脅論」可能會(huì)妨礙機(jī)器人領(lǐng)域的發(fā)展。還有設(shè)計(jì)和制造機(jī)器人需要相對較高的投資。

總的來說，人工智能領(lǐng)域的研究前沿正逐漸從搜索、知識(shí)和推理領(lǐng)域轉(zhuǎn)向機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、計(jì)算機(jī)視覺和機(jī)器人領(lǐng)域。

大多數(shù)早期技術(shù)至少已經(jīng)處于應(yīng)用階段了，而且其中一些已經(jīng)顯現(xiàn)出了社會(huì)影響力。一些新開發(fā)的技術(shù)可能仍處于工程甚至研究階段，但是我們可以看到不同階段之間轉(zhuǎn)移的速度變得越來越快。

1.4 機(jī)器學(xué)習(xí)工作流程

什么是機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)是從數(shù)據(jù)中自動(dòng)分析獲得模型，并利用模型對未知數(shù)據(jù)進(jìn)行預(yù)測。

機(jī)器學(xué)習(xí)工作流程

獲取數(shù)據(jù)

數(shù)據(jù)基本處理

特征工程

機(jī)器學(xué)習(xí)(模型訓(xùn)練)

模型評(píng)估

結(jié)果達(dá)到要求，上線服務(wù)

沒有達(dá)到要求，重新上面步驟

數(shù)據(jù)簡介

在數(shù)據(jù)集中：

一行數(shù)據(jù)稱為一個(gè)樣本

一列數(shù)據(jù)稱為一個(gè)特征

有些數(shù)據(jù)有目標(biāo)值（標(biāo)簽值），有些數(shù)據(jù)沒有目標(biāo)值（如上表中，電影類型就是這個(gè)數(shù)據(jù)集的目標(biāo)值）

數(shù)據(jù)類型構(gòu)成：

數(shù)據(jù)類型一：特征值+目標(biāo)值（目標(biāo)值是連續(xù)的和離散的）

數(shù)據(jù)類型二：只有特征值，沒有目標(biāo)值

數(shù)據(jù)分割：

訓(xùn)練集：70% 80% 75%

測試集：30% 20% 25%

訓(xùn)練數(shù)據(jù)：用于訓(xùn)練，構(gòu)建模型

測試數(shù)據(jù)：在模型檢驗(yàn)時(shí)使用，用于評(píng)估模型是否有效

機(jī)器學(xué)習(xí)一般的數(shù)據(jù)集會(huì)劃分為兩個(gè)部分：

劃分比例：

即對數(shù)據(jù)進(jìn)行缺失值、去除異常值等處理

什么是特征工程

特征工程是使用專業(yè)背景知識(shí)和技巧處理數(shù)據(jù)，使得特征能在機(jī)器學(xué)習(xí)算法上發(fā)揮更好的作用的過程。

為什么需要特征工程

業(yè)界廣泛流傳：數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限，而模型和算法只是逼近這個(gè)上限而已。

特征工程的內(nèi)容

特征提取

特征預(yù)處理

特征降維

概念釋義

特征提?。簩⑷我鈹?shù)據(jù)（如文本或圖像）轉(zhuǎn)換為可用于機(jī)器學(xué)習(xí)的數(shù)字特征

特征預(yù)處理：通過一些轉(zhuǎn)換函數(shù)將特征數(shù)據(jù)轉(zhuǎn)換成更加適合算法模型的特征數(shù)據(jù)過程

特征降維：指在某些限定條件下，降低隨機(jī)變量(特征)個(gè)數(shù)，得到一組“不相關(guān)”主變量的過程

1.5 機(jī)器學(xué)習(xí)算法分類

根據(jù)數(shù)據(jù)集組成不同，可以把機(jī)器學(xué)習(xí)算法分為：監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)

輸入數(shù)據(jù)是由輸入特征值和目標(biāo)值所組成。函數(shù)的輸出可以是一個(gè)連續(xù)的值(稱為回歸），或是輸出是有限個(gè)離散值（稱作分類）。

回歸問題

分類問題

輸入數(shù)據(jù)是由輸入特征值組成，沒有目標(biāo)值。輸入數(shù)據(jù)沒有被標(biāo)記，也沒有確定的結(jié)果。樣本數(shù)據(jù)類別未知；需要根據(jù)樣本間的相似性對樣本集進(jìn)行類別劃分。

訓(xùn)練集同時(shí)包含有標(biāo)記樣本數(shù)據(jù)和未標(biāo)記樣本數(shù)據(jù)。

實(shí)質(zhì)是make decisions 問題，即自動(dòng)進(jìn)行決策，并且可以做連續(xù)決策。

強(qiáng)化學(xué)習(xí)的目標(biāo)就是獲得最多的累計(jì)獎(jiǎng)勵(lì)。

監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的對比

1.6 模型評(píng)估

模型評(píng)估是模型開發(fā)過程不可或缺的一部分。它有助于發(fā)現(xiàn)表達(dá)數(shù)據(jù)的最佳模型和所選模型將來工作的性能如何。

按照數(shù)據(jù)集的目標(biāo)值不同，可以把模型評(píng)估分為分類模型評(píng)估和回歸模型評(píng)估。

分類模型評(píng)估

預(yù)測正確的數(shù)占樣本總數(shù)的比例。

回歸模型評(píng)估

均方根誤差（Root Mean Squared Error，RMSE）

RMSE是一個(gè)衡量回歸模型誤差率的常用公式。 不過，它僅能比較誤差是相同單位的模型。

擬合

模型評(píng)估用于評(píng)價(jià)訓(xùn)練好的的模型的表現(xiàn)效果，其表現(xiàn)效果大致可以分為兩類：過擬合、欠擬合。

在訓(xùn)練過程中，你可能會(huì)遇到如下問題：

當(dāng)算法在某個(gè)數(shù)據(jù)集當(dāng)中出現(xiàn)這種情況，可能就出現(xiàn)了擬合問題。

欠擬合（under-fitting）：模型學(xué)習(xí)的太過粗糙，連訓(xùn)練集中的樣本數(shù)據(jù)特征關(guān)系都沒有學(xué)出來。

過擬合（over-fitting）：所建的機(jī)器學(xué)習(xí)模型或者是深度學(xué)習(xí)模型在訓(xùn)練樣本中表現(xiàn)得過于優(yōu)越，導(dǎo)致在測試數(shù)據(jù)集中表現(xiàn)不佳。

Python 機(jī)器學(xué)習(xí)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。