機器學習（04）——常用專業(yè)術語2

L

L1 損失函數 (L? loss)

一種損失函數，基于模型預測的值與標簽的實際值之差的絕對值。與 L2 損失函數相比，L1 損失函數對離群值的敏感性弱一些。

L1 正則化 (L? regularization)

一種正則化，根據權重的絕對值的總和來懲罰權重。在依賴稀疏特征的模型中，L1 正則化有助于使不相關或幾乎不相關的特征的權重正好為 0，從而將這些特征從模型中移除。與 L2 正則化相對。

L2 損失函數 (L? loss)

請參閱平方損失函數。

L2 正則化 (L? regularization)

一種正則化，根據權重的平方和來懲罰權重。L2 正則化有助于使離群值（具有較大正值或較小負值）權重接近于 0，但又不正好為 0。（與 L1 正則化相對。）在線性模型中，L2 正則化始終可以改進泛化。

標簽 (label)

在監(jiān)督式學習中，標簽指樣本的“答案”或“結果”部分。有標簽數據集中的每個樣本都包含一個或多個特征以及一個標簽。例如，在房屋數據集中，特征可能包括臥室數、衛(wèi)生間數以及房齡，而標簽則可能是房價。在垃圾郵件檢測數據集中，特征可能包括主題行、發(fā)件人以及電子郵件本身，而標簽則可能是“垃圾郵件”或“非垃圾郵件”。

有標簽樣本 (labeled example)

包含特征和標簽的樣本。在監(jiān)督式訓練中，模型從有標簽樣本中學習規(guī)律。

lambda

與正則化率的含義相同。

（多含義術語，我們在此關注的是該術語在正則化中的定義。）

層 (layer)

神經網絡中的一組神經元，負責處理一組輸入特征，或一組神經元的輸出。

此外還指 TensorFlow 中的抽象層。層是 Python 函數，以張量和配置選項作為輸入，然后生成其他張量作為輸出。當必要的張量組合起來后，用戶便可以通過模型函數將結果轉換為 Estimator。

Layers API (tf.layers)

一種 TensorFlow API，用于以層組合的方式構建深度神經網絡。通過 Layers API，您可以構建不同類型的層，例如：

通過 tf.layers.Dense 構建全連接層。

通過 tf.layers.Conv2D 構建卷積層。

在編寫自定義 Estimator 時，您可以編寫“層”對象來定義所有隱藏層的特征。

Layers API 遵循 Keras layers API 規(guī)范。也就是說，除了前綴不同以外，Layers API 中的所有函數均與 Keras layers API 中的對應函數具有相同的名稱和簽名。

學習速率 (learning rate)

在訓練模型時用于梯度下降的一個標量。在每次迭代期間，梯度下降法都會將學習速率與梯度相乘。得出的乘積稱為梯度步長。

學習速率是一個重要的超參數。

最小二乘回歸 (least squares regression)

一種通過最小化 L2 損失訓練出的線性回歸模型。

線性回歸 (linear regression)

一種回歸模型，通過將輸入特征進行線性組合輸出連續(xù)值。

邏輯回歸 (logistic regression)

一種模型，通過將 S 型函數應用于線性預測，生成分類問題中每個可能的離散標簽值的概率。雖然邏輯回歸經常用于二元分類問題，但也可用于多類別分類問題（其叫法變?yōu)槎囝悇e邏輯回歸或多項回歸）。

對數 (logits)

分類模型生成的原始（非標準化）預測向量，通常會傳遞給標準化函數。如果模型要解決多類別分類問題，則對數通常變成 softmax 函數的輸入。之后，softmax 函數會生成一個（標準化）概率向量，對應于每個可能的類別。

此外，對數有時也稱為 S 型函數的元素級反函數。如需了解詳細信息，請參閱 tf.nn.sigmoid_cross_entropy_with_logits。

對數損失函數 (Log Loss)

二元邏輯回歸中使用的損失函數。

對數幾率 (log-odds)

某個事件幾率的對數。

如果事件涉及二元概率，則幾率指的是成功概率 (p) 與失敗概率 (1-p) 之比。例如，假設某個給定事件的成功概率為 90％，失敗概率為 10％。在這種情況下，幾率的計算公式如下：

簡單來說，對數幾率即幾率的對數。按照慣例，“對數”指自然對數，但對數的基數其實可以是任何大于 1 的數。若遵循慣例，上述示例的對數幾率應為：

對數幾率是 S 型函數的反函數。

損失 (Loss)

一種衡量指標，用于衡量模型的預測偏離其標簽的程度。或者更悲觀地說是衡量模型有多差。要確定此值，模型必須定義損失函數。例如，線性回歸模型通常將均方誤差用作損失函數，而邏輯回歸模型則使用對數損失函數。

M

機器學習 (machine learning)

一種程序或系統，用于根據輸入數據構建（訓練）預測模型。這種系統會利用學到的模型根據從分布（訓練該模型時使用的同一分布）中提取的新數據（以前從未見過的數據）進行實用的預測。機器學習還指與這些程序或系統相關的研究領域。

均方誤差 (MSE, Mean Squared Error)

每個樣本的平均平方損失。MSE 的計算方法是平方損失除以樣本數。TensorFlow Playground 顯示的“訓練損失”值和“測試損失”值都是 MSE。

指標 (metric)

您關心的一個數值。可能可以也可能不可以直接在機器學習系統中得到優(yōu)化。您的系統嘗試優(yōu)化的指標稱為目標。

Metrics API (tf.metrics)

一種用于評估模型的 TensorFlow API。例如，tf.metrics.accuracy 用于確定模型的預測與標簽匹配的頻率。在編寫自定義 Estimator 時，您可以調用 Metrics API 函數來指定應如何評估您的模型。

小批次 (mini-batch)

從整批樣本內隨機選擇并在訓練或推斷過程的一次迭代中一起運行的一小部分樣本。小批次的批次大小通常介于 10 到 1000 之間。與基于完整的訓練數據計算損失相比，基于小批次數據計算損失要高效得多。

小批次隨機梯度下降法 (SGD, mini-batch stochastic gradient descent)

一種采用小批次樣本的梯度下降法。也就是說，小批次 SGD 會根據一小部分訓練數據來估算梯度。Vanilla SGD 使用的小批次的大小為 1。

ML

機器學習的縮寫。

模型 (model)

機器學習系統從訓練數據學到的內容的表示形式。多含義術語，可以理解為下列兩種相關含義之一：

一種 TensorFlow 圖，用于表示預測的計算結構。

該 TensorFlow 圖的特定權重和偏差，通過訓練決定。

模型函數 (model function)

Estimator 中的函數，用于實現機器學習訓練、評估和推斷。例如，模型函數的訓練部分可以處理以下任務：定義深度神經網絡的拓撲并確定其優(yōu)化器函數。如果使用預創(chuàng)建的 Estimator，則有人已為您編寫了模型函數。如果使用自定義 Estimator，則必須自行編寫模型函數。

有關編寫模型函數的詳細信息，請參閱創(chuàng)建自定義 Estimator。

模型訓練 (model training)

確定最佳模型的過程。

動量 (Momentum)

一種先進的梯度下降法，其中學習步長不僅取決于當前步長的導數，還取決于之前一步或多步的步長的導數。動量涉及計算梯度隨時間而變化的指數級加權移動平均值，與物理學中的動量類似。動量有時可以防止學習過程被卡在局部最小的情況。

多類別分類 (multi-class classification)

區(qū)分兩種以上類別的分類問題。例如，楓樹大約有 128 種，因此，確定楓樹種類的模型就屬于多類別模型。反之，僅將電子郵件分為兩類（“垃圾郵件”和“非垃圾郵件”）的模型屬于二元分類模型。

多項分類 (multinomial classification)

與多類別分類的含義相同。

N

NaN 陷阱 (NaN trap)

模型中的一個數字在訓練期間變成 NaN，這會導致模型中的很多或所有其他數字最終也會變成 NaN。

NaN 是“非數字”的縮寫。

負類別 (negative class)

在二元分類中，一種類別稱為正類別，另一種類別稱為負類別。正類別是我們要尋找的類別，負類別則是另一種可能性。例如，在醫(yī)學檢查中，負類別可以是“非腫瘤”。在電子郵件分類器中，負類別可以是“非垃圾郵件”。另請參閱正類別。

神經網絡 (neural network)

一種模型，靈感來源于腦部結構，由多個層構成（至少有一個是隱藏層），每個層都包含簡單相連的單元或神經元（具有非線性關系）。

神經元 (neuron)

神經網絡中的節(jié)點，通常會接收多個輸入值并生成一個輸出值。神經元通過將激活函數（非線性轉換）應用于輸入值的加權和來計算輸出值。

節(jié)點 (node)

多含義術語，可以理解為下列兩種含義之一：

隱藏層中的神經元。

TensorFlow 圖中的操作。

標準化 (normalization)

將實際的值區(qū)間轉換為標準的值區(qū)間（通常為 -1 到 +1 或 0 到 1）的過程。例如，假設某個特征的自然區(qū)間是 800 到 6000。通過減法和除法運算，您可以將這些值標準化為位于 -1 到 +1 區(qū)間內。

另請參閱縮放。

數值數據 (numerical data)

用整數或實數表示的特征。例如，在房地產模型中，您可能會用數值數據表示房子大小（以平方英尺或平方米為單位）。如果用數值數據表示特征，則可以表明特征的值相互之間具有數學關系，并且與標簽可能也有數學關系。例如，如果用數值數據表示房子大小，則可以表明面積為 200 平方米的房子是面積為 100 平方米的房子的兩倍。此外，房子面積的平方米數可能與房價存在一定的數學關系。

并非所有整數數據都應表示成數值數據。例如，世界上某些地區(qū)的郵政編碼是整數，但在模型中，不應將整數郵政編碼表示成數值數據。這是因為郵政編碼 20000 在效力上并不是郵政編碼 10000 的兩倍（或一半）。此外，雖然不同的郵政編碼確實與不同的房地產價值有關，但我們也不能假設郵政編碼為 20000 的房地產在價值上是郵政編碼為 10000 的房地產的兩倍。郵政編碼應表示成分類數據。

數值特征有時稱為連續(xù)特征。

Numpy

一個開放源代碼數學庫，在 Python 中提供高效的數組操作。Pandas 建立在 Numpy 之上。

O

目標 (objective)

算法嘗試優(yōu)化的指標。

離線推斷 (offline inference)

生成一組預測，存儲這些預測，然后根據需求檢索這些預測。與在線推斷相對。

獨熱編碼 (one-hot encoding)

一種稀疏向量，其中：

一個元素設為 1。

所有其他元素均設為 0。

獨熱編碼常用于表示擁有有限個可能值的字符串或標識符。例如，假設某個指定的植物學數據集記錄了 15000 個不同的物種，其中每個物種都用獨一無二的字符串標識符來表示。在特征工程過程中，您可能需要將這些字符串標識符編碼為獨熱向量，向量的大小為 15000。

單樣本學習（one-shot learning，通常用于對象分類）

一種機器學習方法，通常用于對象分類，旨在通過單個訓練樣本學習有效的分類器。

另請參閱少量樣本學習。

一對多 (one-vs.-all)

假設某個分類問題有 N 種可能的解決方案，一對多解決方案將包含 N 個單獨的二元分類器 - 一個二元分類器對應一種可能的結果。例如，假設某個模型用于區(qū)分樣本屬于動物、蔬菜還是礦物，一對多解決方案將提供下列三個單獨的二元分類器：

動物和非動物

蔬菜和非蔬菜

礦物和非礦物

在線推斷 (online inference)

根據需求生成預測。與離線推斷相對。

操作 (op, Operation)

TensorFlow 圖中的節(jié)點。在 TensorFlow 中，任何創(chuàng)建、操縱或銷毀張量的過程都屬于操作。例如，矩陣相乘就是一種操作，該操作以兩個張量作為輸入，并生成一個張量作為輸出。

優(yōu)化器 (optimizer)

梯度下降法的一種具體實現。TensorFlow 的優(yōu)化器基類是 tf.train.Optimizer。不同的優(yōu)化器可能會利用以下一個或多個概念來增強梯度下降法在指定訓練集中的效果：

動量 (Momentum)

更新頻率（AdaGrad = ADAptive GRADient descent；Adam = ADAptive with Momentum；RMSProp）

稀疏性/正則化 (Ftrl)

更復雜的數學方法（Proximal，等等）

甚至還包括 NN 驅動的優(yōu)化器。

離群值 (outlier)

與大多數其他值差別很大的值。在機器學習中，下列所有值都是離群值。

絕對值很高的權重。

與實際值相差很大的預測值。

值比平均值高大約 3 個標準偏差的輸入數據。

離群值常常會導致模型訓練出現問題。

輸出層 (output layer)

神經網絡的“最后”一層，也是包含答案的層。

過擬合 (overfitting)

創(chuàng)建的模型與訓練數據過于匹配，以致于模型無法根據新數據做出正確的預測。

P

Pandas

面向列的數據分析 API。很多機器學習框架（包括 TensorFlow）都支持將 Pandas 數據結構作為輸入。請參閱 Pandas 文檔。

參數 (parameter)

機器學習系統自行訓練的模型的變量。例如，權重就是一種參數，它們的值是機器學習系統通過連續(xù)的訓練迭代逐漸學習到的。與超參數相對。

參數服務器 (PS, Parameter Server)

一種作業(yè)，負責在分布式設置中跟蹤模型參數。

參數更新 (parameter update)

在訓練期間（通常是在梯度下降法的單次迭代中）調整模型參數的操作。

偏導數 (partial derivative)

一種導數，除一個變量之外的所有變量都被視為常量。例如，f(x, y) 對 x 的偏導數就是 f(x) 的導數（即，使 y 保持恒定）。f 對 x 的偏導數僅關注 x 如何變化，而忽略公式中的所有其他變量。

劃分策略 (partitioning strategy)

在參數服務器間分割變量的算法。

性能 (performance)

多含義術語，具有以下含義：

在軟件工程中的傳統含義。即：相應軟件的運行速度有多快（或有多高效）？

在機器學習中的含義。在機器學習領域，性能旨在回答以下問題：相應模型的準確度有多高？即模型在預測方面的表現有多好？

困惑度 (perplexity)

一種衡量指標，用于衡量模型能夠多好地完成任務。例如，假設任務是讀取用戶使用智能手機鍵盤輸入字詞時輸入的前幾個字母，然后列出一組可能的完整字詞。此任務的困惑度 (P) 是：為了使列出的字詞中包含用戶嘗試輸入的實際字詞，您需要提供的猜測項的個數。

困惑度與交叉熵的關系如下：

流水線 (pipeline)

機器學習算法的基礎架構。流水線包括收集數據、將數據放入訓練數據文件、訓練一個或多個模型，以及將模型導出到生產環(huán)境。

池化 (pooling)

將一個或多個由前趨的卷積層創(chuàng)建的矩陣壓縮為較小的矩陣。池化通常是取整個池化區(qū)域的最大值或平均值。以下面的 3x3 矩陣為例：

池化運算與卷積運算類似：將矩陣分割為多個切片，然后按步長逐個運行卷積運算。例如，假設池化運算按 1x1 步長將卷積矩陣分割為 2x2 個切片。如下圖所示，進行了四個池化運算。假設每個池化運算都選擇該切片中四個值的最大值：

池化有助于在輸入矩陣中實現平移不變性。

對于視覺應用來說，池化的更正式名稱為空間池化。時間序列應用通常將池化稱為時序池化。按照不太正式的說法，池化通常稱為下采樣或降采樣。

正類別 (positive class)

在二元分類中，兩種可能的類別分別被標記為正類別和負類別。正類別結果是我們要測試的對象。（不可否認的是，我們會同時測試這兩種結果，但只關注正類別結果。）例如，在醫(yī)學檢查中，正類別可以是“腫瘤”。在電子郵件分類器中，正類別可以是“垃圾郵件”。

與負類別相對。

精確率 (precision)

一種分類模型指標。精確率指模型正確預測正類別的頻率，即：

預測 (prediction)

模型在收到輸入樣本后的輸出。

預測偏差 (prediction bias)

一種值，用于表明預測平均值與數據集中標簽的平均值相差有多大。

預創(chuàng)建的 Estimator (pre-made Estimator)

其他人已建好的 Estimator。TensorFlow 提供了一些預創(chuàng)建的 Estimator，包括 DNNClassifier、DNNRegressor 和 LinearClassifier。您可以按照這些說明構建自己預創(chuàng)建的 Estimator。

預訓練模型 (pre-trained model)

已經過訓練的模型或模型組件（例如嵌套）。有時，您需要將預訓練的嵌套饋送到神經網絡。在其他時候，您的模型將自行訓練嵌套，而不依賴于預訓練的嵌套。

先驗信念 (prior belief)

在開始采用相應數據進行訓練之前，您對這些數據抱有的信念。例如，L2 正則化依賴的先驗信念是權重應該很小且應以 0 為中心呈正態(tài)分布。

Q

隊列 (queue)

一種 TensorFlow 操作，用于實現隊列數據結構。通常用于 I/O 中。

R

等級 (rank)

機器學習中的一個多含義術語，可以理解為下列含義之一：

張量中的維數。例如，標量等級為 0，向量等級為 1，矩陣等級為 2。

在將類別從最高到最低進行排序的機器學習問題中，類別的順序位置。例如，行為排序系統可以將狗狗的獎勵從最高（牛排）到最低（枯萎的羽衣甘藍）進行排序。

評分者 (rater)

為樣本提供標簽的人。有時稱為“注釋者”。

召回率 (recall)

一種分類模型指標，用于回答以下問題：在所有可能的正類別標簽中，模型正確地識別出了多少個？即：

修正線性單元 (ReLU, Rectified Linear Unit)

一種激活函數，其規(guī)則如下：

如果輸入為負數或 0，則輸出 0。

如果輸入為正數，則輸出等于輸入。

回歸模型 (regression model)

一種模型，能夠輸出連續(xù)的值（通常為浮點值）。請與分類模型進行比較，分類模型會輸出離散值，例如“黃花菜”或“虎皮百合”。

正則化 (regularization)

對模型復雜度的懲罰。正則化有助于防止出現過擬合，包含以下類型：

L1 正則化

L2 正則化

丟棄正則化

早停法（這不是正式的正則化方法，但可以有效限制過擬合）

正則化率 (regularization rate)

一種標量值，以 lambda 表示，用于指定正則化函數的相對重要性。從下面簡化的損失公式中可以看出正則化率的影響：

提高正則化率可以減少過擬合，但可能會使模型的準確率降低。

表示法 (representation)

將數據映射到實用特征的過程。

受試者工作特征曲線（receiver operating characteristic，簡稱 ROC 曲線）

不同分類閾值下的正例率和假正例率構成的曲線。另請參閱曲線下面積。

根目錄 (root directory)

您指定的目錄，用于托管多個模型的 TensorFlow 檢查點和事件文件的子目錄。

均方根誤差 (RMSE, Root Mean Squared Error)

均方誤差的平方根。

旋轉不變性 (rotational invariance)

在圖像分類問題中，即使圖像的方向發(fā)生變化，算法也能成功地對圖像進行分類。例如，無論網球拍朝上、側向還是朝下放置，該算法仍然可以識別它。請注意，并非總是希望旋轉不變；例如，倒置的“9”不應分類為“9”。

另請參閱平移不變性和大小不變性。

S

SavedModel

保存和恢復 TensorFlow 模型時建議使用的格式。SavedModel 是一種獨立于語言且可恢復的序列化格式，使較高級別的系統和工具可以創(chuàng)建、使用和轉換 TensorFlow 模型。

如需完整的詳細信息，請參閱《TensorFlow 編程人員指南》中的保存和恢復。

Saver

一種 TensorFlow 對象，負責保存模型檢查點。

縮放 (scaling)

特征工程中的一種常用做法，是指對某個特征的值區(qū)間進行調整，使之與數據集中其他特征的值區(qū)間一致。例如，假設您希望數據集中所有浮點特征的值都位于 0 到 1 區(qū)間內，如果某個特征的值位于 0 到 500 區(qū)間內，您就可以通過將每個值除以 500 來縮放該特征。

另請參閱標準化。

scikit-learn

一個熱門的開放源代碼機器學習平臺。請訪問 www.scikit-learn.org。

半監(jiān)督式學習 (semi-supervised learning)

訓練模型時采用的數據中，某些訓練樣本有標簽，而其他樣本則沒有標簽。半監(jiān)督式學習采用的一種技術是推斷無標簽樣本的標簽，然后使用推斷出的標簽進行訓練，以創(chuàng)建新模型。如果獲得有標簽樣本需要高昂的成本，而無標簽樣本則有很多，那么半監(jiān)督式學習將非常有用。

序列模型 (sequence model)

一種模型，其輸入具有序列依賴性。例如，根據之前觀看過的一系列視頻對觀看的下一個視頻進行預測。

會話 (tf.session)

封裝了 TensorFlow 運行時狀態(tài)的對象，用于運行全部或部分圖。在使用底層 TensorFlow API 時，您可以直接創(chuàng)建并管理一個或多個 tf.session 對象。在使用 Estimator API 時，Estimator 會為您創(chuàng)建會話對象。

S 型函數 (sigmoid function)

一種函數，可將邏輯回歸輸出或多項回歸輸出（對數幾率）映射到概率，以返回介于 0 到 1 之間的值。S 型函數的公式如下：

在邏輯回歸問題中， 非常簡單：

換句話說，S 型函數可將 轉換為介于 0 到 1 之間的概率。

在某些神經網絡中，S 型函數可作為激活函數使用。

大小不變性 (size invariance)

在圖像分類問題中，即使圖像的大小發(fā)生變化，算法也能成功地對圖像進行分類。例如，無論一只貓以 200 萬像素還是 20 萬像素呈現，該算法仍然可以識別它。請注意，即使是最好的圖像分類算法，在大小不變性方面仍然會存在切實的限制。例如，對于僅以 20 像素呈現的貓圖像，算法（或人）不可能正確對其進行分類。

另請參閱平移不變性和旋轉不變性。

softmax

一種函數，可提供多類別分類模型中每個可能類別的概率。這些概率的總和正好為 1.0。例如，softmax 可能會得出某個圖像是狗、貓和馬的概率分別是 0.9、0.08 和 0.02。（也稱為完整 softmax。）

與候選采樣相對。

稀疏特征 (sparse feature)

一種特征向量，其中的大多數值都為 0 或為空。例如，某個向量包含一個為 1 的值和一百萬個為 0 的值，則該向量就屬于稀疏向量。再舉一個例子，搜索查詢中的單詞也可能屬于稀疏特征 - 在某種指定語言中有很多可能的單詞，但在某個指定的查詢中僅包含其中幾個。

與密集特征相對。

稀疏表示法 (sparse representation)

一種張量表示法，僅存儲非零元素。

例如，英語中包含約一百萬個單詞。表示一個英語句子中所用單詞的數量，考慮以下兩種方式：

要采用密集表示法來表示此句子，則必須為所有一百萬個單元格設置一個整數，然后在大部分單元格中放入 0，在少數單元格中放入一個非常小的整數。

要采用稀疏表示法來表示此句子，則僅存儲象征句子中實際存在的單詞的單元格。因此，如果句子只包含 20 個獨一無二的單詞，那么該句子的稀疏表示法將僅在 20 個單元格中存儲一個整數。

例如，假設以兩種方式來表示句子“Dogs wag tails.”。如下表所示，密集表示法將使用約一百萬個單元格；稀疏表示法則只使用 3 個單元格：

稀疏性 (sparsity)

向量或矩陣中設置為 0（或空）的元素數除以該向量或矩陣中的條目總數。以一個 10x10 矩陣（其中 98 個單元格都包含 0）為例。稀疏性的計算方法如下：

特征稀疏性是指特征向量的稀疏性；模型稀疏性是指模型權重的稀疏性。

空間池化 (spatial pooling)

請參閱池化。

平方合頁損失函數 (squared hinge loss)

合頁損失函數的平方。與常規(guī)合頁損失函數相比，平方合頁損失函數對離群值的懲罰更嚴厲。

平方損失函數 (squared loss)

在線性回歸中使用的損失函數（也稱為 L2 損失函數）。該函數可計算模型為有標簽樣本預測的值和標簽的實際值之差的平方。由于取平方值，因此該損失函數會放大不佳預測的影響。也就是說，與 L1 損失函數相比，平方損失函數對離群值的反應更強烈。

靜態(tài)模型 (static model)

離線訓練的一種模型。

平穩(wěn)性 (stationarity)

數據集中數據的一種屬性，表示數據分布在一個或多個維度保持不變。這種維度最常見的是時間，即表明平穩(wěn)性的數據不隨時間而變化。例如，從 9 月到 12 月，表明平穩(wěn)性的數據沒有發(fā)生變化。

步 (step)

對一個批次的向前和向后評估。

步長 (step size)

與學習速率的含義相同。

隨機梯度下降法 (SGD, stochastic gradient descent)

批次大小為 1 的一種梯度下降法。換句話說，SGD 依賴于從數據集中隨機均勻選擇的單個樣本來計算每步的梯度估算值。

結構風險最小化 (SRM, structural risk minimization)

一種算法，用于平衡以下兩個目標：

期望構建最具預測性的模型（例如損失最低）。

期望使模型盡可能簡單（例如強大的正則化）。

例如，旨在將基于訓練集的損失和正則化降至最低的函數就是一種結構風險最小化算法。

如需更多信息，請參閱?http://www.svms.org/srm/。

與經驗風險最小化相對。

步長 (stride)

在卷積運算或池化中，下一個系列的輸入切片的每個維度中的增量。例如，下面的動畫演示了卷積運算過程中的一個 (1,1) 步長。因此，下一個輸入切片是從上一個輸入切片向右移動一個步長的位置開始。當運算到達右側邊緣時，下一個切片將回到最左邊，但是下移一個位置。

前面的示例演示了一個二維步長。如果輸入矩陣為三維，那么步長也將是三維。

下采樣 (subsampling)

請參閱池化。

總結 (summary)

在 TensorFlow 中的某一步計算出的一個值或一組值，通常用于在訓練期間跟蹤模型指標。

監(jiān)督式機器學習 (supervised machine learning)

根據輸入數據及其對應的標簽來訓練模型。監(jiān)督式機器學習類似于學生通過研究一系列問題及其對應的答案來學習某個主題。在掌握了問題和答案之間的對應關系后，學生便可以回答關于同一主題的新問題（以前從未見過的問題）。請與非監(jiān)督式機器學習進行比較。

合成特征 (synthetic feature)

一種特征，不在輸入特征之列，而是從一個或多個輸入特征衍生而來。合成特征包括以下類型：

對連續(xù)特征進行分桶，以分為多個區(qū)間分箱。

將一個特征值與其他特征值或其本身相乘（或相除）。

創(chuàng)建一個特征組合。

僅通過標準化或縮放創(chuàng)建的特征不屬于合成特征。

T

目標 (target)

與標簽的含義相同。

時態(tài)數據 (temporal data)

在不同時間點記錄的數據。例如，記錄的一年中每一天的冬外套銷量就屬于時態(tài)數據。

張量 (Tensor)

TensorFlow 程序中的主要數據結構。張量是 N 維（其中 N 可能非常大）數據結構，最常見的是標量、向量或矩陣。張量的元素可以包含整數值、浮點值或字符串值。

張量處理單元 (TPU, Tensor Processing Unit)

一種 ASIC（應用專用集成電路），用于優(yōu)化 TensorFlow 程序的性能。

張量等級 (Tensor rank)

請參閱等級。

張量形狀 (Tensor shape)

張量在各種維度中包含的元素數。例如，張量 [5, 10] 在一個維度中的形狀為 5，在另一個維度中的形狀為 10。

張量大小 (Tensor size)

張量包含的標量總數。例如，張量 [5, 10] 的大小為 50。

TensorBoard

一個***，用于顯示在執(zhí)行一個或多個 TensorFlow 程序期間保存的摘要信息。

TensorFlow

一個大型的分布式機器學習平臺。該術語還指 TensorFlow 堆棧中的基本 API 層，該層支持對數據流圖進行一般計算。

雖然 TensorFlow 主要應用于機器學習領域，但也可用于需要使用數據流圖進行數值計算的非機器學習任務。

TensorFlow Playground

一款用于直觀呈現不同的超參數對模型（主要是神經網絡）訓練的影響的程序。要試用 TensorFlow Playground，請前往?http://playground.tensorflow.org。

TensorFlow Serving

一個平臺，用于將訓練過的模型部署到生產環(huán)境。

測試集 (test set)

數據集的子集，用于在模型經由驗證集的初步驗證之后測試模型。

與訓練集和驗證集相對。

tf.Example

一種標準協議緩沖區(qū)，旨在描述用于機器學習模型訓練或推斷的輸入數據。

時間序列分析 (time series analysis)

機器學習和統計學的一個子領域，旨在分析時態(tài)數據。很多類型的機器學習問題都需要時間序列分析，其中包括分類、聚類、預測和異常檢測。例如，您可以利用時間序列分析根據歷史銷量數據預測未來每月的冬外套銷量。

訓練 (training)

確定構成模型的理想參數的過程。

訓練集 (training set)

數據集的子集，用于訓練模型。

與驗證集和測試集相對。

遷移學習 (transfer learning)

將信息從一個機器學習任務遷移到另一個機器學習任務。例如，在多任務學習中，一個模型可以完成多項任務，例如針對不同任務具有不同輸出節(jié)點的深度模型。遷移學習可能涉及將知識從較簡單任務的解決方案遷移到較復雜的任務，或者將知識從數據較多的任務遷移到數據較少的任務。

大多數機器學習系統都只能完成一項任務。遷移學習是邁向人工智能的一小步；在人工智能中，單個程序可以完成多項任務。

平移不變性 (translational invariance)

在圖像分類問題中，即使圖像中對象的位置發(fā)生變化，算法也能成功對圖像進行分類。例如，無論一只狗位于畫面正中央還是畫面左側，該算法仍然可以識別它。

另請參閱大小不變性和旋轉不變性。

負例 (TN, true negative)

被模型正確地預測為負類別的樣本。例如，模型推斷出某封電子郵件不是垃圾郵件，而該電子郵件確實不是垃圾郵件。

正例 (TP, true positive)

被模型正確地預測為正類別的樣本。例如，模型推斷出某封電子郵件是垃圾郵件，而該電子郵件確實是垃圾郵件。

正例率（true positive rate, 簡稱 TP 率）

與召回率的含義相同，即：

正例率是 ROC 曲線的 y 軸。

U

無標簽樣本 (unlabeled example)

包含特征但沒有標簽的樣本。無標簽樣本是用于進行推斷的輸入內容。在半監(jiān)督式和非監(jiān)督式學習中，在訓練期間會使用無標簽樣本。

非監(jiān)督式機器學習 (unsupervised machine learning)

訓練模型，以找出數據集（通常是無標簽數據集）中的規(guī)律。

非監(jiān)督式機器學習最常見的用途是將數據分為不同的聚類，使相似的樣本位于同一組中。例如，非監(jiān)督式機器學習算法可以根據音樂的各種屬性將歌曲分為不同的聚類。所得聚類可以作為其他機器學習算法（例如音樂推薦服務）的輸入。在很難獲取真標簽的領域，聚類可能會非常有用。例如，在反濫用和反欺詐等領域，聚類有助于人們更好地了解相關數據。

非監(jiān)督式機器學習的另一個例子是主成分分析 (PCA)。例如，通過對包含數百萬購物車中物品的數據集進行主成分分析，可能會發(fā)現有檸檬的購物車中往往也有抗酸藥。

請與監(jiān)督式機器學習進行比較。

V

驗證集 (validation set)

數據集的一個子集，從訓練集分離而來，用于調整超參數。

與訓練集和測試集相對。

W

權重 (weight)

線性模型中特征的系數，或深度網絡中的邊。訓練線性模型的目標是確定每個特征的理想權重。如果權重為 0，則相應的特征對模型來說沒有任何貢獻。

寬度模型 (wide model)

一種線性模型，通常有很多稀疏輸入特征。我們之所以稱之為“寬度模型”，是因為這是一種特殊類型的神經網絡，其大量輸入均直接與輸出節(jié)點相連。與深度模型相比，寬度模型通常更易于調試和檢查。雖然寬度模型無法通過隱藏層來表示非線性關系，但可以利用特征組合、分桶等轉換以不同的方式為非線性關系建模。

與深度模型相對。

機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。