微認證之NAIE AutoML 在硬盤故障檢測上的應用

NAIE AutoML 在硬盤故障檢測上的應用

NAIE平臺AutoML框架具備強大的超參優化引擎、集成學習、可擴展、可復現等關鍵特性，將大大降低機器學習的門檻，顯著提高模型開發的效率。

AutoML背景

傳統建模主要痛點:

門檻高,不穩定 :AI模型構建需要數據科學家的重度參與,建模的效率和模型的效果嚴重依賴建模專家的能力和經驗

周期長,成本高:建模周期長、模型維護成本高

專業人才短缺：AI需要大量AI/ML專業人才.

缺少調參方法:AI/ML模型選擇和調參,尤其是深度學習,完全依靠人力和經驗技巧,費時費力,缺少有效的方法

AutoML:自動化,降門檻:構建自動機器學習框架(標準化專家最佳實踐,自動化建模過程),提升建模效率,穩定模型質量

可復制,提高效率:提高算法的可復制性,提高模型的推廣效率

AutoML技術介紹:方法分類

AutoML:

機器學習:特征工程,模型選擇和超參優化

深度學習:神經網絡結構自動搜索和超參優化

本次課程主要講解機器學習的AutoML

AutoML技術介紹:自動特征工程:

數據和特征決定了機器學習的上限,而模型和算法只是逼近這個上限而已

1.特征編碼:類別特征編碼:onehotEncoder,OrdinalEncoder等

離散化:K-bins離散化,特征二值化等

2.特征升維:多項式變化,指數變換,Box-Cox,分位數變換

a,單特征? b,特征之間

3.特征降維:

特征選擇:試圖從原始特征搜索特征的子集,常用有過過濾法,包裝法,基于模型的方法等

特征投影:將原始特征轉換為新的空間,例如PCA,LDA以及AutoEncoder

AutoML技術介紹:模型選擇

配置算法和配置超參

超參優化算法

特性介紹-強大的超參優化引擎

強大的超參優化引擎:

支持pipeline的超參優化

支持由數據預處理,特征工程和模型所構成pipeline的超參優化,同時也支持針對模型的超參優化

支持分布式并行加速

支持超參的持續學習

100+50=150

100+50:第一次運行迭代100次,基于第一次任務再增量迭代50次

150:最終得到的結果與單次運行迭代150次的結果保持一致

集成學習:

單一算法:No Free Lunch

集成學習:三個臭皮匠頂個諸葛亮

AutoL特性介紹可擴展

可擴展

1.自定義算法模型

內置通用的幾種算法解決不了所有業務問題

業務通常由幾個算法組合而成

2.自定義評估指標

優化目標要與業務目標保持—致

業務目標通常與常用的評估指標不一致

如設備故障檢測場景中,業務指標是滿足誤報率( False alarm rate)<=0.1%情況下,查全率( Fault detection rate)要盡量高。

3.自定義交叉驗證

在某些業務中,需要對驗證的毎一折進行操作

場景應用:分類應用,回歸應用和時序分類應用(重點)

硬盤故障檢測業務介紹(1)

1.業務問題

數據中心硬件故障中有48%為硬盤故障,且在故障發生后才感知,極大影響運維效率和成本

缺乏有效預測手段,無法提前有計劃進行硬件遷移,硬盤長期處于亞健康狀態影響業務性能;

2.傳統方案

當硬盤出現故障后,加入新的硬盤,然后將數據進行恢復。

硬盤損壞->OSD變化-> CRUSH重新計算-> rebalance->/O增加->影響現網業務

傳統的方案存在以下缺點:

1.被動響應:無法提前規劃故障處理窗口,無法避免影響現網業務

2.數據修復:故障后進行訚雕度數據修復,需要投入大量人力、物力進行數據的恢復

3.無法預測:無法提前規避故障鄰近時的設備不穩定狀態對業務造成的影響

硬盤故障檢測業務介紹(2)

■AI解決方案

基于硬盤 SMART特征,通過機器茡習實現硬盤故障提前預測故障時間點,估算欻據修復窗口,梖據負載制定修復計劃,提前進行修復操作

優點:

1.主動響應,提前規劃故障處理窗口,將現網業務的影響降到最小

2.減少大量數據恢復的人力

3.主動規劃,預測故障時間點,估算數據提前規劃故障的處理窗口,將運維人員被動響應、臨時突發的工作狀態,轉變為主動規劃、統一處理的節奏,提高運維人員的工作生活質量

■評估指標

硬盤Case的業務目標為:FAR<=0.1%,FDR越大越好

FDR= False detection rate,査全率,即一塊硬盤實際為壞盤,而模型預測為壞盤的概率

FAR= Fault alarm rate,誤報率,即一塊硬盤實際為好盤,而模型預測為壞盤的概率

硬盤故障檢測:傳統建模

step1:數據預處理

缺失分析:缺失與標簽列的相關性

如何處理:填充/缺失特征生成/....

step2:特征工程

時序特征提取:提取時序的統計特征

特征選擇:篩選出重要的特征

step3:模型訓練和評估

模型選擇:根據經驗選擇模型

超參選擇:根據數據量和特征數選擇超參

模型評估:根據業務目標評估模型效果

機器學習 網絡智能體

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。