【鯤鵬 DevKit黑科技揭秘】│如何實現全鏈路系統問題90%精準診斷？

你的電腦是不是很久沒關機了？晚上下班不再關閉所有應用，合上筆記本就離開，第二天輸入密碼繼續干活，不必再逐一查找處理了一半的文檔和網頁，長此以往，你是不是發現電腦越來越慢，閃退、反應遲鈍，甚至忽然卡住、藍屏？

其中很重要的因素，是因為長期頻繁的讀取新文件而不釋放，會導致內存中緩存數據越來越多，當內存使用飽和之后，系統會將內存中的數據交換到硬盤中，此時如果要使用到這部分已經交換到硬盤上的數據，那么系統首先要把內存中最久遠、沒有使用的數據再做一次到硬盤的交換，騰出空間之后，才能把硬盤中需要使用的數據加載到內存，如此復雜的流程，運行速度當然會變慢。

上述問題在服務器中同樣存在，內存作為計算機/服務器的重要部件，幫助CPU通過總線尋址實現對其他部件的讀寫操作，內存故障常常導致系統整體性能下降、運行故障、甚至宕機。比如程序在申請內存后，如果不及時釋放已申請的內存空間，頻繁累積就會形成內存泄露，導致內存被占光，觸發OOM（Out of Memory）。內存越界會帶來數據讀寫錯誤的風險，如果讀取了不屬于自己的數據會造成程序崩潰，將數據寫入其他程序則會造成不可預料的后果。除了內存問題，開發人員還會經常面臨網絡IO故障和存儲問題，比如系統配置錯誤，會導致網絡不通；系統處理數據包不及時，會導致丟包；另外，由于存儲IO協議棧很長（涉及文件系統、塊、設備等多層次的讀寫和映射），遇到慢盤等問題時很難定位具體是哪一層造成的訪問變慢。

面對上述問題，我們應該如何定位和修復呢？當前業界有各種診斷工具，針對不同問題進行診斷，然而這些工具通常操作比較復雜、學習成本高、定位時間長，找到問題點之后，也無法針對具體問題給出建議快速排除故障。開發者亟需一款操作簡便、定位精準的系統診斷工具來解決開發過程中經常遇到的“老大難”問題。

DevKit系統診斷工具是鯤鵬性能分析工具的子工具之一，能夠針對內存、網絡、存儲等常見故障和異常，提供精準定位和診斷能力，幫助用戶識別出源代碼中的問題點，提升程序的可靠性，故障定位準確率高達90%。

Figure 1 功能全景圖

內存診斷——快速識別內存泄漏和訪問越界點

通過內存診斷能力，幫助用戶識別應用程序中存在的內存使用的問題點，提升程序的可靠性，具體包括：內存泄漏診斷、內存越界診斷。

Figure 2 內存泄漏點及其調用關系

支持分析應用程序中存在的內存泄漏點，包括：內存未釋放、內存異常釋放等，得到具體的泄漏信息，并以調用樹的形式展示出來。

Figure 3 泄漏點源代碼

支持關聯到內存泄漏點的源代碼，精確定位到泄漏點所在的代碼行。

Figure 4 內存消耗信息

支持跟蹤應用程序運行期間系統層、應用層（調用內存申請函數）、分配器層的內存消耗情況，支持展示整個過程的匯總數據和時序數據。用戶通過該信息可以了解應用程序在整個運行期間的內存變化情況，幫助定位未發現泄漏點但內存一直增加的問題。

Figure 5 OOM事件信息

監測系統OOM事件，分析發生OOM時的進程內存狀態、系統內存狀態和調用棧信息。

Figure 6 內存訪問越界信息

支持分析應用程序中存在的內存越界訪問點，給出越界訪問類型和內存訪問信息，并支持關聯出調用棧和源碼。

網絡IO診斷——識別網絡最大能力、診斷丟包點

壓測網絡，獲得網絡最大能力，為網絡IO性能優化提供基礎參考數據；診斷網絡，定位網絡疑難問題，解決因網絡配置和異常而導致的網絡IO性能問題。具體包括：網絡撥測、丟包診斷、網絡抓包、系統負載監控。

Figure 7 連通性撥測結果

連通性撥測，基于ICMP協議測試網絡連通性和時延，并根據網絡KPI服務等級評估網絡質量。針對網絡不通的情況，給出排查建議。

Figure 8 TCP/UDP撥測結果

TCP/UCD撥測，基于TCP協議測試網絡帶寬和重傳，基于UDP協議測試網絡丟包和抖動，并根據網絡KPI服務等級評估網絡質量。針對測試失敗的情況，給出排查建議。

Figure 9 丟包信息及其排查建議

診斷網絡丟包點，定位網絡丟包根因，給出修復建議。

Figure 10 網絡抓包結果

支持網絡抓包，輔助網絡撥測和丟包診斷，根據抓取的網絡消息包定位網絡異常根因。

支持在診斷期間監控系統負載，包括：CPU、內存、網絡IO、軟硬件中斷等，以此了解在網絡撥測或發生網絡丟包時，是否存在系統資源不足。

存儲IO診斷——識別存儲最大能力

由于存儲設備在不同的業務場景下性能表現差異很大，例如：OLTP數據庫每次IO是小塊隨機的，而OLAP數據庫每次IO是大塊順序的，在相同的存儲配置下，能夠達到最大性能是相差很大的；如何識別，在不同業務場景下，存儲IO能夠達到的最大性能？

針對這個問題，DevKit系統診斷工具在2021年底將推出存儲IO診斷功能，該功能能夠按照一定業務的存儲測試模型壓測存儲設備或文件，獲取反映存儲IO性能的吞吐量、IOPS、時延等指標，得到存儲設備的最大能力，并以此評估存儲能力，為存儲IO性能優化提供基礎參考數據。

Figure 11 存儲IO壓測結果

鯤鵬開發套件DevKit是面向開發者研發全作業流程的一站式開發套件，從2019年推出至今，提供了覆蓋代碼開發、遷移、編譯、測試、調優、診斷等研發全作業流程的工具集，助力開發者極簡開發。為了便于廣大開發者們更加真實的體驗、使用上述功能，DevKit還提供遠程實驗室，一站式預裝DevKit開發環境，申請即可免費試用。

掃描免費申請試用

此外，想要了解更多關于DevKit的強大的功能，歡迎各位開發者訪問DevKit專區。

上DevKit專區，了解更多

上云必讀 鯤鵬 網絡

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。