第二期——大廠面試必備 PB級數據倉庫性能調優分享

低調奢華有內涵，有木有。

很有哦。

這次直播，老師結合具體的應用場景，交流分享比較通用的調優方法、性能定位和個人經驗，而且還有示例的實際操作演示，理論 + 實踐，學習完就實戰，有利于更好學習掌握，很不錯哦。

PS：聽完這節課，可能會升職加薪哦，小姐姐很幽默呀。

直播圍繞如下四個部分展開：

GaussDB分布式架構；

調優原則與流程；

伴隨場景介紹；

調優實踐。

1.?GaussDB分布式架構

老師從軟件架構娓娓道來，給新來的朋友們做個簡單介紹。

從時代背景著墨，如今，每個人都是身處大數據時代，動輒PB級的海量數據，單機的性能無法承擔起如此龐大的數據沖擊和帶來的巨大的計算量，所以分布式的架構應運而生。而多快好省而是最終的最求目標。

然而隨著數據量的增大，集群的增加，性能成為了一個不得不考慮的問題，所以一般大型企業都需要專門人才負責性能調優，熟悉懂得這門技術，可是會升職加薪哦。其實，如今隨著架構的改進和先進制程的升級（5nm都已經量產了，大家正在使用的手機處理器的CPU 極有可能就是基于5nm工藝制造的哦）。

近年來，硬件性能的提升主要是制程優勢，硬件的性能已經很強大了，很多時候，我們覺得性能不行，是因為使用的系統或軟件未能發揮出硬件的性能，如同千里馬未能遇到伯樂，因此，如何調試優化，進行改進，以盡量少的硬件資源獲得更佳的性能，以獲得更加性能就顯得很關鍵了。

分布式架構也有分布式查詢，而分布式查詢處理是MPPDB中最核心的技術，其真正的關鍵在于盡量降低查詢中節點之間的數據流動，以提升查詢效率，因為數據傳輸帶來的IO開銷基本上在任何硬件和系統上都是非常耗時的一項操作。其大體運行方式為：

具體流程為：

（1）Coordinator上接收到用戶的查詢請求后，Coordinator負責查詢請求的解析、優化以及向DataNode進行任務下發。

（2）DataNode上。接收到Coordinator下發的任務后，DataNode基于本節點存儲的數據，以及其他DN節點分發的流數據執行任務。

（3）任務流程是不斷從任務樹的葉節點向上迭代執行完成整個查詢任務。這個任務樹中的葉節點就是數據的掃描任務，而中間的節點就是各種數據庫運算任務，如Hash計算，Join操作，聚集操作和排序操作等。每個節點都是接收下級任務的數據輸入，并向上級任務輸出數據。這個是一個生產者—消費者的工作模型。

（4）在非阻塞式的任務流程中，上下級任務間是采用流水線的方式來提高執行性能，即上級任務不需要等待下級任務生成完整個處理結果集才啟動，下級任務生成一條結果記錄就可以傳遞給上級任務處理。

（5）阻塞式任務（如排序），上級任務仍然需要等待下級任務完成所有數據處理工作。

老師講解的比較通透詳細，使得大家對大體流程能夠基本了解，算是打開了一個通往新世界的大門吧。

2. 調優原則與流程

調試優化基本上是所有開發者的常見工作了，無論你是專攻算法研究，還是做硬件部署，都不可避免地會遇到這個問題。我覺得最好的優化就是通過軟件或算法對所使用的的硬件的性能進行“壓榨”，最大程度發揮硬件性能，這既簡單，有復雜。說它簡單，是因為目標明確，而且好理解，干就對了；說它復雜，因為這是需要對硬件和軟件都比較熟悉，而且需要不斷試錯，是一個需要時間付出和經驗積累的。

數據庫優化的基本準則是——“資源利用最大化”。

通過老師的講解，我們知道這里的資源主要是指CPU、內存、磁盤IO、網絡IO這四種資源，而所有的調優手段都是圍繞資源使用開展的。同時，老師也強調了“資源利用最大化”的兩層含義：

（1）SQL語句盡量高效

四兩撥千斤——最小的代價實現執行目標。說到這里，有具體的示例講解哦，比如點查詢場景可以用順序掃描(即讀取每一條元組和點查詢條件進行匹配)實現，也? ? ? 可以通過索引掃描實現，顯然索引掃描代價更小

（2）SQL語句充分利用資源

充分利用所擁有的的各種資源，實現性能的極致。舉例來說，比如在數據排序的時候，在內存可控的范圍內保證數據不下盤，讓數據在內存中排序，從而提升排序? ? ?效率，保證性能的最大收益。

總之，就是發揮硬件性能，帶來最優體驗。

而接下來介紹的就是調優流程了。

調優的基本流程分為靜態調優和執行態調優，二者關系如圖所示：

其中，靜態調優為客戶的業務設計，根據業務特征確定集群部署方案、表定義（包括行列存、復制/哈希分布等）設計的過程。

集群部署方案和表定義一旦確定，后續改動的代價會比較大。

而執行態調優是根據SQL語句執行的實際情況采取針對性措施干預SQL的具體執行計劃的方式來提升性能。

一般包括收集統計信息、SQL改寫、數據庫參數配置、plan hint等手段

PS: 性能的好壞或者是速度的快慢，不僅與所用的具體語句有關，還與具體的應用環境息息相關哦。

此外，老師還介紹了表設計基本流程和表設計策略，這里就不一一展開介紹了，老師著重講解的是局部聚簇，來實現快速掃描，提高速度。

總之就一句話，充分利用資源，最大發揮性能。

最后，放一下老師的PPT鎮樓吧。

當然，調優是一個不斷分析、驗證，不斷嘗試和試錯的過程，這個需要耐心去做哦。

3. 伴隨場景介紹

先來看看老師怎么說：

示例場景是涉及安全方面的，具體為基于多維數據追蹤犯罪團伙，即找出與嫌疑人同時經過多個路段的人群，此人很可能就是嫌疑人的同伙。

也可繪制每個同伙與嫌疑人的對比軌跡，從而進一步確認嫌疑人與同伙的合作關系。

大數據時代，解決一個問題，首先要將其抽象為一個數學問題，之后再求解，因為計算機只能解決“數學題”哦，而且計算能力超強，還不用休息。

那么怎么抽象呢？很簡單哦！

（1）某車在指定時間段的出現時間與地點；

（2）該時間內相同地點與該車相差前后同行時間內的所有車輛

（3）將車牌號和地點合并成新列，按照地點分組，形成子結果集

（4）對子結果集按照地點和車牌號形成的新列分租，并計算各組車牌號的次數，大于指定同行次數。

計算可是計算機的強項了，就給它就行了。

4. 調優實踐

我覺得這是這次直播的高潮了，老師也花了最多的時間和篇幅來講解和介紹哦。

而我個人喜歡實踐，講完理論，最適合馬上實踐了。

這里不僅有詳細的代碼，還有更細致的講解呢，真是手把手教學了，當然，關鍵還是看自己了。先來看看誠意滿滿的代碼：

不僅僅如此哦，看看這么詳細的解析：

PS小技巧：數據庫優化的核心是識別性能瓶頸點，針對性解決問題，查詢SQL優化的指導思路是首先寫出的優化器喜歡的SQL。

看這些概要信息，我們可以得到很多想要的信息，進行具體的分析，比如每個算子的實際執行時間，返回信息等等，包括分布式框架的痕跡，也能窺探一二。這些信息分析整理匯總，對整體性能的優化改進是很有意義的哦。

很不錯呀。

這里再次重點介紹了局部聚簇，簡稱PCK，通過實際運行程序，對比是否使用PCK下的所需時間，發現使得PCK，時間縮短了近一半，這樣的提升是很驚人的，真是非常棒呀。

總的來說，這次學習，收獲滿滿。不得不說，還挺硬核科技，只能說加油了，少年，GaussDB 少年！

內心OS：其實，我還不太懂。

倉庫 數據倉庫服務 GaussDB(DWS) 應用性能調優 大數據 數據庫

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。