HERO聯盟知識學堂第一期——數據庫工程師進階之路——化繁為簡，從“新”開始——LV2——MySQL數據庫遷移上云

微認證：MySQL數據庫遷移上云

前言

目標

數據庫上云的背景與優勢

傳統數據庫面臨的難題

云上數據庫帶來的經濟效益

云數據庫與傳統數據庫對比

個人總結 云數據庫省事，花錢少，性能高；自購服務器搭建麻煩，花錢多，性能差。

微認證：MySQL數據庫遷移上云

前言

目標

數據庫上云的背景與優勢

傳統數據庫面臨的難題

云上數據庫帶來的經濟效益

云數據庫與傳統數據庫對比

個人總結 云數據庫省事，花錢少，性能高；自購服務器搭建麻煩，花錢多，性能差。

云數據庫是高速增長的百億級市場

數據庫上云是必然趨勢

選擇遷移目標

數據庫解決方案對比

首先考慮云數據庫

華為云數據庫服務

SQL數據庫——面向傳統OLTP數據庫業務

NoSQL數據庫——面向海量擴展業務

數據庫生態——構建完整的數據庫解決方案

關系型數據庫RDS

RDS MySQL的優勢

數據管理服務DAS

數據庫遷移的解決方案

傳統數據庫遷移原因

傳統MySQL數據庫遷移方案概覽

傳統數據庫遷移方案比較

華為云數據復制DRS

華為云DRS適用場景

什么時候用DRS？

云數據遷移CDM

CDM應用場景

DRS與CDM的定位區別與關系

華為云數據庫遷移的技術原理

華為云DRS在線遷移場景

傳統主從結構的的數據庫遷移

內網下自建MySQL數據庫的遷移

數據庫遷移的華為云實踐

MySQL數據庫遷移上云實踐

DRS引導式遷移流程

DRS多種遷移模式

DRS識別遷移條件

DRS實時狀態監控

DRS遷移對比

遷移對比與業務割接

CDM整庫遷移實踐

MySQL整體遷移到RDS

CDM數據庫遷移的通用限制

自測題

MySQL本地數據庫遷移實驗細節

1. 準備環境

1.1 預置環境

1.2 登錄華為云

2. 數據庫遷移

2.1 創建云數據庫RDS實例

2.2 數據庫測試程序

2.2.1 數據庫測試程序

2.2.2 查看CPU、IP情況

2.3 創建遷移命令

2.4 源庫及目標庫信息

2.5 設定遷移

2.6 預檢查

2.6.1 參數檢查

2.7 任務確認

2.8 任務管理

2.8.1 全量遷移

2.8.2 增量遷移

2.8.3 遷移對比

2.8.4 增量遷移CPU、IO資源使用情況

3. 業務割接

3.1 中斷業務

3.2 割接業務

3.3 結束實驗

可能會遇到的題目

判斷題

單選題

多選題

微認證：MySQL數據庫遷移上云

前言

華為云提供了以華為云數據庫RDS為基礎結合DAS、DRS、CDM服務實現數據庫輕松遷移上云的解決方案。

目標

了解云上數據庫的優勢與價值

區分不同數據庫遷移的方法與特點

描述RDS和CDM的遷移流程與技術原理

區分DRS和CDM的適用場景

數據庫上云的背景與優勢

傳統數據庫面臨的難題

高投入

周期長

難運維

不靈活

云上數據庫帶來的經濟效益

即開即用

實時生產目標實例

響應時間快，公網費用低

無需額外支出license費用

彈性伸縮

根據業務情況彈性伸縮資源

按需開支

靈活調整實例規格

運維便捷

實例狀態信息實時監控

專業的數據庫管理平臺

一鍵式擴容

完全兼容

兼容原生數據庫引擎

兼容現有的程序和工具

方便遷移數據庫

云數據庫與傳統數據庫對比

云數據庫是高速增長的百億級市場

數據庫上云是必然趨勢

成本驅動

技術趨勢

業務訴求

選擇遷移目標

ECS自建數據庫

云數據庫

數據庫解決方案對比

首先考慮云數據庫

以下情況不考慮云數據庫

要求超出了云數據庫限制或需要云數據庫無法支持的功能，則考慮ECS數據庫服務器

為了完全控制操作系統及軟件的訪問和管理，則考慮ECS數據庫服務器

ECS數據庫服務器需要自行管理備份、復制和集群的問題

華為云數據庫服務

關系型數據庫服務RDS

MySQL

PostgreSQL

SQL Server

文檔型數據庫服務DDS

MongoDB

分布式緩存服務DCS

Redis

Memcached

分布式數據庫中間件DDM

數據庫安全服務DBSS

數據復制服務DRS

數據管理服務DAS

關系型數據庫RDS

Relational Database Service（關系型數據庫服務，RDS）

華為云關系型數據庫RDS是一種基于云計算平臺的即開即用、穩定可靠、彈性伸縮、便捷管理的在線關系型數據庫服務。

RDS MySQL的優勢

MySQL是一個真正的多用戶、多線程SQL數據庫服務器，是全球最受歡迎的開源關系型數據庫，良好的跨平臺能力，支持大部分主流操作系統平臺上運行。

高可用

支持AZ內/跨AZ高可用主備架構

安全防護

支持VPC、子網、安全組、SSL連接、審計日記，確保數據安全性

備份恢復

最高達35天的系統自動備份，PITR任意時間點恢復，支持手動創建快照，輕松應對災難恢復

輕松擴容

最多支持5個只讀副本，擴展讀負載

一鍵CPU&內存/擴容

在線磁盤擴容

數據遷移

支持數據遷移讓業務輕松上云

高性能

全面支持MySQL5.7

推出兼容MySQL5.6的優化版

性能大幅提升，解決復制延遲問題

數據管理服務DAS

Data Admin Service（數據管理服務，DAS）是一款專業的簡化數據庫管理工具，提供良好的可視化操作界面，大幅提高工作效率，讓數據管理變得安全、簡單。

支持關系型數據庫實例的管理

支持ECS自建庫實例的數據管理

數據庫遷移的解決方案

傳統數據庫遷移原因

磁盤空間不夠

一些老項目，選用的機型并不一定適用于數據庫，隨著時間的推移，磁盤很有可能出現短缺。

業務出現瓶頸

項目中采用單機承擔現有的讀寫業務，業務壓力增大，不堪重負。如果IO壓力在可接受的范圍，會采用讀寫分離方案。

設備性能瓶頸

設備性能瓶頸主要在磁盤IO能力、內存、CPU，此時除了針對瓶頸做一些優化外，選擇遷移是不錯的方案。

項目改造

數據庫跨機房，增加節點或者不同業務共用一臺服務器，為了緩解服務器壓力以及方便維護，也會做遷移。

傳統MySQL數據庫遷移方案概覽

MySQL遷移主要技術是圍繞數據做工作，所以就是在保證業務平穩持續地運行的前提下做備份恢復。

問題就是如何快速安全地進行備份恢復。

備份

備份前提：考慮數據量大小，源庫業務可停機時長，主從關系、讀寫分離順序

備份策略：全量備份、增量備份

備份方法：物理備份或使用遷移工具

傳輸

網絡因素：網絡耗時、斷點續傳

傳輸方式：直接拷貝、使用工具

傳輸距離：rsync適用于本地異構設備傳輸和文件同步；異地使用硬盤快遞

恢復

恢復條件：數據量大小和備庫業務可停機時長

恢復方式： 直接導入或使用工具

恢復檢驗：數據一致性、主從一致性、業務讀寫正常

傳統數據庫遷移方案比較

華為云數據復制DRS

Data Replication Service（數據復制服務，DRS）是一種易用、穩定、高效，用于數據庫在線遷移和數據庫實時同步的云服務。DRS圍繞云數據庫，降低了數據庫之間數據流通的復雜性，有效地幫助您減少數據傳輸的成本

華為云DRS適用場景

DB在線遷移：業務不中斷或者中斷時間非常短

DB實時同步：基于數據庫日志處理的技術。不同于批量同步，批量同步是非實時的，在某些時間點是同步的，大部分時間點是非同步的

業務可中斷時間非常短

數據庫數據量非常大

需要一個簡單、省心的遷移服務

云數據遷移CDM

Cloud Data Migration(云數據遷移，CDM)提供同構/異構數據源之間批量數據遷移服務，幫助實現數據自由流動。支持自建和云上的文件系統，關系數據庫，數據倉庫，NoSQL,大數據云服務，對象存儲等數據源。

本地數據遷移上云

云上數據遷移到本地

云上服務之間的數據遷移

DRS與CDM的定位區別與關系

DRS：用于數據庫在線遷移和數據庫實時同步的云服務。

CDM：提供同構/異構數據源之間批量數據遷移服務，幫助實現數據自由流動。

困惑點：CDM對標的是數據集成服務，一般是做數據導入數據倉庫的場景，也可以用于一小部分的遷移場景

區別點：

是否在意業務中斷時間？數據量是否大于100GB？遷移是否要簡單，易用？

YES——DRS

NO——DRS/CDM

華為云數據庫遷移的技術原理

華為云DRS在線遷移場景

VPC網絡內的數據庫在線遷移

客戶ECS自己數據庫遷移至RDS/DDS

RDS之間的數據遷移

RDS之間的數據同步

通過公網的數據庫在線遷移

其他云數據庫遷移至華為RDS/DDS

用戶本地數據庫遷移至RDS/DDS

通過VPN做在線遷移

本地數據中心數據庫遷移至RDS/DDS

混合云間的數據同步

容災

RDS/DDS作為用戶本地數據庫的災備

傳統主從結構的的數據庫遷移

搭建主從關系

mysqldump導出數據

收集指定庫需要的賬號以及權限

使用rsync傳輸到目標庫

導入數據到目標庫，數據同步到目標從庫

上述完成后，遷移源庫業務到目標庫，觀察業務狀態

如果業務沒有問題，證明遷移成功

內網下自建MySQL數據庫的遷移

準備RDS主備數據庫

測試源數據庫和目標端華為云云數據庫MySQL實例之間的網絡是否互通

收集賬號與權限

使用DRS選擇業務低峰期開始正式的數據庫遷移

數據庫遷移的華為云實踐

MySQL數據庫遷移上云實踐

DAS數據庫管理：通過數據導入目標數據表對數據進行備份或遷移

DRS數據復制：云數據庫遷移的主要解決方案

CDM云數據遷移：使用CDM整庫遷移功能，遷移數據庫

DRS引導式遷移流程

進入數據復制服務控制臺

創建遷移任務,選擇遷移模式

配置源庫及目標庫信息

設定遷移用戶及對象

預檢查及參數對比

任務確認及查看遷移任務狀態

DRS多種遷移模式

選擇數據流動方向：入云，出云

選擇網絡類型：公網網絡、VPC網絡

選擇目標庫讀寫設置：只讀、讀寫

選擇遷移模式：業務可中斷，選擇全量遷移；業務中斷最小化，選擇全量+增量遷移

DRS識別遷移條件

預檢查可以提前識別遷移是否滿足成功條件

提供：

失敗原因

失敗詳情

處理建議

用戶可以根據失敗信息和處理建議的指導，調整環境，以確保遷移成功

DRS實時狀態監控

剩余時間評估：持續的評估，輔助用戶從容做好遷移計劃

同步時延：宏觀把握數據同步的實時性

DRS遷移對比

對象級對比

宏觀對比對象是否缺失：數據庫、表、視圖、存儲過程、觸發過程、觸發器等

數據級對比

詳細校對數據，不同細度：行數對比，內容對比

遷移對比與業務割接

對象檢查

全量遷移階段結束后，使用對象級別對比功能，校驗數據庫對象是否缺失。

全面檢查

確認遷移對象無缺失后，選擇一個業務低峰期，使用數據級對比功能，進行一次或者多次數據級對比，對源數據庫和目標數據庫整體數據差異具有一個宏觀的結論。

割接復查

在割接階段，停止源業務寫入幾分鐘，使用數據級對比功能，進行一次指定表的數據級對比，推薦的表特征為：活躍表，關鍵業務表，對比多次存在差異的表

結束任務

在割接階段停止原業務寫入，確認數據無丟失后，結束在線遷移任務，割接與切換新業務至新數據庫。

CDM整庫遷移實踐

MySQL整體遷移到RDS

進入CDM服務控制臺

創建CDM集群可綁定EIP

創建MySQL連接

創建RDS連接

創建整庫遷移作業

任務確認及查看遷移任務狀態

CDM數據庫遷移的通用限制

CDM以批量遷移為主，僅支持有限的數據庫增量遷移，不支持數據庫實時增量遷移，推薦使用數據復制服務（DRS）來實現數據庫增量遷移到RDS。

CDM支持的數據庫整庫遷移，僅支持數據表遷移，不支持存儲過程、觸發器、函數、視圖等數據庫對象遷移。其中視圖會被當做表進行遷移。

CDM僅適用于一次性將數據庫遷移到云上的場景，包括同構數據庫遷移和異構數據庫遷移，不適合數據同步場景，比如容災、實時同步。

自測題

與云數據庫相比，自建的MySQL數據庫擁有更多的運維成本和運維工作量。（對）

以下哪項不是傳統自建數據庫的缺點？（需要對業務數據進行查詢）

以下哪種遷移場景選擇CDM最為合適？（實現hadoop大數據遷移至云數據倉庫）

DRS支持哪些網絡下的數據庫遷移？（VPC網絡、VPN網絡、公網網絡、專線網絡）

對OBS桶的數據庫文件進行備份遷移時，以下操作正確的是？（OBS桶所在區域必須跟實例所在區域相同；支持低版本的數據庫備份文件在高版本實例數據庫上進行還原；待還原數據庫名稱，必須跟備份文件中數據庫名稱一致）

MySQL本地數據庫遷移實驗細節

1. 準備環境

點擊上方的紅色按鈕——預置實驗環境

2. 數據庫遷移

服務列表

數據庫

云數據庫RDS

購買數據庫實例

計費方式：按需計費

區域：華北-北京四

實例名稱：默認

選擇數據庫版本：MySQL5.7

實例類型：單機

儲存類型：SSD云盤

可用區：可用區二

時區：UTC+08:00

性能規格：通用型，配置為2核4G

虛擬私有云：vpc-rds-mysql

端口：3306

密碼：Seetraum123@

控制臺

服務列表

計算

彈性云服務器ECS

打開桌面的“Xfce”終端，輸入命令ssh root@ECS公網IP

輸入yes

輸入密碼Huawei@123，輸入的密碼不會顯示

使用MySQL命令 mysql -u root -h ECS私網IP -p -e “create database loadtest”

輸入密碼Huawei@123，輸入的密碼不會顯示

使用命令 sysbench --test=/usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --db-driver=mysql --mysql-db=loadtest --mysql-user=root --mysql-password=Huawei@123 --mysql-port=3306 --mysql-host=ECS私網IP --oltp-tables-count=10 --oltp-table-size=10000 --num-threads=20 prepare

使用命令 sysbench --test=/usr/share/sysbench/tests/include/oltp_legacy/insert.lua --db-driver=mysql --mysql-db=loadtest --mysql-user=root --mysql-password=Huawei@123 --mysql-port=3306 --mysql-host=ECS私網IP --oltp-tables-count=10 --oltp-table-size=1000 --max-time=3600 --max-requests=0 --num-threads=10 --report-interval=3 --rate=20 --forced-shutdown=1 run

新打開一個命令行窗口

輸入命令 ssh root@ECS公網IP

輸入密碼 Huawei@123

使用命令 top

使用Ctrl+C 退出top命令

使用iostat -d vda vdb -m 1 10

使用Ctrl+C 退出命令

服務列表

數據庫

數據復制服務DRS

創建遷移任務

創建遷移任務

區域：華北-北京四

任務名稱：默認

任務異常自動結束時間（天）：14

數據流動方向：入云

源數據庫引擎：MySQL

目標數據庫引擎：MySQL

網絡類型： 公網網絡(下面那個我同意點上)

目標數據庫實例：選擇我們創建的RDS

目標庫讀寫設置：讀寫

遷移模式：“全量+增量”

源庫信息：

IP地址或域名：123.60.212.165

端口：3306

數據庫用戶名：root

數據庫密碼：Huawei@123

SSL安全連接：關閉

等待實例創建成功后，點擊下方的測試連接

目標庫信息：

數據庫實例名稱：默認

數據庫用戶名：root

數據庫密碼：Seetraum123

所有Definer遷移到該用下：是

點擊測試連接

確認所有備注

遷移對象：全部遷移

彈出提示：忽略，繼續下一步

全部檢查通過后，單擊下一步

如果 max_connections檢查不一致，可直接忽略，進行下一步。

啟動時間：立即啟動

單擊啟動任務

確認協議

啟動任務

數據級對比：

行數對比，立即啟動

勾選loadtest下某個數據，點擊藍色的“>>”選入右側，再點擊頁面中的“是”創建對比任務。

內容對比，DRS側計算，立即啟動

勾選loadtest下某個數據，點擊藍色的“>>”選入右側，再點擊頁面中的“是”創建對比任務。

同步驟2.1

3. 業務割接

在終端窗口使用命令 sysbench --test=/usr/share/sysbench/tests/include/oltp_legacy/insert.lua --db-driver=mysql --mysql-db=loadtest --mysql-user=root --mysql-password=Seetraum123@ --mysql-port=3306 --mysql-host=RDSIP地址 --oltp-tables-count=10 --oltp-table-size=1000 --max-time=3600 --max-requests=0 --num-threads=20 --report-interval=4 --rate=20 --forced-shutdown=1 run

Ctrl + C結束上述命令

服務列表

數據庫

數據復制服務DRS

結束

確定

可能會遇到的題目

判斷題

與云數據庫相比，自建的MySQL數據庫擁有更多的運維成本和運維工作量（True）

在RDS的備份策略中，可以設置備份時間段為2:30-3:30（False）

DAS是一個可視化的數據庫管理工具，可以支持ECS自建庫實例的數據庫管理（True）

數據庫管理服務DAS支持華為云跨Region訪問（False）

當主機發生故障時，系統無法自動將遷移實例或者同步實例切換到備機繼續執行任務（False）

創建好MySQL云數據庫后可以更換成PostgreSQL云數據庫（False）

創建RDS備份一定會收取額外的費用（false）

單選題

以下哪項不是云數據庫帶來的經濟效益（使用免費）

以下哪項是使用mysqldump遷移工具的優點（設置完成后傳輸無人值守，自動完成）

在傳統的數據庫遷移方案中，由于變動表結構而遷移數據庫，以下哪種方法適用于該場景（數據庫直接導出，拷貝文件到新服務器，在新服務器上導入）

以下哪個備份工具支持增量備份（Navicat）

以下哪個RDS的參數是指系統的字符集（character_set_server）

以下哪條命令是用來刪除數據庫的（drop database XXX）

以下哪項不是傳統自建數據庫的缺點（需要對業務數據進行查詢）

關于DRS的在線同步特性，以下哪項不正確的是（支持MySQL與MangoDB的在線同步）

CDM創建成功后，以下哪項集群配置是無法修改的（更改集群規格）

以下哪項不是DRS的特點（無需手動導入導出數據）

以下哪個不屬于DRS預檢查失敗的修復方法（對數據正確性進行檢查）

以下哪條命令可以用來登錄MySQL數據庫（mysql -u root -p）

關于傳統主從結構數據庫遷移步驟，以下選項正確的是（搭建主從關系–>使用mysql導出源數據庫數據–>使用rsync傳輸到目標庫–>導入數據到目標庫）

以下哪項服務可以創建Redis數據庫實例（DCS）

關于創建DRS遷移任務的步驟，以下哪項是正確的（創建遷移任務–>配置源庫及目標庫信息–>設定遷移用戶及對象–>進行預檢查）

多選題

可以用哪些方式在linux上安裝MySQL數據庫服務器（下載rpm安裝集合包，解壓后進行安裝；下載yum源，使用yum命令在線安裝）

以下哪些操作可以在DAS中執行（導入sql文件；用select命令查詢數據；導出表結構）

RDS MySQL提供下面哪些級別的高可用服務（同AZ；跨AZ）

在DRS遷移中，若目標庫為RDS，以下哪些目標庫信息是必填的（數據庫用戶名；數據庫密碼）

以下哪些是云數據遷移CDM所支持的數據源（OBS；Elasticsearch；DWS；MRS HDFS）

可以對已創建好的RDS MySQL數據庫實例做哪些操作（創建備份；創建只讀；創建災備；購買相同配置）

在MySQL數據庫遷移中，以下哪些服務或產品要收取費用（RDS；DRS；CDM）

以下哪些情況會考慮使用ECS自建MySQL數據庫（使用super權限，完全控制數據庫的訪問和管理；對服務器自行進行備份，復制和集群的管理）

在創建DRS遷移任務中，可以選擇哪些遷移模式（全量；全量+增量）

對OBS桶的數據庫文件進行備份遷移時，以下操作正確的是？（OBS桶所在區域必須跟實例所在區域相同；支持低版本的數據庫備份文件在高版本實例數據庫上進行還原；待還原數據庫名稱，必須跟備份文件中數據庫名稱一致）

DAS可以對以下哪些數據庫進行管理（ECS自建的MySQL數據庫；RDS云數據庫；DDS云數據庫）

在DRS出云遷移下，RDS MySQL源庫的實例類型可以是（單機實例；主備實例；只讀實例）

以下哪些操作在RDS備份策略中可以進行修改（關閉自動備份；設置備份保留天數；設置備份的周期）

在DRS遷移中設置源庫信息時，以下哪些可能是測試連接失敗的原因（數據庫賬號不允許遠程連接；密碼輸入錯誤）

MySQL 云數據遷移 CDM 數據庫

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。