CDM初階指導(dǎo)之阿里云OSS遷移到SFS

彈性文件服務(wù)（Scalable File Service，簡稱SFS）可以為您的彈性云服務(wù)器（ECS）提供一個完全托管的共享文件存儲，符合標(biāo)準(zhǔn)文件協(xié)議（NFS），能夠彈性伸縮至PB規(guī)模，具備可擴(kuò)展的性能，為海量數(shù)據(jù)、高帶寬型應(yīng)用提供有力支持。

遷移原理

CDM支持將第三方云上對象存儲的數(shù)據(jù)直接遷移到華為云SFS，無需中轉(zhuǎn)和寫代碼，實(shí)現(xiàn)數(shù)據(jù)直傳。這里以遷移阿里云OSS的文件到華為云SFS為例介紹遷移方法。

首先我們將SFS文件系統(tǒng)掛載到ECS（這里的ECS也可以是您的HPC集群）的某個目錄，然后CDM通過SFTP端口來訪問ECS的該目錄，具體操作流程如下：

1）要求CDM集群、SFS文件系統(tǒng)，還有SFS文件系統(tǒng)掛載的ECS，都要在同一個VPC下。

2）由于SFS文件系統(tǒng)目前僅支持NFSv3協(xié)議掛載到Linux云服務(wù)器，所以要求ECS為Linux系統(tǒng)。

準(zhǔn)備數(shù)據(jù)

1）阿里云OSS的外網(wǎng)訪問域名，例如：oss-cn-hangzhou.aliyuncs.com。

2）阿里云OSS的訪問密鑰，或者臨時訪問密鑰、安全令牌。

3）ECS的內(nèi)網(wǎng)訪問IP、SFTP端口，以及登錄用戶名、密碼。

將SFS文件系統(tǒng)掛載到ECS

在ECS上執(zhí)行如下命令，將SFS文件系統(tǒng)掛載到ECS，具體操作請參見SFS入門的掛載文件系統(tǒng)到云服務(wù)器（Linux）章節(jié)。

cd /

mkdir sfs

mount -t nfs -o vers=3,timeo=600,nolock 共享路徑 本地路徑

如果mount的時候出現(xiàn)“wrong fs type”的錯誤信息，說明缺少nfs-utils的包，執(zhí)行yum install –y nfs-utils命令安裝即可。

創(chuàng)建CDM集群并綁定EIP

1）登錄CDM管理控制臺，創(chuàng)建CDM集群，具體操作請參見官網(wǎng)

2）集群創(chuàng)建完成后，在集群管理界面，單擊集群操作列的“綁定彈性IP”。CDM集群通過公網(wǎng)訪問阿里云OSS。由于是數(shù)據(jù)上云，上行流量不計(jì)費(fèi)，彈性IP的帶寬為10Mbit/s即可。

如果用戶對本地?cái)?shù)據(jù)源的訪問通道做了SSL加密，則CDM無法通過彈性IP連接數(shù)據(jù)源。

創(chuàng)建SFTP連接

1）單擊CDM集群后的“作業(yè)管理”，進(jìn)入作業(yè)管理界面，再選擇“連接管理 > 新建連接”，進(jìn)入選擇連接器類型的界面，如圖8-44所示。

2）?選擇“SFTP”后，單擊“下一步”配置SFTP連接參數(shù)，創(chuàng)建SFTP連接

3）單擊“保存”回到連接管理界面。

創(chuàng)建OSS連接

1）在連接管理界面選擇“新建連接”，連接器類型選擇“阿里云對象存儲（OSS）”后單擊“下一步”，配置連接參數(shù)，具體參照我的上一篇博客

2）單擊“保存”回到連接管理界面。

創(chuàng)建遷移作業(yè)

1）選擇“表/文件遷移 > 新建作業(yè)”，開始創(chuàng)建從OSS遷移數(shù)據(jù)到SFS的任務(wù)，如下圖所示

2）源端作業(yè)配置

桶名：OSS的桶名。源目錄或文件：OSS對象的對象名，或?qū)ο笄熬Y，如果輸入一個對象前綴，會把該前綴下的對象全部遷移。

文件格式：這里選擇“二進(jìn)制格式”，二進(jìn)制格式適用于文件的原樣復(fù)制。高級屬性里的可選參數(shù)保持默認(rèn)。

3）目的端作業(yè)配置

寫入目錄：ECS的目錄，這里要輸入SFS掛載的目錄。

文件格式：與源端一樣，這里選擇“二進(jìn)制格式”。

重復(fù)文件處理：選擇“跳過重復(fù)文件”。CDM在遷移文件前會進(jìn)行文件對比，如果源文件在目的端已經(jīng)存在，且文件大小一致，則會判定為重復(fù)文件，遷移時就會跳過。

4）調(diào)高“抽取并發(fā)數(shù)”，需要在ECS中調(diào)高SSH的最大連接數(shù)：

修改“/etc/ssh/sshd_config”中#MaxStartups 10:30:100，將其改為MaxStartups 1000。

修改“/etc/ssh/sshd_config”中#MaxSessions 10，將其改為MaxSessions 1000。

重啟sshd：service sshd restart

云數(shù)據(jù)遷移 CDM 彈性文件服務(wù) 遷移

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。