Flink on Yarn三部曲之二：部署和設置

歡迎訪問我的GitHub

這里分類和匯總了欣宸的全部原創(chuàng)(含配套源碼)：https://github.com/zq2599/blog_demos

本篇概覽

本文是《Flink on Yarn三部曲》系列的第二篇，上一篇《Flink on Yarn三部曲之一：準備工作》已將所需的機器和文件準備完畢，可以部署CDH和Flink了；

執(zhí)行ansible腳本部署CDH和Flink(ansible電腦)

進入ansible電腦的

~/playbooks

目錄，經(jīng)過上一篇的準備工作，該目錄下應該是下圖這些內(nèi)容：

檢查ansible遠程操作CDH服務器是否正常，執(zhí)行命令

ansible deskmini -a “free -m”

，正常情況下顯示CDH服務器的內(nèi)存信息，如下圖：

執(zhí)行命令開始部署：

ansible-playbook cm6-cdh5-flink1.7-single-install.yml

整個部署過程涉及在線安裝、傳文件等耗時的操作，因此請耐心等待（半小時左右），如果部署期間出錯退出（例如網(wǎng)絡問題），只需重復執(zhí)行上述命令即可，ansible保證了操作的冪等性；

部署成功如下圖所示：

重啟CDH服務器

由于修改了selinux和swap的設置，需要重啟操作系統(tǒng)才能生效，因此請重啟CDH服務器；

執(zhí)行ansible腳本啟動CDH服務(ansible電腦)

等待CDH服務器重啟成功；

登錄ansible電腦，進入

~/playbooks

目錄；

執(zhí)行初始化數(shù)據(jù)庫和啟動CDH的腳本：

ansible-playbook cdh-single-start.yml

啟動完成輸出如下信息：

ssh登錄CDH服務器，執(zhí)行此命令觀察CDH服務的啟動情況：

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

，看到下圖紅框中的內(nèi)容時，表示啟動完成，可以用瀏覽器登錄了：

設置(瀏覽器操作)

現(xiàn)在CDH服務已經(jīng)啟動了，可以通過瀏覽器來操作：

瀏覽器訪問：http://192.168.50.134:7180 ，如下圖，賬號密碼都是

admin

：

一路next，在選擇版本頁面選擇60天體驗版：

選擇主機頁面可見CDH服務器（deskmini）：

在選擇CDH版本的頁面，請選擇下圖紅框中的

5.16.2-1

：

進入安裝Parcel的頁面，由于提前上傳了離線parcle包，因此下載進度瞬間變成百分之百，此時請等待分配、解壓、激活的完成：

接下來有一些推薦操作，這里選擇如下圖紅框，即可跳過：

接下來是選擇服務的頁面，我選擇了自定義服務，然后選擇了

HDFS、YARN、Zookeeper

這三項，可以滿足運行Flink的需要：

在選擇主機的頁面，都選擇CDH服務器：

接下來是數(shù)據(jù)庫設置的頁面，

您填寫的內(nèi)容必須與下圖保持一致

，即主機名為

localhost

，Activity Monitor的數(shù)據(jù)庫、用戶、密碼都是

amon

，Reports Manager的數(shù)據(jù)庫、用戶、密碼都是

rman

，這些內(nèi)容在ansible腳本中已經(jīng)固定了，此處的填寫必須保持一致：

在設置參數(shù)的頁面，請按照您的硬盤實際情況設置，我這里

/home

目錄下空間充足，因此存儲位置都改為

/home

目錄下：

等待服務啟動：

各服務啟動完成：

YARN設置

默認的YARN參數(shù)是非常保守的，需要做一些設置才能順利執(zhí)行Flink任務：

點下圖紅框位置，進入YARN管理頁：

如下圖所示，檢查參數(shù)

yarn.nodemanager.resource.cpu-vcores

的值，該值必須大于1，否則提交Flink任務后YARN不分配資源執(zhí)行任務，（如果您的CDH服務器是虛擬機，當CPU只有單核時，則此參數(shù)就會被設置為1，解決辦法是先提升虛擬機CPU核數(shù)，再來修改此參數(shù)）：

yarn.scheduler.minimum-allocation-mb

：單個容器可申請的最小內(nèi)存，我這里設置為

1G

yarn.scheduler.maximum-allocation-mb

：單個容器可申請的最大內(nèi)存，我這里設置為

8G

yarn.nodemanager.resource.memory-mb

：節(jié)點最大可用內(nèi)存，我這里設置為

8G

上述三個參數(shù)的值，是基于我的CDH服務器有32G內(nèi)存的背景，請您按照自己硬件資源自行調(diào)整；

設置完畢后重啟YARN服務，操作如下圖所示：

至此，部署和設置都已完成，F(xiàn)link on Yarn的環(huán)境已經(jīng)可用了，在下一篇文章中，我們就在此環(huán)境提交Flink任務，體驗Flink on Yarn；

歡迎關(guān)注華為云博客：程序員欣宸

學習路上，你不孤單，欣宸原創(chuàng)一路相伴…

Flink Hadoop Yarn

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。