XXL-JOB分布式任務調度平臺快速入門

XXL-JOB是一個分布式任務調度平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼并接入多家公司線上產品線，開箱即用。

一、特性

1、簡單：支持通過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手；

2、動態：支持動態修改任務狀態、啟動/停止任務，以及終止運行中任務，即時生效；

3、調度中心HA（中心式）：調度采用中心式設計，“調度中心”自研調度組件并支持集群部署，可保證調度中心HA；

4、執行器HA（分布式）：任務分布式執行，任務”執行器”支持集群部署，可保證任務執行HA；

5、注冊中心: 執行器會周期性自動注冊任務, 調度中心將會自動發現注冊的任務并觸發執行。同時，也支持手動錄入執行器地址；

6、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會重新分配任務；

7、觸發策略：提供豐富的任務觸發策略，包括：Cron觸發、固定間隔觸發、固定延時觸發、API（事件）觸發、人工觸發、父子任務觸發；

8、調度過期策略：調度中心錯過調度時間的補償處理策略，包括：忽略、立即補償觸發一次等；

9、阻塞處理策略：調度過于密集執行器來不及處理時的處理策略，策略包括：單機串行（默認）、丟棄后續調度、覆蓋之前調度；

10、任務超時控制：支持自定義任務超時時間，任務運行超時將會主動中斷任務；

11、任務失敗重試：支持自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支持分片粒度的失敗重試；

12、任務失敗告警；默認提供郵件方式失敗告警，同時預留擴展接口，可方便的擴展短信、釘釘等告警方式；

13、路由策略：執行器集群部署時提供豐富的路由策略，包括：第一個、最后一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等；

14、分片廣播任務：執行器集群部署時，任務路由策略選擇”分片廣播”情況下，一次任務調度將會廣播觸發集群中所有執行器執行一次任務，可根據分片參數開發分片任務；

15、動態分片：分片廣播任務以執行器為維度進行分片，支持動態擴容執行器集群從而動態增加分片數量，協同進行業務處理；在進行大數據量業務操作時可顯著提升任務處理能力和速度。

16、故障轉移：任務路由策略選擇”故障轉移”情況下，如果執行器集群中某一臺機器故障，將會自動Failover切換到一臺正常的執行器發送調度請求。

17、任務進度監控：支持實時監控任務進度；

18、Rolling實時日志：支持在線查看調度結果，并且支持以Rolling方式實時查看執行器輸出的完整的執行日志；

19、GLUE：提供Web IDE，支持在線開發任務邏輯代碼，動態發布，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯。

20、腳本任務：支持以GLUE模式開發和運行腳本任務，包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;

21、命令行任務：原生提供通用命令行任務Handler（Bean任務，”CommandJobHandler”）；業務方只需要提供命令行即可；

22、任務依賴：支持配置子任務依賴，當父任務執行結束且執行成功后將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；

23、一致性：“調度中心”通過DB鎖保證集群分布式調度的一致性, 一次任務調度只會觸發一次執行；

24、自定義任務參數：支持在線配置調度任務入參，即時生效；

25、調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞；

26、數據加密：調度中心和執行器之間的通訊進行數據加密，提升調度信息安全性；

27、郵件報警：任務失敗時支持郵件報警，支持配置多郵件地址群發報警郵件；

28、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;

29、運行報表：支持實時查看運行數據，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分布圖，調度成功分布圖等；

30、全異步：任務調度流程全異步化設計實現，如異步調度、異步運行、異步回調等，有效對密集調度進行流量削峰，理論上支持任意時長任務的運行；

31、跨語言：調度中心與執行器提供語言無關的 RESTful API 服務，第三方任意語言可據此對接調度中心或者實現執行器。除此之外，還提供了 “多任務模式”和“httpJobHandler”等其他跨語言方案；

32、國際化：調度中心支持國際化設置，提供中文、英文兩種可選語言，默認為中文；

33、容器化：提供官方docker鏡像，并實時更新推送dockerhub，進一步實現產品開箱即用；

34、線程池隔離：調度線程池進行隔離拆分，慢任務自動降級進入”Slow”線程池，避免耗盡調度線程，提高系統穩定性；

35、用戶管理：支持在線管理系統用戶，存在管理員、普通用戶兩種角色；

36、權限控制：執行器維度進行權限控制，管理員擁有全量權限，普通用戶需要分配執行器權限后才允許相關操作；

二、快速入門

xxl-job 分為 調度中心 和? 執行器中心，調度中心簡單理解就是xxl-job-admin工程，執行器就是對應我們自己的需要注冊到調度中心的服務。

（1）配置調度中心

請下載項目源碼并解壓，獲取 “調度數據庫初始化SQL腳本” 并執行即可。

“調度數據庫初始化SQL腳本” 位置為:

/xxl-job/doc/db/tables_xxl_job.sql

調度中心支持集群部署，集群情況下各節點務必連接同一個mysql實例;

如果mysql做主從,調度中心集群節點務必強制走主庫;

xxl-job-admin：修改調度中心配置文件（注意數據庫的配置的修改）

### 調度中心JDBC鏈接：鏈接地址請保持和 2.1章節 所創建的調度數據庫的地址一致

spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai

spring.datasource.username=root

spring.datasource.password=root_pwd

spring.datasource.driver-class-name=com.mysql.jdbc.Driver

### 報警郵箱

spring.mail.host=smtp.qq.com

spring.mail.port=25

spring.mail.username=xxx@qq.com

spring.mail.password=xxx

spring.mail.properties.mail.smtp.auth=true

spring.mail.properties.mail.smtp.starttls.enable=true

spring.mail.properties.mail.smtp.starttls.required=true

spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory

### 調度中心通訊TOKEN [選填]：非空時啟用；

xxl.job.accessToken=

### 調度中心國際化配置 [必填]： 默認為 "zh_CN"/中文簡體, 可選范圍為 "zh_CN"/中文簡體, "zh_TC"/中文繁體 and "en"/英文；

xxl.job.i18n=zh_CN

## 調度線程池最大線程配置【必填】

xxl.job.triggerpool.fast.max=200

xxl.job.triggerpool.slow.max=100

### 調度中心日志表數據保存天數 [必填]：過期日志自動清理；限制大于等于7時生效，否則, 如-1，關閉自動清理功能；

xxl.job.logretentiondays=30

啟動xxl-job-admin調用中心

調度中心訪問地址：http://localhost:8080/xxl-job-admin?(該地址執行器將會使用到，作為回調地址)

默認登錄賬號 “admin/123456”, 登錄后運行界面如下圖所示。

至此“調度中心”項目已經部署成功。

調度中心支持集群部署，提升調度系統容災和可用性。

調度中心集群部署時，幾點要求和建議：

DB配置保持一致；

集群機器時鐘保持一致（單機集群忽視）；

建議：推薦通過nginx為調度中心集群做負載均衡，分配域名。調度中心訪問、執行器回調配置、調用API服務等操作均通過該域名進行。

（2）配置執行器

1.確認pom文件中引入了 “xxl-job-core” 的maven依賴；

2.執行器配置，配置文件地址：

/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/resources/application.properties

執行器配置，配置內容說明：

### 調度中心部署跟地址 [選填]：如調度中心集群部署存在多個地址則用逗號分隔。執行器將會使用該地址進行"執行器心跳注冊"和"任務結果回調"；為空則關閉自動注冊；

xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

### 執行器通訊TOKEN [選填]：非空時啟用；

xxl.job.accessToken=

### 執行器AppName [選填]：執行器心跳注冊分組依據；為空則關閉自動注冊

xxl.job.executor.appname=xxl-job-executor-sample

### 執行器注冊 [選填]：優先使用該配置作為注冊地址，為空時使用內嵌服務 ”IP:PORT“ 作為注冊地址。從而更靈活的支持容器類型執行器動態IP和動態映射端口問題。

xxl.job.executor.address=

### 執行器IP [選填]：默認為空表示自動獲取IP，多網卡時可手動設置指定IP，該IP不會綁定Host僅作為通訊實用；地址信息用于 "執行器注冊" 和 "調度中心請求并觸發任務"；

xxl.job.executor.ip=

### 執行器端口號 [選填]：小于等于0則自動獲取；默認端口為9999，單機部署多個執行器時，注意要配置不同執行器端口；

xxl.job.executor.port=9999

### 執行器運行日志文件存儲磁盤路徑 [選填] ：需要對該路徑擁有讀寫權限；為空則使用默認路徑；

xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler

### 執行器日志文件保存天數 [選填] ： 過期日志自動清理, 限制值大于等于3時生效; 否則, 如-1, 關閉自動清理功能；

xxl.job.executor.logretentiondays=30

3.編寫 執行器組件，可從官方demo中進行復制

執行器組件，配置文件地址：

/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/java/com/xxl/job/executor/core/config/XxlJobConfig.java

執行器組件，配置內容說明：

@Bean

public XxlJobSpringExecutor xxlJobExecutor() {

logger.info(">>>>>>>>>>> xxl-job config init.");

XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();

xxlJobSpringExecutor.setAdminAddresses(adminAddresses);

xxlJobSpringExecutor.setAppname(appname);

xxlJobSpringExecutor.setIp(ip);

xxlJobSpringExecutor.setPort(port);

xxlJobSpringExecutor.setAccessToken(accessToken);

xxlJobSpringExecutor.setLogPath(logPath);

xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

return xxlJobSpringExecutor;

}

至此“執行器”項目已經部署結束。

執行器集群（可選）：

執行器支持集群部署，提升調度系統可用性，同時提升任務處理能力。

執行器集群部署時，幾點要求和建議：

執行器回調地址（xxl.job.admin.addresses）需要保持一致；執行器根據該配置進行執行器自動注冊等操作。

同一個執行器集群內AppName（xxl.job.executor.appname）需要保持一致；調度中心根據該配置動態發現不同集群的在線執行器列表。

三、任務詳解

配置屬性詳細說明：

基礎配置：

- 執行器：任務的綁定的執行器，任務觸發調度時將會自動發現注冊成功的執行器, 實現任務自動發現功能; 另一方面也可以方便的進行任務分組。每個任務必須綁定一個執行器, 可在 "執行器管理" 進行設置;

- 任務描述：任務的描述信息，便于任務管理；

- 負責人：任務的負責人；

- 報警郵件：任務調度失敗時郵件通知的郵箱地址，支持配置多郵箱地址，配置多個郵箱地址時用逗號分隔；

觸發配置：

- 調度類型：

無：該類型不會主動觸發調度；

CRON：該類型將會通過CRON，觸發任務調度；

固定速度：該類型將會以固定速度，觸發任務調度；按照固定的間隔時間，周期性觸發；

固定延遲：該類型將會以固定延遲，觸發任務調度；按照固定的延遲時間，從上次調度結束后開始計算延遲時間，到達延遲時間后觸發下次調度；

- CRON：觸發任務執行的Cron表達式；

- 固定速度：固件速度的時間間隔，單位為秒；

- 固定延遲：固件延遲的時間間隔，單位為秒；

任務配置：

- 運行模式：

BEAN模式：任務以JobHandler方式維護在執行器端；需要結合 "JobHandler" 屬性匹配執行器中任務；

GLUE模式(Java)：任務以源碼方式維護在調度中心；該模式的任務實際上是一段繼承自IJobHandler的Java類代碼并 "groovy" 源碼方式維護，它在執行器項目中運行，可使用@Resource/@Autowire注入執行器里中的其他服務；

GLUE模式(Shell)：任務以源碼方式維護在調度中心；該模式的任務實際上是一段 "shell" 腳本；

GLUE模式(Python)：任務以源碼方式維護在調度中心；該模式的任務實際上是一段 "python" 腳本；

GLUE模式(PHP)：任務以源碼方式維護在調度中心；該模式的任務實際上是一段 "php" 腳本；

GLUE模式(NodeJS)：任務以源碼方式維護在調度中心；該模式的任務實際上是一段 "nodejs" 腳本；

GLUE模式(PowerShell)：任務以源碼方式維護在調度中心；該模式的任務實際上是一段 "PowerShell" 腳本；

- JobHandler：運行模式為 "BEAN模式" 時生效，對應執行器中新開發的JobHandler類“@JobHandler”注解自定義的value值；

- 執行參數：任務執行所需的參數；

高級配置：

- 路由策略：當執行器集群部署時，提供豐富的路由策略，包括；

FIRST（第一個）：固定選擇第一個機器；

LAST（最后一個）：固定選擇最后一個機器；

ROUND（輪詢）：；

RANDOM（隨機）：隨機選擇在線的機器；

CONSISTENT_HASH（一致性HASH）：每個任務按照Hash算法固定選擇某一臺機器，且所有任務均勻散列在不同機器上。

LEAST_FREQUENTLY_USED（最不經常使用）：使用頻率最低的機器優先被選舉；

LEAST_RECENTLY_USED（最近最久未使用）：最久未使用的機器優先被選舉；

FAILOVER（故障轉移）：按照順序依次進行心跳檢測，第一個心跳檢測成功的機器選定為目標執行器并發起調度；

BUSYOVER（忙碌轉移）：按照順序依次進行空閑檢測，第一個空閑檢測成功的機器選定為目標執行器并發起調度；

SHARDING_BROADCAST(分片廣播)：廣播觸發對應集群中所有機器執行一次任務，同時系統自動傳遞分片參數；可根據分片參數開發分片任務；

- 子任務：每個任務都擁有一個唯一的任務ID(任務ID可以從任務列表獲取)，當本任務執行結束并且執行成功時，將會觸發子任務ID所對應的任務的一次主動調度。

- 調度過期策略：

- 忽略：調度過期后，忽略過期的任務，從當前時間開始重新計算下次觸發時間；

- 立即執行一次：調度過期后，立即執行一次，并從當前時間開始重新計算下次觸發時間；

- 阻塞處理策略：調度過于密集執行器來不及處理時的處理策略；

單機串行（默認）：調度請求進入單機執行器后，調度請求進入FIFO隊列并以串行方式運行；

丟棄后續調度：調度請求進入單機執行器后，發現執行器存在運行的調度任務，本次請求將會被丟棄并標記為失敗；

覆蓋之前調度：調度請求進入單機執行器后，發現執行器存在運行的調度任務，將會終止運行中的調度任務并清空隊列，然后運行本地調度任務；

- 任務超時時間：支持自定義任務超時時間，任務運行超時將會主動中斷任務；

- 失敗重試次數；支持自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；

更詳細的xxl-job講解請參考 官方文檔https://www.xuxueli.com/xxl-job/#%E3%80%8A%E5%88%86%E5%B8%83%E5%BC%8F%E4%BB%BB%E5%8A%A1%E8%B0%83%E5%BA%A6%E5%B9%B3%E5%8F%B0XXL-JOB%E3%80%8B

任務調度 分布式

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。