logstash同步MySQL數據到ElasticSearch

Jdbc input plugin 配置選項

配置文檔

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html

配置示例

input { jdbc { # jdbc驅動包位置 jdbc_driver_library => "mysql-connector-java-8.0.16.jar" # 驅動類 jdbc_driver_class => "com.mysql.cj.jdbc.Driver" # 數據庫連接信息, 8.0以上版本：一定要把serverTimezone=UTC天加上 jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/data?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true" # 用戶 jdbc_user => "root" # 密碼 jdbc_password => "123456" # 定時任務，默認一分鐘 schedule => "* * * * *" # 是否清空上次sql_last_value記錄 clean_run => false # 執行的語句 statement => "SELECT * FROM user WHERE update_time >= :sql_last_value" # 分頁 jdbc_paging_enabled => "true" jdbc_page_size => "5000" # 使用遞增列的值 use_column_value => true # 遞增字段的類型 tracking_column_type => "timestamp" # 遞增字段的名稱 tracking_column => "update_time" # 同步點文件 last_run_metadata_path => "syncpoint_table" } } output { elasticsearch { # ES的IP地址及端口 hosts => ["http://127.0.0.1:9200"] # 索引名稱 可自定義 index => "user" # 需要關聯的數據庫中有有一個id字段，對應類型中的id document_id => "%{id}" } # stdout { # JSON格式輸出 # codec => json_lines # } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

elasticsearch MySQL

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。