DIS Agent 常見客戶問題

1.?如何判斷是否有數(shù)據(jù)發(fā)送

以下日志表示正在有數(shù)據(jù)發(fā)送到DIS：

c.h.d.a.t.DISSender Put 1 records to [stz_test_agent] spend 1454ms

2.?數(shù)據(jù)是否可能出現(xiàn)重傳和漏傳

單線程的情況下：

只可能出現(xiàn)重傳。數(shù)據(jù)發(fā)送了，但是CheckPoint寫成功之前進程掛了或者寫失敗了（比如磁盤滿等），就有可能導致重傳。

多線程的情況下：

可能出現(xiàn)重傳和漏傳。

數(shù)據(jù)發(fā)送了，但是CheckPoint寫成功之前進程掛了，就有可能導致重傳。

CheckPoint比較新的線程先提交CheckPoint成功，但是CheckPoint比較舊的線程發(fā)送成功前進程掛了，就有可能出現(xiàn)漏傳。

（打個比方，sendingThreadSize配置的是2，也就是兩個線程在發(fā)送，線程1讀取了1到5行數(shù)據(jù)，線程2讀取了6到10行數(shù)據(jù)，線程2發(fā)送成功而且記錄了CheckPoint，但是線程1還沒有發(fā)送同時Agent異常退出了，那么這個時候1到5行數(shù)據(jù)就會丟失。）

3. Agent單條記錄是否有大小限制

Agent啟動時會判斷通道類型，對于普通通道，單條記錄大于1M時會被切割；對于高級通道，單條記錄大于5M時會被切割。

4.?日志滾動方式是xxx.log.*，會影響嗎？

歸檔文件是什么格式不影響，不管匹配規(guī)則能不能匹配到，歸檔文件的inode都是已上傳過的，不會出現(xiàn)重復上傳。

5.?關于 Agent 的通配符

filePattern配置/agent/*和/agent/是一樣的效果

6. DIS Agent?運行需要多少內(nèi)存？

默認情況下讀取緩存和發(fā)送隊列需要緩存10W條記錄，假如每條記錄1KB，則最少需要100M的內(nèi)存，計算方式：

每批數(shù)據(jù)數(shù)量 * 100 * 2 * 每條記錄大小

Agent?的內(nèi)存配置在start-dis-agent.sh中：

JAVACMD="java"

JAVA_START_HEAP="256m" #?默認xms為256m

JAVA_MAX_HEAP="512m" #?默認xmx為512m

7. DIS Agent?如何判斷某個文件是否需要上傳？

DIS Agent?是根據(jù)文件的inode來判斷是否需要上傳的，比如某個文件采集完成之后，將文件mv走，然后再mv回來，文件的inode沒變化，那么就不會重新采集；但是如果將文件mv走，然后再cp回來，那么inode發(fā)生變化就會重新采集，使用stat命令可以查看文件inode信息：

$ stat logstash.stack

File: ‘logstash.stack’

Size: 513727????? Blocks: 1008?????? IO Block: 4096?? regular file

Device: fd01h/64769d??? Inode: 932370????? Links: 1

Access: (0644/-rw-r--r--)? Uid: (??? 0/??? root)?? Gid: (??? 0/??? root)

Access: 2020-03-25 11:57:14.058120270 +0800

Modify: 2020-03-25 11:57:14.076120599 +0800

Change: 2020-03-25 11:57:14.076120599 +0800

Birth: -

8. DIS Agent?如何配置無限重試？

修改重試配置項，可以配置無限重試：

records.retries: -1

exception.retries: -1

9. DIS Agent?配置文件格式有問題如何排查？

使用YAML、YML在線編輯器格式化校驗下：https://www.bejson.com/validators/yaml_editor/

10.?如何判斷 DIS Agent 已經(jīng)成功啟動？

2020-05-07 10:32:28.526+0800? [INFO ] (main) c.h.d.a.Agent Agent(dis-agent): Startup completed in 300061 ms.

數(shù)據(jù)接入服務 DIS 任務調度

版權聲明：本文內(nèi)容由網(wǎng)絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權內(nèi)容。