Flink知識學習（9）

在流處理引擎之上，Flink 有以下機制：

檢查點機制和狀態機制：用于實現容錯、有狀態的處理；

水印機制：用于實現事件時鐘；

窗口和觸發器：用于限制計算范圍，并定義呈現結果的時間。

在同一個流處理引擎之上，Flink 還存在另一套機制，用于實現高效的批處理。

用于調度和恢復的回溯法：由 Microsoft Dryad 引入，現在幾乎用于所有批處理器；

用于散列和排序的特殊內存數據結構：可以在需要時，將部分數據從內存溢出到硬盤上；

優化器：盡可能地縮短生成結果的時間。

Flink的兩套機制分別對應各自的API（DataStream API 和DataSet API），在創建 Flink 作業時，并不能通過將兩者混合在一起來同時利用Flink的所有功能。

Flink支持兩種關系型的API，Table API和SQL。這兩個API都是批處理和流處理統一的API，這意味著在無邊界的實時數據流和有邊界的歷史記錄數據流上，關系型API會以相同的語義執行查詢，并產生相同的結果。

Table API / SQL正在以流批統一的方式成為分析型用例的主要API。

DataStream API是數據驅動應用程序和數據管道的主要API。

API Flink

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。