kfk作為存儲系統的場景

Kafka可以作為數據存儲系統使用，數據被冗余地存儲在磁盤上，無論是50K還是50TB的數據，Kafka的伸縮處理能力保證存儲的性能不會受到影響。

客戶端的確認機制可以保證數據被完全正確的持久化。讀取數據的時候，客戶端可以自己控制需要讀取的位置。

充分利用文件系統

Kafka大量依賴文件系統去存儲和緩存消息。對于硬盤有個傳統的觀念是硬盤總是很慢，這使很多人懷疑基于文件系統的架構能否提供優異的性能。實際上硬盤的快慢完全取決于使用它的方式。設計良好的硬盤架構可以和內存一樣快。

在6塊7200轉的SATA RAID-5磁盤陣列的線性寫速度差不多是600MB/s，但是隨即寫的速度卻是100k/s，差了差不多6000倍。現代的操作系統都對此做了大量的優化，使用了 read-ahead 和 write-behind的技巧，讀取的時候成塊的預讀取數據，寫的時候將各種微小瑣碎的邏輯寫入組織合并成一次較大的物理寫入。對此的深入討論可以查看這里，它們發現線性的訪問磁盤，很多時候比隨機的內存訪問快得多。

為了提高性能，現代操作系統往往使用內存作為磁盤的緩存，現代操作系統樂于把所有空閑內存用作磁盤緩存，雖然這可能在緩存回收和重新分配時犧牲一些性能。所有的磁盤讀寫操作都會經過這個緩存，這不太可能被繞開除非直接使用I/O。所以雖然每個程序都在自己的線程里只緩存了一份數據，但在操作系統的緩存里還有一份，這等于存了兩份數據。

華為云

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。