云存儲技術體系

存儲涉及的知識面很廣，既涉及云存儲服務端的技術，又涉及終端設備應用開發相關的技術。本文章關注云存儲系統服務端技術。

云存儲技術體系結構分為四層：硬件層、單機存儲層、分布式存儲層、存儲訪問層，下面分別介紹。

硬件層

硬件層包括存儲、網絡以及CPU。在存儲方面，除了傳統的SAS或者SATA磁盤，SSD技術發展迅猛；在網絡方面，千兆網卡已經普及，萬兆網卡離我們越來越近，Google這樣的互聯網巨頭已經開始會試通過軟件自定義交換機；在CPU層面，IntelX86架構成為主流，低功耗逐步成為研究熱點。為了降低成本和能耗，云存儲服務提供商往往會定制服務器，甚至自建數據中心，需要考慮電源、冷卻、PUE（Power Usage Eficiency，能源使用效率）等各種問題。

主機存儲層

云存儲系統的底層大多為定制的Linux操作系統，服務提供商需要在文件系統、網絡協議以及CPU和內存使用上對Linux系統進行大量的定制化工作。單機存儲系統大致分為兩類：傳統的關系數據庫以及NoSQL存儲系統。關系數據庫支持二維的關系模式，并提供關系數據庫查詢語言SQL，支持事務，索引等操作，使用比較方便。

NoSQL存儲系統則百花齊故，常見的NoSQL系統包括僅支持根據主鍵進行CRUD（Create，Read,Update,Delete）操作的鍵值（Key-Value）存儲系統，也有基于傳統的B樹或者LSM樹（Log-Structured Merge Tree）的存儲系統。

分布式存儲層

分布式存儲層是云存儲技術的核心，也是最難實現的部分。分布式存儲系統需要能夠將數據均勻地分散到多個存儲節點上，另外，為了保證高可靠性和高可用性，需要將數據復制到多個存儲節點并保證一致性。當存儲節點出現故障時，需要能夠自動檢測到節點故障并將服務遷移到其他正常工作的節點。分布式存儲層依賴一些基礎服務，常見的包括分布式鎖服務（例如Google Chubby系統），以及集群資源管理服務（例如Google Borg系統）。另外，分布式存儲層包含分布式緩存以及服務總線，分布式緩存用于提高訪問性能，服務總線用于云平臺應用邏輯解耦。云存儲系統既存儲無結構化數據，又存儲半結構化以及結構化數據，分別對應分布式文件系統、分布式表格系統以及分布式數器庫，面CDN以及P2P技術將云存儲系統中的熱點數據緩存到離用戶較近的邊緣節點或者臨近的其他用戶的客戶端，從而起到訪問加速的作用，并且節省云存儲服務提供商的網絡帶寬成本。

存儲訪問層

云存儲系統通過存儲訪問層被個人用戶的終端設備直接訪問，或者被云存儲平臺中托管的應用程序訪問。云存儲訪問層的功能包括：Web服務、負載均衡、安全服務以及計費。云存儲系統對外提供統一的訪問接口，常見的接口是REST或者SOAP這樣的Web服務，需要通過Apache或者Nginx這樣的Web服務器進行協議轉化，Web服務器端經常使用LVS（Linux Vitual Server）、HaProxy這樣的軟件或者專業的負載均衡設備（如F5負載均衡器）進行負載均衡。存儲訪問層需要提供安全和計費服務、安全服務包括身份認證、訪問授權、綜合防護、安全審計、Ddos攻擊預防/防火墻等。

用戶的應用程序可能會托管在應用運行平臺中，應用場景大致分為三類：

彈性計算平臺。典型的彈性計算平臺為Amazon EC2以及Microsoft的各種虛擬機實例，底層涉及的技術包括虛擬機、自動伸縮。彈性計算平臺通過虛擬機自身的機制來保證云安全，比如虛擬機安全隔離、虛擬機防火墻。基于虛擬機的彈性計算平臺的優勢在于兼容性，支持各種編程語言和平臺。

云引擎。典型的云引擎為Google AppEngine，底層設計的涉及的技術主要是應用容器（比如Java Tomcat、Jetty，Python Runtime）以及應用容器自動伸縮。當應用的負載過高時，自動增加應用的運行容器數；反之，自動減少應用的運行容器數。云引擎通過應用容器的沙箱機制來保證安全性，AppEngine的沙箱環境通過限制每個請求的執行時間來防止多租戶之間干擾，另外，限制應用程序對網絡、文件進行一些危險操作。云引擎與云存儲服務提供商結合較好，但是對于每種不同的編程語言都需要定制相應的應用容器，對編程語言和平臺支持比較有限。

分布式計算。云平臺往往會支持分布式計算，通過后臺的計算實例執行耗時較長的計算任務。MapReduce是最為常見的分布式計算模型，云平臺一般都支持開源的Hadoop MapReduce計算框架。除了MapReduce之外，還有很多針對特定應用場景的計算模型，例如MPI(Message Passing Interface)、BSP(Bulk Synchronous Parallel)等。

云計算

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。