Hadoop之HDFS01【介紹】
641
2025-03-31
出國在外,語言永遠是第一大障礙。可有時候,就連過了語言這一關的人也會鬧笑話,那就是貨幣轉換。
講一個小編出國旅游的故事。
去年國慶,小編和家人報了一個日本韓國 10 日游的旅行團,先去日本,然后韓國,最后打道回國。
在日本下了飛機后,小編覺得有些口渴,于是想在機場里的自動販售機里買一瓶礦泉水,雖然知道日本的東西面值比較高,可看到標價 100 日元礦泉水還是有些犯嘀咕:
這究竟是 5 塊錢左右(買了),還是 10 塊錢左右(放棄)?
對于新時代青年,這種小問題當然是難不倒我~于是果斷打開手機貨幣兌換的 App,經過轉換后知道了人民幣價格。
6 元,買!
就在這時,導游悄然出現在了我的身后,哈哈大笑說:“不用這么麻煩,教你一個辦法,小數點往前移兩位,然后乘以六,就是人民幣價格了。”
小數點往前移兩位,然后除以六,那么大部分商品的價格都在十位數以內,這對從小就對 99 乘法表倒背如流的國人來說這簡直就是小菜一碟啊,這方法太好了!
于是在日本的五天,小編再也沒有使用過那個 App。
五天之后,韓國機場,小編又感到了一陣口渴……想買一瓶標價 1200 韓幣的香蕉牛奶,正準備掏出手機查詢價格。
導游又神出鬼沒般的出現在了我的身后:“小數點往前移三位,然后乘以六,就是人民幣的價格。”
以上這個故事,只是身在國外的一點小障礙,而對大部分人來說,最大的挑戰莫過于語言交流了,很多時候我們即使學過外語,也會在心里先翻譯成中文然后明白對方想說什么。
而如果有一種方法,能夠讓我們無論聽到何種語言都能實時轉換成母語,那就真的走遍天下也不怕了。這樣的困難其實在 IT 領域也是一樣,過去:
一個以 NFS 協議寫入存儲系統的文件,需要在數據分析系統中通過 HDFS 協議讀出來,不能直接實現。
不同文件系統的數據冗余策略不同,將原始數據遷移到 HDFS 中需要額外購買 3-5 倍的存儲系統,本著既要確保容量足夠,又要盡可能減少投資的原則,用戶就得精確計算兩者之間容量換算的比例。
以上兩個問題,就會導致用戶搭建大數據分析業務系統時,總要面對額外的時間花費和金錢花費的苦惱。
而戴爾易安信 Isilon 的出現順利打破了多種協議間的壁壘,可以讓數據在不同的業務系統中間任意流動。
戴爾易安信的 Isilon 橫向擴展文件共享存儲,集成了對多種行業標準協議的支持,包括 Internet 協議 IPv4 和 IPv6、NFS、SMB、HTTP、FTP 以及基于 OpenStack Swift 的對象訪問,并原生支持 Hadoop 分布式文件系統(HDFS)。
這樣一來,Isilon 就能實現以任意協議寫入存儲系統的數據,可以由任意的協議直接讀出,不會因為各個應用程序所使用的數據訪問協議有別而產生數據孤島,為用戶節省了轉換協議所需要的時間,有效消除了客戶因不同協議產生的數據孤島。
除了消除數據孤島的特性外,Isilon 在其他方面天然適合大數據存儲和分析的支撐系統。
IDC 和 Intel 預測到 2020 年,全球數據量將會達到 44ZB(1ZB=10億TB),中國產生的數據量將會達到 8ZB。
如此大的數據量,對其進行存取和處理要考慮兩個很現實的問題:
一是單一存儲是否具備強大的承載能力且能提供單一目錄訪問;
二是能否保證性能不縮水。
目前大多數企業級專用存儲支持的單一文件系統,空間大都在 100TB 以內,如果超過這個閾值,就需要再建立一個新的空間存儲數據。然而,很多用戶的空間名稱在應用程序開發階段就已指定,修改空間名稱可能需要修改代碼等手工操作才能實現,這對于客戶來說就太麻煩了。
另外,一旦文件達到 PB 級別之后,就需要消耗更多的計算資源去處理,而在“大數據”時代,超 PB 級的數據擁有量已不是個例,而是一種廣泛的存在。
??Isilon 則可以很好地解決這些問題。
Isilon 采用 Scale-Out 橫向擴展架構,容量從 20TB 起步,最終可擴展至 68PB,它可根據用戶每個階段不同的使用需求,動態地添加高性能全閃存節點、大容量高性價比的機械硬盤節點或兩者兼而有之的混合閃存節點,因此用戶無需為未來不確定的容量需求而預先購置高額的高端存儲控制器。
▲▲▲點擊圖片了解戴爾易安信 Isilon 詳細資料
而且不論是初次購買的容量還是未來增加的容量,統統可以放到單一的文件系統中,對應用僅提供一個訪問路徑。
借助自動分層軟件,數據還可以在 Isilon 系統內部根據訪問的熱度變化任意流動,時刻將不同的數據匹配到最合適的介質中。這樣智能彈性可伸縮的“大肚量”剛好跟難以預測的“大數據”匹配。
其次是性能方面,采用了 Scale-Out 橫向擴展架構的 Isilon,可以根據用戶使用要求為其量身打造存儲性能。
憑借 Isilon 無與倫比的性能和優勢,Dell EMC 連續三年在 Gartner 分布式文件系統和對象存儲魔力象限上排名第一,遙遙領先。
??Scale-Out 橫向擴展架構,好比一列中國標準動車組列車。
動車組,亦稱多動力列車組合,即把動力裝置分散安裝在每節車廂上,帶動力的車輛叫動車,不帶動力的車輛叫拖車。
由若干動力單元組合形成的列車,每個動力單元配置動力資源(CPU、內存、網絡接口)和載客空間(臥鋪、一等座、二等座)資源(全閃存,混合閃存,機械硬盤),并能根據需求自由組合,形成動力不同、載客空間數量不同的動車組。
若干動車組形成整體的牽引力,然后依次擴展成一列運行的動車組列車,帶動列車快速前進,車廂的多少絲毫不會影響行駛速度。
在戴爾易安信 Isilon 的 Scale-Out 架構設計里,每個節點上的系統都有自己的機頭帶動控制,任何一個節點宕機,都不會影響其他節點的應用,同時隨著節點數量的擴展,Isilon 系統性能會越來越高。
這種 Scale-Out 架構,強調靈活的擴展性,與擴展成倍增長的性能。
可預測的擴展性
在大數據熱潮席卷各個行業的背景下,Isilon 作為具有原生 Hadoop 支持的橫向擴展 NAS 系統,可支持任何符合 Apache-Hadoop 的發行版本,對用戶而言,通過 Isilon,Hadoop 能夠直接用于大數據,而非搬運數據至Hadoop。
Isilon 可以為各個行業的用戶搭建一套就地分析的基礎架構解決方案,將數據分析平臺與生產業務分離的架構過渡到一體化架構,為用戶省去數據拷貝過程中的時間成本與額外購買存儲的重復投資成本,讓用戶在大數據分析這個爭分奪秒的領域,把節省的時間轉化為生產力和研發成果,從而獲得更大的行業競爭優勢。
在當下這個數據爆炸,孤島叢生的時代,作為連接數據孤島利器的 Isilon 已經得到了業界充分的肯定。它具備超強且彈性的容量和性能擴展能力,廣泛應用于大數據分析系統中,并成為多個大數據分析軟件官方推薦的數據存儲平臺。
大數據
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。