BigData之Storm：Apache Storm的簡(jiǎn)介、深入理解、下載、案例應(yīng)用之詳細(xì)攻略

BigData之Storm：Apache Storm的簡(jiǎn)介、深入理解、下載、案例應(yīng)用之詳細(xì)攻略

目錄

Apache Storm的簡(jiǎn)介

Apache Storm的深入理解

1、Storm與hadoop

2、Apache Storm的API

Apache Storm的下載

Current 2.2.x Release

Apache Storm的案例應(yīng)用

1、Apache Storm集成

Apache Storm的簡(jiǎn)介

Apache Storm是一個(gè)免費(fèi)的、開(kāi)源的分布式實(shí)時(shí)計(jì)算系統(tǒng)。Apache Storm使它能夠輕松可靠地處理無(wú)綁定的數(shù)據(jù)流，就像Hadoop對(duì)批處理所做的那樣進(jìn)行實(shí)時(shí)處理。Apache Storm很簡(jiǎn)單，可以與任何編程語(yǔ)言一起使用，而且使用起來(lái)很有趣！

Apache Storm有很多用例：實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、連續(xù)計(jì)算、分布式RPC、ETL等等。Apache Storm速度很快：基準(zhǔn)測(cè)試顯示，每個(gè)節(jié)點(diǎn)每秒處理的元組超過(guò)100萬(wàn)。它是可擴(kuò)展的，容錯(cuò)的，保證您的數(shù)據(jù)將被處理，并且易于設(shè)置和操作。

Apache Storm集成了您已經(jīng)使用的排隊(duì)和數(shù)據(jù)庫(kù)技術(shù)。Apache Storm拓?fù)湎臄?shù)據(jù)流，并以任意復(fù)雜的方式處理這些流，在計(jì)算的每個(gè)階段之間根據(jù)需要對(duì)流進(jìn)行重新分區(qū)。在教程中閱讀更多內(nèi)容。

Storm是一個(gè)免費(fèi)開(kāi)源、分布式、高容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm令持續(xù)不斷的流計(jì)算變得容易，彌補(bǔ)了Hadoop批處理所不能滿足的實(shí)時(shí)要求。Storm經(jīng)常用于在實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、持續(xù)計(jì)算、分布式遠(yuǎn)程調(diào)用和ETL等領(lǐng)域。

官網(wǎng)：http://storm.apache.org/

文檔：http://storm.apache.org/releases/current/index.html

Apache Storm的深入理解

1、Storm與hadoop

全量數(shù)據(jù)處理使用的大多是鼎鼎大名的hadoop或者h(yuǎn)ive，作為一個(gè)批處理系統(tǒng)，hadoop以其吞吐量大、自動(dòng)容錯(cuò)等優(yōu)點(diǎn)，在海量數(shù)據(jù)處理上得到了廣泛的使用。但是，hadoop不擅長(zhǎng)實(shí)時(shí)計(jì)算，因?yàn)樗烊痪褪菫榕幚矶模@也是業(yè)界一致的共識(shí)。否則最近這兩年也不會(huì)有s4、storm、puma這些實(shí)時(shí)計(jì)算系統(tǒng)如雨后春筍般冒出來(lái)啦。

2、Apache Storm的API

Apache Storm有一個(gè)簡(jiǎn)單易用的API。在Apache Storm上編程時(shí)，可以操作和轉(zhuǎn)換元組流，元組是一個(gè)指定的值列表。元組可以包含任何類型的對(duì)象;如果您想使用Apache Storm不知道的類型，那么很容易為該類型注冊(cè)一個(gè)序列化器。

Apache Storm的下載

-：http://storm.apache.org/downloads.html

Current 2.2.x Release

The current 2.2.x release is 2.2.0. Source and binary distributions can be found below. The list of changes for this release can be found?here.

Documentation

Javadocs

apache-storm-2.2.0.tar.gz?[PGP] [SHA512]

apache-storm-2.2.0.zip?[PGP] [SHA512]

apache-storm-2.2.0-src.tar.gz?[PGP] [SHA512]

apache-storm-2.2.0-src.zip?[PGP] [SHA512]

Apache Storm artifacts are hosted in?Maven Central. You can add Apache Storm as a dependency with the following coordinates:

groupId: org.apache.storm artifactId: storm-{component} version: 2.2.0

Apache Storm的案例應(yīng)用

1、Apache Storm集成

Apache Storm集成了任何排隊(duì)系統(tǒng)和任何數(shù)據(jù)庫(kù)系統(tǒng)。Apache Storm的spout抽象使得集成新的排隊(duì)系統(tǒng)變得很容易。示例隊(duì)列集成包括：

Kestrel

RabbitMQ / AMQP

Kafka

JMS

Amazon Kinesis

同樣，將apachestorm與數(shù)據(jù)庫(kù)系統(tǒng)集成也很容易。只需打開(kāi)與數(shù)據(jù)庫(kù)的連接，然后像平常一樣讀/寫。apachestorm將在必要時(shí)處理并行化、分區(qū)和失敗時(shí)重試。

Apache BigData Pro 大數(shù)據(jù)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。