Facebook為何選擇云計算開源Hadoop
前段時間Facebook的新版消息系統(tǒng)發(fā)布，F(xiàn)acebook對HBase的成功使用也使得很多的HBase案例得以出現(xiàn)，下文是Facebook的Hadoop工程師Dhruba Borthakur發(fā)表的Hadoop系列文章中的一篇，對Facebook選擇Hadoop和HBase的原因做了一個說明。
Dhruba Borthakur首先總結(jié)了Hadoop和HBase的優(yōu)勢。他認為HBase橫向擴展性強。對Facebook這種少量數(shù)據(jù)存儲場景來說，擴容幾乎是家常便飯，HBase能夠使數(shù)據(jù)擴容非常容易。并且支持很高的寫吞吐。Facebook的消息數(shù)據(jù)很龐大，每天的寫量也很大。同時在同一個數(shù)據(jù)中心，能夠保證有較強的一致性。Facebook用HBase來存儲消息數(shù)據(jù)，業(yè)務上需要一個能夠保證一致性的數(shù)據(jù)存儲（這也是Facebook并沒有采用Cassandra的原因之一）。HBase還具有良好的隨機讀性能。消息系統(tǒng)的業(yè)務邏輯導致會有很多穿透緩存層的隨機讀操作。
由于數(shù)據(jù)量大，分布的機器也可能很多，出故障或者進行一些日常升級工作會比較頻繁。所以高可用性和故障可恢復性也顯得極其重要。錯誤隔離性是指一個結(jié)點的錯誤不會影響到其它結(jié)點，磁盤故障只會對相應的小規(guī)模的數(shù)據(jù)產(chǎn)生影響。同時提供原子性的read-modify-write操作。原子性的increment或者對比后修改的操作，對很多業(yè)務上的處理非常方便。最后提供獲取某個范圍的數(shù)據(jù)的功能。比如像獲取某人最近100條消息這樣的功能，在消息系統(tǒng)里也是很常見的需求。
當然，下面幾個Hadoop和HBase不太擅長的方面也值得一說。首先是同一個數(shù)據(jù)中心網(wǎng)絡割裂下的容災性。同一個數(shù)據(jù)中心的網(wǎng)絡出現(xiàn)問題了，導致各結(jié)點之間無法正常溝通，這種情況通�？梢酝ㄟ^配置一些備用的網(wǎng)絡設備來避免。其次某個數(shù)據(jù)中心故障不會影響服務。這個情況更是少之又少。最后在多個數(shù)據(jù)中心間的實時數(shù)據(jù)交換。這個不太現(xiàn)實，通常這一點是用Cache層來實現(xiàn)用戶對無端數(shù)據(jù)的實時訪問的。
(責任編輯：admin)
- “掃一掃”關注融合網(wǎng)微信號
免責聲明：我方僅為合法的第三方企業(yè)注冊用戶所發(fā)布的內(nèi)容提供存儲空間，融合網(wǎng)不對其發(fā)布的內(nèi)容提供任何形式的保證：不保證內(nèi)容滿足您的要求，不保證融合網(wǎng)的服務不會中斷。因網(wǎng)絡狀況、通訊線路、第三方網(wǎng)站或管理部門的要求等任何原因而導致您不能正常使用融合網(wǎng)，融合網(wǎng)不承擔任何法律責任。
第三方企業(yè)注冊用戶在融合網(wǎng)發(fā)布的內(nèi)容（包含但不限于融合網(wǎng)目前各產(chǎn)品功能里的內(nèi)容）僅表明其第三方企業(yè)注冊用戶的立場和觀點，并不代表融合網(wǎng)的立場或觀點。相關各方及作者發(fā)布此信息的目的在于傳播、分享更多信息，并不代表本網(wǎng)站的觀點和立場，更與本站立場無關。相關各方及作者在我方平臺上發(fā)表、發(fā)布的所有資料、言論等僅代表其作者個人觀點，與本網(wǎng)站立場無關，不對您構(gòu)成任何投資、交易等方面的建議。用戶應基于自己的獨立判斷，自行決定并承擔相應風險。
根據(jù)相關協(xié)議內(nèi)容，第三方企業(yè)注冊用戶已知悉自身作為內(nèi)容的發(fā)布者，需自行對所發(fā)表內(nèi)容（如，字體、圖片、文章內(nèi)容等）負責，因所發(fā)表內(nèi)容（如，字體、圖片、文章內(nèi)容等）等所引發(fā)的一切糾紛均由該內(nèi)容的發(fā)布者（即，第三方企業(yè)注冊用戶）承擔全部法律及連帶責任。融合網(wǎng)不承擔任何法律及連帶責任。
第三方企業(yè)注冊用戶在融合網(wǎng)相關欄目上所發(fā)布的涉嫌侵犯他人知識產(chǎn)權(quán)或其他合法權(quán)益的內(nèi)容（如，字體、圖片、文章內(nèi)容等），經(jīng)相關版權(quán)方、權(quán)利方等提供初步證據(jù)，融合網(wǎng)有權(quán)先行予以刪除，并保留移交司法機關查處的權(quán)利。參照相應司法機關的查處結(jié)果，融合網(wǎng)對于第三方企業(yè)用戶所發(fā)布內(nèi)容的處置具有最終決定權(quán)。
個人或單位如認為第三方企業(yè)注冊用戶在融合網(wǎng)上發(fā)布的內(nèi)容（如，字體、圖片、文章內(nèi)容等）存在侵犯自身合法權(quán)益的，應準備好具有法律效應的證明材料，及時與融合網(wǎng)取得聯(lián)系，以便融合網(wǎng)及時協(xié)調(diào)第三方企業(yè)注冊用戶并迅速做出相應處理工作。
融合網(wǎng)聯(lián)系方式：（一）、電話：（010）57722280；（二）、電子郵箱：2029555353@qq.com dwrh@dwrh.net
對免責聲明的解釋、修改及更新權(quán)均屬于融合網(wǎng)所有。
京公網(wǎng)安備 11011202002094號