解析云計(jì)算的核心技術(shù)
(1)編程模型
MapReduce是Google開發(fā)的java、Python、C++編程模型,它是一種簡(jiǎn)化的分布式編程模型和高效的任務(wù)調(diào)度模型,用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。嚴(yán)格的編程模型使云計(jì)算環(huán)境下的編程十分簡(jiǎn)單。MapReduce模式的思想是將要執(zhí)行的問題分解成Map(映射)和Reduce(化簡(jiǎn))的方式,先通過Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊,分配(調(diào)度)給大量計(jì)算機(jī)處理,達(dá)到分布式運(yùn)算的效果,再通過Reduce程序?qū)⒔Y(jié)果匯整輸出。
(2)海量數(shù)據(jù)分布存儲(chǔ)技術(shù)
云計(jì)算系統(tǒng)由大量服務(wù)器組成,同時(shí)為大量用戶服務(wù),因此云計(jì)算系統(tǒng)采用分布式存儲(chǔ)的方式存儲(chǔ)數(shù)據(jù),用冗余存儲(chǔ)的方式保證數(shù)據(jù)的可靠性。云計(jì)算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲(chǔ)系統(tǒng)是Google的GFS和Hadoop團(tuán)隊(duì)開發(fā)的GFS的開源實(shí)現(xiàn)HDFS。GFS即Google文件系統(tǒng)(GoogleFileSystem),是一個(gè)可擴(kuò)展的分布式文件系統(tǒng),用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。GFS的設(shè)計(jì)思想不同于傳統(tǒng)的文件系統(tǒng),是針對(duì)大規(guī)模數(shù)據(jù)處理和Google應(yīng)用特性而設(shè)計(jì)的。它運(yùn)行于廉價(jià)的普通硬件上,但可以提供容錯(cuò)功能。它可以給大量的用戶提供總體性能較高的服務(wù)。一個(gè)GFS集群由一個(gè)主服務(wù)器(master)和大量的塊服務(wù)器(chunkserver)構(gòu)成,并被許多客戶(Client)訪問。主服務(wù)器存儲(chǔ)文件系統(tǒng)所以的元數(shù)據(jù),包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當(dāng)前位置。它也控制系統(tǒng)范圍的活動(dòng),如塊租約(lease)管理,孤兒塊的垃圾收集,塊服務(wù)器間的塊遷移。主服務(wù)器定期通過HeartBeat消息與每一個(gè)塊服務(wù)器通信,給塊服務(wù)器傳遞指令并收集它的狀態(tài)。GFS中的文件被切分為64MB的塊并以冗余存儲(chǔ),每份數(shù)據(jù)在系統(tǒng)中保存3個(gè)以上備份?蛻襞c主服務(wù)器的交換只限于對(duì)元數(shù)據(jù)的操作,所有數(shù)據(jù)方面的通信都直接和塊服務(wù)器聯(lián)系,這大大提高了系統(tǒng)的效率,防止主服務(wù)器負(fù)載過重。
(3)海量數(shù)據(jù)管理技術(shù)
云計(jì)算需要對(duì)分布的、海量的數(shù)據(jù)進(jìn)行處理、分析,因此,數(shù)據(jù)管理技術(shù)必需能夠高效的管理大量的數(shù)據(jù)。云計(jì)算系統(tǒng)中的數(shù)據(jù)管理技術(shù)主要是Google的BT(BigTable)數(shù)據(jù)管理技術(shù)和Hadoop團(tuán)隊(duì)開發(fā)的開源數(shù)據(jù)管理模塊HBase。BT是建立在GFS,Scheduler,LockService和MapReduce之上的一個(gè)大型的分布式數(shù)據(jù)庫(kù),與傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)不同,它把所有數(shù)據(jù)都作為對(duì)象來處理,形成一個(gè)巨大的表格,用來分布存儲(chǔ)大規(guī)模結(jié)構(gòu)化數(shù)據(jù)。Google的很多項(xiàng)目使用BT來存儲(chǔ)數(shù)據(jù),包括網(wǎng)頁(yè)查詢,Googleearth和Google金融。這些應(yīng)用程序?qū)T的要求各不相同:數(shù)據(jù)大。◤腢RL到網(wǎng)頁(yè)到衛(wèi)星圖象)不同,反應(yīng)速度不同(從后端的大批處理到實(shí)時(shí)數(shù)據(jù)服務(wù))。對(duì)于不同的要求,BT都成功的提供了靈活高效的服務(wù)。
(4)虛擬化技術(shù)
通過虛擬化技術(shù)可實(shí)現(xiàn)軟件應(yīng)用與底層硬件相隔離,它包括將單個(gè)資源劃分成多個(gè)虛擬資源的裂分模式,也包括將多個(gè)資源整合成一個(gè)虛擬資源的聚合模式。虛擬化技術(shù)根據(jù)對(duì)象可分成存儲(chǔ)虛擬化、計(jì)算虛擬化、網(wǎng)絡(luò)虛擬化等,計(jì)算虛擬化又分為系統(tǒng)級(jí)虛擬化、應(yīng)用級(jí)虛擬化和桌面虛擬化。
(5)云計(jì)算平臺(tái)管理技術(shù)
云計(jì)算資源規(guī)模龐大,服務(wù)器數(shù)量眾多并分布在不同的地點(diǎn),同時(shí)運(yùn)行著數(shù)百種應(yīng)用,如何有效的管理這些服務(wù)器,保證整個(gè)系統(tǒng)提供不間斷的服務(wù)是巨大的挑戰(zhàn)。云計(jì)算系統(tǒng)的平臺(tái)管理技術(shù)能夠使大量的服務(wù)器協(xié)同工作,方便的進(jìn)行業(yè)務(wù)部署和開通,快速發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障,通過自動(dòng)化、智能化的手段實(shí)現(xiàn)大規(guī)模系統(tǒng)的可靠運(yùn)營(yíng)。
(責(zé)任編輯:admin)- “掃一掃”關(guān)注融合網(wǎng)微信號(hào)
免責(zé)聲明:我方僅為合法的第三方企業(yè)注冊(cè)用戶所發(fā)布的內(nèi)容提供存儲(chǔ)空間,融合網(wǎng)不對(duì)其發(fā)布的內(nèi)容提供任何形式的保證:不保證內(nèi)容滿足您的要求,不保證融合網(wǎng)的服務(wù)不會(huì)中斷。因網(wǎng)絡(luò)狀況、通訊線路、第三方網(wǎng)站或管理部門的要求等任何原因而導(dǎo)致您不能正常使用融合網(wǎng),融合網(wǎng)不承擔(dān)任何法律責(zé)任。
第三方企業(yè)注冊(cè)用戶在融合網(wǎng)發(fā)布的內(nèi)容(包含但不限于融合網(wǎng)目前各產(chǎn)品功能里的內(nèi)容)僅表明其第三方企業(yè)注冊(cè)用戶的立場(chǎng)和觀點(diǎn),并不代表融合網(wǎng)的立場(chǎng)或觀點(diǎn)。相關(guān)各方及作者發(fā)布此信息的目的在于傳播、分享更多信息,并不代表本網(wǎng)站的觀點(diǎn)和立場(chǎng),更與本站立場(chǎng)無關(guān)。相關(guān)各方及作者在我方平臺(tái)上發(fā)表、發(fā)布的所有資料、言論等僅代表其作者個(gè)人觀點(diǎn),與本網(wǎng)站立場(chǎng)無關(guān),不對(duì)您構(gòu)成任何投資、交易等方面的建議。用戶應(yīng)基于自己的獨(dú)立判斷,自行決定并承擔(dān)相應(yīng)風(fēng)險(xiǎn)。
根據(jù)相關(guān)協(xié)議內(nèi)容,第三方企業(yè)注冊(cè)用戶已知悉自身作為內(nèi)容的發(fā)布者,需自行對(duì)所發(fā)表內(nèi)容(如,字體、圖片、文章內(nèi)容等)負(fù)責(zé),因所發(fā)表內(nèi)容(如,字體、圖片、文章內(nèi)容等)等所引發(fā)的一切糾紛均由該內(nèi)容的發(fā)布者(即,第三方企業(yè)注冊(cè)用戶)承擔(dān)全部法律及連帶責(zé)任。融合網(wǎng)不承擔(dān)任何法律及連帶責(zé)任。
第三方企業(yè)注冊(cè)用戶在融合網(wǎng)相關(guān)欄目上所發(fā)布的涉嫌侵犯他人知識(shí)產(chǎn)權(quán)或其他合法權(quán)益的內(nèi)容(如,字體、圖片、文章內(nèi)容等),經(jīng)相關(guān)版權(quán)方、權(quán)利方等提供初步證據(jù),融合網(wǎng)有權(quán)先行予以刪除,并保留移交司法機(jī)關(guān)查處的權(quán)利。參照相應(yīng)司法機(jī)關(guān)的查處結(jié)果,融合網(wǎng)對(duì)于第三方企業(yè)用戶所發(fā)布內(nèi)容的處置具有最終決定權(quán)。
個(gè)人或單位如認(rèn)為第三方企業(yè)注冊(cè)用戶在融合網(wǎng)上發(fā)布的內(nèi)容(如,字體、圖片、文章內(nèi)容等)存在侵犯自身合法權(quán)益的,應(yīng)準(zhǔn)備好具有法律效應(yīng)的證明材料,及時(shí)與融合網(wǎng)取得聯(lián)系,以便融合網(wǎng)及時(shí)協(xié)調(diào)第三方企業(yè)注冊(cè)用戶并迅速做出相應(yīng)處理工作。
融合網(wǎng)聯(lián)系方式:(一)、電話:(010)57722280;(二)、電子郵箱:2029555353@qq.com dwrh@dwrh.net
對(duì)免責(zé)聲明的解釋、修改及更新權(quán)均屬于融合網(wǎng)所有。
相關(guān)新聞>>
您可能感興趣的文章
新聞點(diǎn)評(píng)
快速直達(dá)
新聞關(guān)注排行榜
熱門關(guān)鍵字
熱門圖片
- 私有云對(duì)IT架構(gòu)三大影響
- 帶你認(rèn)識(shí)云計(jì)算 云安全 云安全2.0
- 淺析云計(jì)算分布式并行計(jì)算:編程模型
- 嵇智源:云海OS是擺脫壟斷技術(shù)的新起點(diǎn)
- 用友UAP世界級(jí)云融合平臺(tái)
- 2011IDF:富士康云計(jì)算集裝箱亮相會(huì)場(chǎng)
- 中國(guó)云計(jì)算技術(shù)與產(chǎn)業(yè)聯(lián)盟今成立 吳基傳為理事長(zhǎng)
- 云計(jì)算推動(dòng)數(shù)據(jù)中心向模塊化轉(zhuǎn)型
- 基于GPRS彩信模塊的多功能家庭安防系統(tǒng)
- 云計(jì)算、商業(yè)智能成CIO不可或缺的利器