MapReduce 是由Google公司開發(fā)的一個(gè)針對大規(guī)模群組中的海量數(shù)據(jù)處理的分布式編程模型。它實(shí)現(xiàn)了兩個(gè)功能：Map把一個(gè)函數(shù)應(yīng)用于集合中的所有成員，然后返回一個(gè)基于這個(gè)處理的結(jié)果集。而Reduce是把從兩個(gè)或更多個(gè)Map中，通過多個(gè)線程，進(jìn)程或者獨(dú)立系統(tǒng)并行執(zhí)行處理的結(jié)果集進(jìn)行分類和歸納。Map() 和 Reduce() 兩個(gè)函數(shù)可能會(huì)并行運(yùn)行，即使不是在同一的系統(tǒng)的同一時(shí)刻。

微軟于2010年12月21日發(fā)布了分布式并行計(jì)算基礎(chǔ)平臺(tái)Dryad測試版，成為谷歌MapReduce分布式數(shù)據(jù)計(jì)算平臺(tái)的競爭對手。它可以使開發(fā)人員能夠在Windows或者.Net平臺(tái)上編寫大規(guī)模的并行應(yīng)用程序模型，并能夠在單機(jī)上所編寫的程序很輕易的運(yùn)行在分布式并行計(jì)算平臺(tái)上，程序員可以利用數(shù)據(jù)中心的服務(wù)器集群對數(shù)據(jù)進(jìn)行并行處理，當(dāng)程序開發(fā)人員在操作數(shù)千臺(tái)機(jī)器時(shí)，而無需關(guān)心分布式并行處理系統(tǒng)方面的細(xì)節(jié)。本文將重點(diǎn)講述微軟最新Dryad平臺(tái)方面的功能原理以及應(yīng)用。

Dryad平臺(tái)也是構(gòu)建微軟云計(jì)算基礎(chǔ)設(shè)施重要核心技術(shù)之一。要使云計(jì)算真正的“落地”主要面臨兩個(gè)重要問題：如何構(gòu)建與應(yīng)用程序來緊密結(jié)合的大規(guī)模底層基礎(chǔ)設(shè)施?目前構(gòu)建分布式平臺(tái)的基礎(chǔ)設(shè)施主要包括Dryad、Dynamo和MapReduce等框架。

圖1 數(shù)據(jù)并行計(jì)算
 

另一個(gè)問題就是如何通過構(gòu)建新型的云計(jì)算應(yīng)用程序，能夠在網(wǎng)絡(luò)上提供更加豐富的用戶體驗(yàn)?Yahoo擴(kuò)展了MapReduce并提出了MapReduceMerge框架，并可以應(yīng)用到多核處理器上。HP則將注意力關(guān)注于分布式共享內(nèi)存的使用上，而不同于MapReduce編程方面。IBM主要使用Linux系統(tǒng)映像以及Hadoop軟件(Google File System以及MapReduce的開源實(shí)現(xiàn))。微軟則自主研發(fā)了Dryad和DryadLINQ，并可以用于輔助C#開發(fā)人員在計(jì)算機(jī)集群或數(shù)據(jù)中心里分布式并行處理大規(guī)模的數(shù)據(jù)，從而在程序執(zhí)行性能與效率上提高數(shù)倍。

Dryad和DryadLINQ是微軟硅谷研究院創(chuàng)建的研究項(xiàng)目，主要用來提供一個(gè)分布式并行計(jì)算平臺(tái)，DryadLINQ提供一種高級(jí)語言接口，使普通程序員可以輕易進(jìn)行大規(guī)模的分布式計(jì)算，它結(jié)合了微軟Dryad和LINQ兩種關(guān)鍵技術(shù)，被用于在該平臺(tái)上構(gòu)建應(yīng)用。Dryad與微軟體系結(jié)構(gòu)中的位置關(guān)系，如圖2所示。

圖2 Dryad與微軟體系結(jié)構(gòu)的關(guān)系
 

Dryad同MapReduce一樣，它不僅僅是一種編程模型，同時(shí)也是一種高效的任務(wù)調(diào)度模型。Dryad這種編程模型并不僅適用于云計(jì)算，在多核和多處理器以及異構(gòu)機(jī)群上同樣有良好的性能。

我們知道在Visual Studio 2010 C++有一套并行計(jì)算編程框架，支持常用的協(xié)同任務(wù)調(diào)度和硬件資源(例如CPU和內(nèi)存等)管理，通過Work stealing算法可以充分利用細(xì)顆粒度并行的優(yōu)勢，來保證空閑的線程依照一定的策略建模，從所有線程隊(duì)列中“偷取”任務(wù)執(zhí)行，所以能夠讓任務(wù)和數(shù)據(jù)粒度并行。如果一個(gè)耗時(shí)的任務(wù)只被粗略分割成四個(gè)子任務(wù)并發(fā)執(zhí)行，即使是在四核心CPU的計(jì)算機(jī)上運(yùn)行也無法做到實(shí)時(shí)動(dòng)態(tài)的負(fù)載均衡，可能發(fā)生三個(gè)子任務(wù)很早就完成了，而另一個(gè)任務(wù)還在一個(gè)核上是等待狀態(tài)。

Dryad與上述并行框架相似，同樣可以對計(jì)算機(jī)和它們的CPU進(jìn)行調(diào)度，不同的是Dryad被設(shè)計(jì)為伸縮于各種規(guī)模的集群計(jì)算平臺(tái)，無論是單臺(tái)多核計(jì)算機(jī)還是到由多臺(tái)計(jì)算機(jī)組成的集群，甚至擁有數(shù)千臺(tái)計(jì)算機(jī)的數(shù)據(jù)中心，可以從任務(wù)隊(duì)列中創(chuàng)建的策略建模來實(shí)現(xiàn)分布式并行計(jì)算的編程框架。(責(zé)任編輯：admin)