mapreduce體系結(jié)構(gòu)中,什么負(fù)責(zé)資源監(jiān)控和作業(yè)調(diào)度?
隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展,每天由網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)量越來越龐大。互聯(lián)網(wǎng)企業(yè)面對這些浩繁的數(shù)據(jù),常常陷入數(shù)據(jù)豐富而信息貧乏的尷尬境地。MapReduce是Google提出的一種用于大規(guī)模數(shù)據(jù)并行運(yùn)算的模型。由于簡單、易于實(shí)現(xiàn)、可擴(kuò)展性強(qiáng)以及良好的容錯(cuò)性等優(yōu)點(diǎn),MapReduce被廣泛應(yīng)用于日志分析和海量數(shù)據(jù)排序等大規(guī)模數(shù)據(jù)分析領(lǐng)域。然而,通過對MapReduce的深入分析以及與并行數(shù)據(jù)庫管理系統(tǒng)進(jìn)行比較后,發(fā)現(xiàn) MapReduce在性能方面不及傳統(tǒng)的并行數(shù)據(jù)庫管理系統(tǒng)。因此如何提高 MapReduce的性能已經(jīng)成為大規(guī)模數(shù)據(jù)并行運(yùn)算領(lǐng)域中的一個(gè)研究熱點(diǎn)和難點(diǎn)問題。本文對通過優(yōu)化作業(yè)調(diào)度算法的途徑來提高M(jìn)apReduce性能的技術(shù)展開了研究。 首先,介紹了MapReduce計(jì)算模型及其工作機(jī)制,重點(diǎn)分析了MapReduce作業(yè)執(zhí)行流程和特點(diǎn)。 其次,分析了MapReduce作業(yè)執(zhí)行時(shí)間的影響因素

什么是云計(jì)算?和計(jì)算機(jī)有什么聯(lián)系?
云計(jì)算(cloud computing)是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式,通常涉及通過互聯(lián)網(wǎng)來提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法。過去在圖中往往用云來表示電信網(wǎng),后來也用來表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。因此,云計(jì)算甚至可以讓你體驗(yàn)每秒10萬億次的運(yùn)算能力,擁有這么強(qiáng)大的計(jì)算能力可以模擬核爆炸、預(yù)測氣候變化和市場發(fā)展趨勢。用戶通過電腦、筆記本、手機(jī)等方式接入數(shù)據(jù)中心,按自己的需求進(jìn)行運(yùn)算。對云計(jì)算的定義有多種說法。對于到底什么是云計(jì)算,至少可以找到100種解釋。 現(xiàn)階段廣為接受的是美國國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)定義:云計(jì)算是一種按使用量付費(fèi)的模式,這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問, 進(jìn)入可配置的計(jì)算資源共享池(資源包括網(wǎng)絡(luò),服務(wù)器,存儲(chǔ),應(yīng)用軟件,服務(wù)),這些資源能夠被快速提供,只需投入很少的管理工作,或與服務(wù)供應(yīng)商進(jìn)行很少的交互

kf@jusoucn.com
4008-020-360


4008-020-360
