MaxCompute：MapReduce

MapReduce支援下列情境：

• 搜尋：網頁爬取、倒排索引、PageRank。

• Web訪問日誌分析：

  • 分析和挖掘使用者在Web上的訪問、購物行為特徵，實現個人化推薦。

  • 分析使用者訪問行為。

• 文本統計分析：

  • 熱門小說的字數統計（WordCount）、詞頻TFIDF分析。

  • 學術論文、專利文獻的引用分析和統計。

  • 維基百科資料分析。

• 海量資料採礦：非結構化資料、時空資料和映像資料採礦。

• 機器學習：監督學習、無監督學習和分類演算法（例如決策樹、SVM）。

• 自然語言處理：

  • 基於巨量資料的訓練和預測。

  • 基於語料庫構建單詞同現矩陣，頻繁項集資料採礦、重複項檢測等。

• 廣告推薦：使用者單擊（CTR）和購買行為（CVR）預測。

MapReduce處理資料過程主要分成Map和Reduce兩個階段。首先執行Map階段，再執行Reduce階段。Map和Reduce的處理邏輯由使用者自訂實現，但要符合MapReduce架構的約定。MapReduce處理資料的完整流程如下：

1. 輸入資料：對文本進行分區，將每片內的資料作為單個Map Worker的輸入。分區完畢後，多個Map Worker便可以同時工作。

   在正式執行Map前，需要將輸入資料進行分區。所謂分區，就是將輸入資料切分為大小相等的資料區塊，每一塊作為單個Map Worker的輸入被處理，以便於多個Map Worker同時工作。

2. Map階段：每個Map Worker在讀入各自的資料後，進行計算處理，最終輸出給Reduce。Map Worker在輸出資料時，需要為每一條輸出資料指定一個Key，這個Key值決定了這條資料將會被發送給哪一個Reduce Worker。Key值和Reduce Worker是多對一的關係，具有相同Key的資料會被發送給同一個Reduce Worker，單個Reduce Worker有可能會接收到多個Key值的資料。

3. 在進入Reduce階段之前，MapReduce架構會對資料按照Key值排序，使得具有相同Key的資料彼此相鄰。如果您指定了合併作業（Combiner），架構會調用Combiner，將具有相同Key的資料進行彙總。Combiner的邏輯可以由您自訂實現。與經典的MapReduce架構協議不同，在MaxCompute中，Combiner的輸入、輸出的參數必須與Reduce保持一致，這部分的處理通常也叫做洗牌（Shuffle）。

4. Reduce階段：進入Reduce階段，相同Key的資料會傳送至同一個Reduce Worker。同一個Reduce Worker會接收來自多個Map Worker的資料。每個Reduce Worker會對Key相同的多個資料進行Reduce操作。最後，一個Key的多條資料經過Reduce的作用後，將變成一個值。

5. 輸出結果資料。

假設存在一個文本a.txt，文本內每行是一個數字，您要統計每個數字出現的次數。文本內的數字稱為Word，數字出現的次數稱為Count。如果MaxCompute MapReduce完成這一功能，需要經歷以下流程，圖示如下。