:基本概念

Map/Reduce

Map と Reduce は、対応する Map/Reduce メソッド、setup メソッド、および cleanup メソッドをサポートします。 setup メソッドは Map/Reduce メソッドの前に呼び出され、各 worker はそれを一度だけ呼び出します。

cleanup メソッドは map/reduce メソッドの後に呼び出され、各 worker はそれを一度だけ呼び出します。

詳細な例については、 「プログラム例」をご参照ください。

ソート/グループ

出力キーレコードの一部の列はソート列と見なされますが、ユーザー定義のコンパレーターはサポートされていません。ソート列から複数の列をグループ列として選択できますが、ユーザー定義のグループコンパレーターはサポートされていません。ソート列はデータのソートに使用され、グループ列はセカンダリソートに使用されます。

詳細は「SecondarySort の例」をご参照ください。

パーティション

パーティション列とカスタマイズされたパーティショナーの設定をサポートします。 パーティション列は、カスタマイズされたパーティショナーよりも優先順位が高くなります。

ハッシュ論理に従って、パーティショナーは Map 端末上の出力データをさまざまな Reduce Worker に分配します。

Combiner

シャッフルステージで隣接レコードを結合します。 さまざまな業務ロジックに従って、Combiner を使用するかどうかを選択します。

Combiner は MapReduce コンピューティングフレームワークを最適化するのに役立ち、Combiner のロジックは一般に Reduce と似ています。Map がデータを出力した後、フレームワークは Map 端末上で同じキー値を持つデータに対してローカル結合操作を実行します。

詳細は「WordCount のコード例」をご参照ください。