すべてのプロダクト
Search
ドキュメントセンター

MaxCompute:Hadoop MapReduceとの互換性

最終更新日:Jan 07, 2025

このトピックでは、特定のMaxCompute MapReduceインターフェイスとHadoop MapReduceインターフェイスの互換性について説明します。

次の表は、特定のMaxCompute MapReduceインターフェイスがHadoop MapReduceと互換性があるかどうかを示しています。

タイプ

インターフェイス

Hadoop MapReduceとの互換性

Mapper

void map(KEYINキー、VALUEIN値、org.apache.hadoop.mapreduce.Mapper.Contextコンテキスト)

はい。

Mapper

void run(org.apache.hadoop.mapreduce.Mapper.Contextコンテキスト)

はい。

Mapper

void setup(org.apache.hadoop.mapreduce.Mapper.Contextコンテキスト)

はい。

Reducer

voidクリーンアップ (org.apache.hadoop.mapreduce.Reducer.Contextコンテキスト)

はい。

Reducer

void reduce(KEYINキー、VALUEIN値、org.apache.hadoop.mapreduce.Reducer.Contextコンテキスト)

はい。

Reducer

void run(org.apache.hadoop.mapreduce.Reducer.Contextコンテキスト)

はい。

Reducer

void setup(org.apache.hadoop.mapreduce.Reducer.Contextコンテキスト)

はい。

Partitioner

int getPartition(KEY key, VALUE value, int numPartitions)

はい。

TaskInputOutputContextを拡張するMapContext

InputSplit getInputSplit()

いいえ。 例外が発生します。

ReduceContext

nextKey()

はい。

ReduceContext

getValues()

はい。

TaskInputOutputContext

getCurrentKey()

はい。

TaskInputOutputContext

getCurrentValue()

はい。

TaskInputOutputContext

getOutputCommitter()

いいえ。 例外が発生します。

TaskInputOutputContext

nextKeyValue()

はい。

TaskInputOutputContext

write(KEYOUT key, VALUEOUT value)

はい。

TaskAttemptContext

getCounter(Enum<?) > counterName)

はい。

TaskAttemptContext

getCounter(String groupName, String counterName)

はい。

TaskAttemptContext

setStatus(String msg)

空の実装。

TaskAttemptContext

getStatus()

空の実装。

TaskAttemptContext

getTaskAttemptID()

いいえ。 例外が発生します。

TaskAttemptContext

getProgress()

いいえ。 例外が発生します。

TaskAttemptContext

progress()

はい。

ジョブ

addArchiveToClassPath(Path archive)

いいえ。

ジョブ

addCacheArchive(URI uri)

いいえ。

ジョブ

addCacheFile(URI uri)

いいえ。

ジョブ

addFileToClassPath(Path file)

いいえ。

ジョブ

cleanupProgress()

いいえ。

ジョブ

createSymlink()

いいえ。 例外が発生します。

ジョブ

failTask(TaskAttemptID taskId)

いいえ。

ジョブ

getCompletionPollInterval(Configuration conf)

空の実装。

ジョブ

getCounters()

はい。

ジョブ

getFinishTime()

はい。

ジョブ

getHistoryUrl()

はい。

ジョブ

getInstance()

はい。

ジョブ

getInstance(Cluster ignored)

はい。

ジョブ

getInstance(Cluster ignored, Configuration conf)

はい。

ジョブ

getInstance(Configuration conf)

はい。

ジョブ

getInstance(Configuration conf, String jobName)

空の実装。

ジョブ

getInstance(JobStatus status, Configuration conf)

いいえ。 例外が発生します。

ジョブ

getJobFile()

いいえ。 例外が発生します。

ジョブ

getJobName()

空の実装。

ジョブ

getJobState()

いいえ。 例外が発生します。

ジョブ

getPriority()

いいえ。 例外が発生します。

ジョブ

getProgressPollInterval(Configuration conf)

空の実装。

ジョブ

getReservationId()

いいえ。 例外が発生します。

ジョブ

getSchedulingInfo()

いいえ。 例外が発生します。

ジョブ

getStartTime()

はい。

ジョブ

getStatus()

いいえ。 例外が発生します。

ジョブ

getTaskCompletionEvents(int startFrom)

いいえ。 例外が発生します。

ジョブ

getTaskCompletionEvents(int startFrom, int numEvents)

いいえ。 例外が発生します。

ジョブ

getTaskDiagnostics(TaskAttemptID taskid)

いいえ。 例外が発生します。

ジョブ

getTaskOutputFilter(Configuration conf)

いいえ。 例外が発生します。

ジョブ

getTaskReports(TaskType type)

いいえ。 例外が発生します。

ジョブ

getTrackingURL()

はい。

ジョブ

isComplete()

はい。

ジョブ

isRetired()

いいえ。 例外が発生します。

ジョブ

isSuccessful()

はい。

ジョブ

isUber()

空の実装。

ジョブ

killJob()

はい。

ジョブ

killTask(TaskAttemptID taskId)

いいえ。

ジョブ

mapProgress()

はい。

ジョブ

monitorAndPrintJob()

はい。

ジョブ

reduceProgress()

はい。

ジョブ

setCacheArchives(URI[] archives)

いいえ。 例外が発生します。

ジョブ

setCacheFiles(URI[] files)

いいえ。 例外が発生します。

ジョブ

setCancelDelegationTokenUponJobCompletion(boolean value)

いいえ。 例外が発生します。

ジョブ

setCombinerClass(Class<? extends Reducer> cls)

はい。

ジョブ

setCombinerKeyGroupingComparatorClass(Class<? extends RawComparator> cls)

はい。

ジョブ

setGroupingComparatorClass(Class<? extends RawComparator> cls)

はい。

ジョブ

setInputFormatClass(Class<? extends InputFormat> cls)

空の実装。

ジョブ

setJar(String jar)

はい。

ジョブ

setJarByClass(Class<? > cls)

はい。

ジョブ

setJobName(String name)

空の実装。

ジョブ

setJobSetupCleanupNeeded(boolean needed)

空の実装。

ジョブ

setMapOutputKeyClass(Class<? > theClass)

はい。

ジョブ

setMapOutputValueClass (クラス <? > theClass)

はい。

ジョブ

setMapperClass(Class<? extends Mapper> cls)

はい。

ジョブ

setMapSpeculativeExecution(boolean speculativeExecution)

空の実装。

ジョブ

setMaxMapAttempts(int n)

空の実装。

ジョブ

setMaxReduceAttempts(int n)

空の実装。

ジョブ

setNumReduceTasks(intタスク)

はい。

ジョブ

setOutputFormatClass(Class<? extends OutputFormat> cls)

いいえ 例外が発生します。

ジョブ

setOutputKeyClass(Class<? > theClass)

はい。

ジョブ

setOutputValueClass (クラス <? > theClass)

はい。

ジョブ

setPartitionerClass(Class<? extends Partitioner> cls)

はい。

ジョブ

setPriority(JobPriority priority)

いいえ。 例外が発生します。

ジョブ

setProfileEnabled(boolean newValue)

空の実装。

ジョブ

setProfileParams(String value)

空の実装。

ジョブ

setProfileTaskRange(boolean isMap, String newValue)

空の実装。

ジョブ

setReducerClass(Class<? extends Reducer> cls)

はい。

ジョブ

setReduceSpeculativeExecution(boolean speculativeExecution)

空の実装。

ジョブ

setReservationId(ReservationId reservationId)

いいえ。 例外が発生します。

ジョブ

setSortComparatorClass(Class<? extends RawComparator> cls)

いいえ。 例外が発生します。

ジョブ

setSpeculativeExecution(boolean speculativeExecution)

はい。

ジョブ

setTaskOutputFilter(Configuration conf, org.apache.hadoop.mapreduce.Job.TaskStatusFilter newValue)

いいえ。 例外が発生します。

ジョブ

setupProgress()

いいえ。 例外が発生します。

ジョブ

setUser(String user)

空の実装。

ジョブ

setWorkingDirectory(Path dir)

空の実装。

ジョブ

submit()

はい。

ジョブ

toString()

いいえ。 例外が発生します。

ジョブ

waitForCompletion(boolean verbose)

はい。

Task Execution & Environment

mapreduce.map.java.opts

空の実装。

Task Execution & Environment

mapreduce.reduce.java.opts

空の実装。

Task Execution & Environment

mapreduce.map.memory.mb

空の実装。

Task Execution & Environment

mapreduce.reduce.memory.mb

空の実装。

Task Execution & Environment

mapreduce.task.io.sort.mb

空の実装。

Task Execution & Environment

mapreduce.map.sort.spill.percent

空の実装。

Task Execution & Environment

mapreduce.task.io.soft.factor

空の実装。

Task Execution & Environment

mapreduce.reduce.merge.inmem.thresholds

空の実装。

Task Execution & Environment

mapreduce.reduce.shuffle.merge.percent

空の実装。

Task Execution & Environment

mapreduce.reduce.shuffle.input.buffer.percent

空の実装。

Task Execution & Environment

mapreduce.reduce.input.buffer.percent

空の実装。

Task Execution & Environment

mapreduce.job.id

空の実装。

Task Execution & Environment

mapreduce.job.jar

空の実装。

Task Execution & Environment

mapreduce.job.local.dir

空の実装。

Task Execution & Environment

mapreduce.task.id

空の実装。

Task Execution & Environment

mapreduce.task.attempt.id

空の実装。

Task Execution & Environment

mapreduce.task.is.map

空の実装。

Task Execution & Environment

mapreduce.task.partition

空の実装。

Task Execution & Environment

mapreduce.map.input.file

空の実装。

Task Execution & Environment

mapreduce.map.input.start

空の実装。

Task Execution & Environment

mapreduce.map.input.length

空の実装。

Task Execution & Environment

mapreduce.task.output.dir

空の実装。

JobClient

cancelDelegationToken (トークン <DelegationTokenIdentifier> トークン)

いいえ。 例外が発生します。

JobClient

close()

空の実装。

JobClient

displayTasks(JobID jobId, String type, String state)

いいえ。 例外が発生します。

JobClient

getAllJobs()

いいえ。 例外が発生します。

JobClient

getCleanupTaskReports(JobID jobId)

いいえ。 例外が発生します。

JobClient

getClusterStatus()

いいえ。 例外が発生します。

JobClient

getClusterStatus(boolean detailed)

いいえ。 例外が発生します。

JobClient

getDefaultMaps()

いいえ。 例外が発生します。

JobClient

getDefaultReduces()

いいえ。 例外が発生します。

JobClient

getDelegationToken(Text renewer)

いいえ。 例外が発生します。

JobClient

getFs()

いいえ。 例外が発生します。

JobClient

getJob(JobID jobid)

いいえ。 例外が発生します。

JobClient

getJob(String jobid)

いいえ。 例外が発生します。

JobClient

getJobsFromQueue(String queueName)

いいえ。 例外が発生します。

JobClient

getMapTaskReports(JobID jobId)

いいえ。 例外が発生します。

JobClient

getMapTaskReports(String jobId)

いいえ。 例外が発生します。

JobClient

getQueueAclsForCurrentUser()

いいえ。 例外が発生します。

JobClient

getQueueInfo(String queueName)

いいえ。 例外が発生します。

JobClient

getQueues()

いいえ。 例外が発生します。

JobClient

getReduceTaskReports(JobID jobId)

いいえ。 例外が発生します。

JobClient

getReduceTaskReports(String jobId)

いいえ。 例外が発生します。

JobClient

getSetupTaskReports(JobID jobId)

いいえ。 例外が発生します。

JobClient

getStagingAreaDir()

いいえ。 例外が発生します。

JobClient

getSystemDir()

いいえ。 例外が発生します。

JobClient

getTaskOutputFilter()

いいえ。 例外が発生します。

JobClient

getTaskOutputFilter(JobConf job)

いいえ。 例外が発生します。

JobClient

init(JobConf conf)

いいえ。 例外が発生します。

JobClient

isJobDirValid(Path jobDirPath, FileSystem fs)

いいえ。 例外が発生します。

JobClient

jobsToComplete()

いいえ。 例外が発生します。

JobClient

monitorAndPrintJob(JobConf conf, RunningJob job)

いいえ。 例外が発生します。

JobClient

renewDelegationToken (トークン <DelegationTokenIdentifier> トークン)

いいえ。 例外が発生します。

JobClient

run(String[] argv)

いいえ。 例外が発生します。

JobClient

runJob(JobConf job)

はい。

JobClient

setTaskOutputFilter(JobClient.TaskStatusFilter newValue)

いいえ。 例外が発生します。

JobClient

setTaskOutputFilter(JobConf job, JobClient.TaskStatusFilter newValue)

いいえ。 例外が発生します。

JobClient

submitJob(JobConf job)

はい。

JobClient

submitJob(String jobFile)

いいえ。 例外が発生します。

JobConf

deleteLocalFiles()

いいえ。 例外が発生します。

JobConf

deleteLocalFiles(String subdir)

いいえ。 例外が発生します。

JobConf

normalizeMemoryConfigValue(long val)

空の実装。

JobConf

setCombinerClass(Class<? extends Reducer> theClass)

はい。

JobConf

setCompressMapOutput(boolean compress)

空の実装。

JobConf

setInputFormat(Class<? extends InputFormat> theClass)

いいえ。 例外が発生します。

JobConf

setJar(String jar)

いいえ。 例外が発生します。

JobConf

setJarByClass(Class cls)

いいえ。 例外が発生します。

JobConf

setJobEndNotificationURI(String uri)

いいえ。 例外が発生します。

JobConf

setJobName(String name)

空の実装。

JobConf

setJobPriority(JobPriority prio)

いいえ。 例外が発生します。

JobConf

setKeepFailedTaskFiles(boolean keep)

いいえ。 例外が発生します。

JobConf

setKeepTaskFilesPattern(String pattern)

いいえ。 例外が発生します。

JobConf

setKeyFieldComparatorOptions(String keySpec)

いいえ。 例外が発生します。

JobConf

setKeyFieldPartitionerOptions(String keySpec)

いいえ。 例外が発生します。

JobConf

setMapDebugScript(String mDbgScript)

空の実装。

JobConf

setMapOutputCompressorClass(Class<? extends CompressionCodec> codecClass)

空の実装。

JobConf

setMapOutputKeyClass(Class<? > theClass)

はい。

JobConf

setMapOutputValueClass(Class<? > theClass)

はい。

JobConf

setMapperClass(Class<? extends Mapper> theClass)

はい。

JobConf

setMapRunnerClass(Class<? extends MapRunnable> theClass)

いいえ。 例外が発生します。

JobConf

setMapSpeculativeExecution(boolean speculativeExecution)

空の実装。

JobConf

setMaxMapAttempts(int n)

空の実装。

JobConf

setMaxMapTaskFailuresPercent(int percent)

空の実装。

JobConf

setMaxPhysicalMemoryForTask(long mem)

空の実装。

JobConf

setMaxReduceAttempts(int n)

空の実装。

JobConf

setMaxReduceTaskFailuresPercent(int percent)

空の実装。

JobConf

setMaxTaskFailuresPerTracker(int noFailures)

空の実装。

JobConf

setMaxVirtualMemoryForTask(long vmem)

空の実装。

JobConf

setMemoryForMapTask(long mem)

はい。

JobConf

setMemoryForReduceTask(long mem)

はい。

JobConf

setNumMapTasks(int n)

はい。

JobConf

setNumReduceTasks(int n)

はい。

JobConf

setNumTasksToExecutePerJvm(int numTasks)

空の実装。

JobConf

setOutputCommitter(Class<? extends OutputCommitter> theClass)

いいえ。 例外が発生します。

JobConf

setOutputFormat(Class<? extends OutputFormat> theClass)

空の実装。

JobConf

setOutputKeyClass(Class<? > theClass)

はい。

JobConf

setOutputKeyComparatorClass(Class<? extends RawComparator> theClass)

いいえ。 例外が発生します。

JobConf

setOutputValueClass(Class<? > theClass)

はい。

JobConf

setOutputValueGroupingComparator(Class<? extends RawComparator> theClass)

いいえ。 例外が発生します。

JobConf

setPartitionerClass(Class<? extends Partitioner> theClass)

はい。

JobConf

setProfileEnabled(boolean newValue)

空の実装。

JobConf

setProfileParams(String value)

空の実装。

JobConf

setProfileTaskRange(boolean isMap, String newValue)

空の実装。

JobConf

setQueueName(String queueName)

いいえ。 例外が発生します。

JobConf

setReduceDebugScript(String rDbgScript)

空の実装。

JobConf

setReducerClass(Class<? extends Reducer> theClass)

はい。

JobConf

setReduceSpeculativeExecution(boolean speculativeExecution)

空の実装。

JobConf

setSessionId(String sessionId)

空の実装。

JobConf

setSpeculativeExecution(boolean speculativeExecution)

いいえ。 例外が発生します。

JobConf

setUseNewMapper(boolean flag)

はい。

JobConf

setUseNewReducer(boolean flag)

はい。

JobConf

setUser(String user)

空の実装。

JobConf

setWorkingDirectory(Path dir)

空の実装。

FileInputFormat

非該当

いいえ。 例外が発生します。

TextInputFormat

非該当

はい。

InputSplit

mapred.min.split.size.

いいえ。 例外が発生します。

FileSplit

map.input.file

いいえ。 例外が発生します。

RecordWriter

非該当

いいえ。 例外が発生します。

RecordReader

非該当

いいえ。 例外が発生します。

OutputFormat

非該当

いいえ。 例外が発生します。

OutputCommitter

abortJob(JobContext jobContext, int status)

いいえ。 例外が発生します。

OutputCommitter

abortJob(JobContext context, JobStatus.State runState)

いいえ。 例外が発生します。

OutputCommitter

abortTask(TaskAttemptContext taskContext)

いいえ。 例外が発生します。

OutputCommitter

abortTask(TaskAttemptContext taskContext)

いいえ。 例外が発生します。

OutputCommitter

cleanupJob(JobContext jobContext)

いいえ。 例外が発生します。

OutputCommitter

cleanupJob(JobContext context)

いいえ。 例外が発生します。

OutputCommitter

commitJob(JobContext jobContext)

いいえ。 例外が発生します。

OutputCommitter

commitJob(JobContext context)

いいえ。 例外が発生します。

OutputCommitter

commitTask(TaskAttemptContext taskContext)

いいえ。 例外が発生します。

OutputCommitter

needsTaskCommit(TaskAttemptContext taskContext)

いいえ。 例外が発生します。

OutputCommitter

needsTaskCommit(TaskAttemptContext taskContext)

いいえ。 例外が発生します。

OutputCommitter

setupJob(JobContext jobContext)

いいえ。 例外が発生します。

OutputCommitter

setupJob(JobContext jobContext)

いいえ。 例外が発生します。

OutputCommitter

setupTask(TaskAttemptContext taskContext)

いいえ。 例外が発生します。

OutputCommitter

setupTask(TaskAttemptContext taskContext)

いいえ。 例外が発生します。

Counter

getDisplayName()

はい。

Counter

getName()

はい。

Counter

getValue()

はい。

Counter

increment(long incr)

はい。

Counter

setValue(long value)

はい。

Counter

setDisplayName(String displayName)

はい。

DistributedCache

CACHE_ARCHIVES

いいえ。 例外が発生します。

DistributedCache

CACHE_ARCHIVES_SIZES

いいえ。 例外が発生します。

DistributedCache

CACHE_ARCHIVES_TIMESTAMPS

いいえ。 例外が発生します。

DistributedCache

CACHE_FILES

いいえ。 例外が発生します。

DistributedCache

CACHE_FILES_SIZES

いいえ。 例外が発生します。

DistributedCache

CACHE_FILES_TIMESTAMPS

いいえ。 例外が発生します。

DistributedCache

CACHE_LOCALARCHIVES

いいえ。 例外が発生します。

DistributedCache

CACHE_LOCALFILES

いいえ。 例外が発生します。

DistributedCache

CACHE_SYMLINK

いいえ。 例外が発生します。

DistributedCache

addArchiveToClassPath(Path archive, Configuration conf)

いいえ。 例外が発生します。

DistributedCache

addArchiveToClassPath (パスアーカイブ、構成conf、FileSystem fs)

いいえ。 例外が発生します。

DistributedCache

addCacheArchive(URI uri, Configuration conf)

いいえ。 例外が発生します。

DistributedCache

addCacheFile(URI uri, Configuration conf)

いいえ。 例外が発生します。

DistributedCache

addFileToClassPath(Path file, Configuration conf)

いいえ。 例外が発生します。

DistributedCache

addFileToClassPath (パスファイル, Configuration conf, FileSystem fs)

いいえ。 例外が発生します。

DistributedCache

addLocalArchives(Configuration conf, String str)

いいえ。 例外が発生します。

DistributedCache

addLocalFiles(Configuration conf, String str)

いいえ。 例外が発生します。

DistributedCache

checkURIs(URI[] uriFiles, URI[] uriArchives)

いいえ。 例外が発生します。

DistributedCache

createAllSymlink (構成conf, ファイルjobCacheDir, ファイルworkDir)

いいえ 例外が発生します。

DistributedCache

createSymlink (構成conf)

いいえ 例外が発生します。

DistributedCache

getArchiveClassPaths (構成conf)

いいえ 例外が発生します。

DistributedCache

getArchiveTimestamps(Configuration conf)

いいえ。 例外が発生します。

DistributedCache

getCacheArchives(Configuration conf)

いいえ。 例外が発生します。

DistributedCache

getCacheFiles(Configuration conf)

いいえ。 例外が発生します。

DistributedCache

getFileClassPaths(Configuration conf)

いいえ。 例外が発生します。

DistributedCache

getFileStatus(Configuration conf, URI cache)

いいえ。 例外が発生します。

DistributedCache

getFileTimestamps(Configuration conf)

いいえ。 例外が発生します。

DistributedCache

getLocalCacheArchives(Configuration conf)

いいえ。 例外が発生します。

DistributedCache

getLocalCacheFiles(Configuration conf)

いいえ。 例外が発生します。

DistributedCache

getSymlink(Configuration conf)

いいえ。 例外が発生します。

DistributedCache

getTimestamp(Configuration conf, URI cache)

いいえ。 例外が発生します。

DistributedCache

setArchiveTimestamps(Configuration conf, String timestamps)

いいえ。 例外が発生します。

DistributedCache

setCacheArchives(URI[] archives, Configuration conf)

いいえ。 例外が発生します。

DistributedCache

setCacheFiles(URI[] files, Configuration conf)

いいえ。 例外が発生します。

DistributedCache

setFileTimestamps(Configuration conf, String timestamps)

いいえ。 例外が発生します。

DistributedCache

setLocalArchives(Configuration conf, String str)

いいえ。 例外が発生します。

DistributedCache

setLocalFiles(Configuration conf, String str)

いいえ。 例外が発生します。

IsolationRunner

非該当

いいえ。 例外が発生します。

Profiling

非該当

空の実装。

デバッグ

非該当

空の実装。

Data Compression

非該当

はい。

Skipping Bad Records

非該当

いいえ。 例外が発生します。

Job Authorization

mapred.acls.enabled

いいえ。 例外が発生します。

Job Authorization

mapreduce.job.acl-view-job

いいえ。 例外が発生します。

Job Authorization

mapreduce.job.acl-modify-job

いいえ。 例外が発生します。

Job Authorization

mapreduce.cluster.administrators

いいえ。 例外が発生します。

Job Authorization

mapred.queue.queue-name.acl-administer-jobs

いいえ。 例外が発生します。

MultipleInputs

非該当

いいえ。 例外が発生します。

Multi{anchor:_GoBack}pleOutputs

非該当

はい。

org.apache.hadoop.mapreduce.lib.db

非該当

いいえ。 例外が発生します。

org.apache.hadoop.mapreduce.security

非該当

いいえ。 例外が発生します。

org.apache.hadoop.mapreduce.lib.jobcontrol

非該当

いいえ。 例外が発生します。

org.apache.hadoop.mapreduce.lib.chain

非該当

いいえ。 例外が発生します。

org.apache.hadoop.mapreduce.lib.db

非該当

いいえ。 例外が発生します。