Elastic Compute Service:Hadoop環境の構築

ECS インスタンスに接続します。

次のコマンドを実行して、JDK 1.8インストールパッケージをダウンロードします。

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

次のコマンドを実行して、ダウンロードしたJDK 1.8インストールパッケージを解凍します。

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

次のコマンドを実行して、JDKインストールファイルが抽出されているフォルダを移動および名前変更します。

sudo mv java-se-8u41-ri/ /usr/java8

次のコマンドを実行して、Java環境変数を設定します。

sudo sh -c "echo 'export JAVA_HOME=/usr/java8' >> /etc/profile"
sudo sh -c 'echo "export PATH=\$PATH:\$JAVA_HOME/bin" >> /etc/profile'
source /etc/profile

次のコマンドを実行して、JDKがインストールされているかどうかを確認します。

java -version

次のコマンドを実行して、Hadoopインストールパッケージをダウンロードします。

wget http://mirrors.cloud.aliyuncs.com/apache/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz

次のコマンドを実行して、Hadoopインストールパッケージを /opt/hadoopパスに解凍します。

sudo tar -zxvf hadoop-3.2.4.tar.gz -C /opt/
sudo mv /opt/hadoop-3.2.4 /opt/hadoop

次のコマンドを実行して、Hadoop環境変数を設定します。

sudo sh -c "echo 'export HADOOP_HOME=/opt/hadoop' >> /etc/profile"
sudo sh -c "echo 'export PATH=\$PATH:/opt/hadoop/bin' >> /etc/profile"
sudo sh -c "echo 'export PATH=\$PATH:/opt/hadoop/sbin' >> /etc/profile"
source /etc/profile

次のコマンドを実行して、yarn-env.shおよびhadoop-env.sh設定ファイルを変更します。

sudo sh -c 'echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh'
sudo sh -c 'echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh'

次のコマンドを実行して、Hadoopがインストールされているかどうかを確認します。

hadoop version

Hadoopのcore-site.xml設定ファイルを変更します。

1. 次のコマンドを実行して、core-site.xml設定ファイルを開きます。

   sudo vim /opt/hadoop/etc/hadoop/core-site.xml

2. Iキーを押して挿入モードに入ります。

3. <configuration></configuration> セクションで、次の内容を追加します。

       <property>
           <name>hadoop.tmp.dir</name>
           <value>file:/opt/hadoop/tmp</value>
           <description>location to store temporary files</description>
       </property>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>

   

4. Escキーを押して挿入モードを終了し、:wqと入力してファイルを保存して閉じます。

Hadoopのhdfs-site.xml設定ファイルを変更します。

1. 次のコマンドを実行して、hdfs-site.xml設定ファイルを開きます。

   sudo vim /opt/hadoop/etc/hadoop/hdfs-site.xml

2. Iキーを押して挿入モードに入ります。

3. <configuration></configuration> セクションで、次の内容を追加します。

       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>file:/opt/hadoop/tmp/dfs/name</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>file:/opt/hadoop/tmp/dfs/data</value>
       </property>

   

4. Escキーを押して挿入モードを終了し、:wqと入力してファイルを保存して閉じます。

次のコマンドを実行して、公開鍵と秘密鍵のペアを作成します。

ssh-keygen -t rsa

次のコマンドを実行して、公開鍵をauthorized_keysファイルに追加します。

cd .ssh
cat id_rsa.pub >> authorized_keys

次のコマンドを実行してNameNodeを初期化します。

hadoop namenode -format

Hadoopを起動します。

1. 次のコマンドを実行して、HDFSサービスを開始します。

   start-dfs.shコマンドは、NameNode、SecondaryNameNode、DataNodeなどのコンポーネントを起動してHDFSサービスを開始します。

   start-dfs.sh

   次のコマンド出力は、HDFSサービスが開始されたことを示します。

   

2. 次のコマンドを実行して、YARNサービスを開始します。

   start-yarn.shコマンドは、ResourceManager、NodeManager、ApplicationHistoryServerなどのコンポーネントを起動して、YARNサービスを開始します。

   start-yarn.sh

   次のコマンド出力は、YARNサービスが開始されたことを示します。

   

次のコマンドを実行して、開始されたプロセスを表示します。

jps