在EMR Hive或Spark中訪問OSS-HDFS

操作步驟

1. 登入叢集，具體操作請參見登入叢集。

2. 建立指向OSS-HDFS的Hive表。

   1. 執行以下命令，進入Hive命令列。
      hive

   2. 執行以下命令，建立指向OSS-HDFS的資料庫。

      CREATE DATABASE if not exists dw LOCATION 'oss://<yourBucketName>.<yourBucketEndpoint>/<path>';

      說明

      • 上述命令中的dw為資料庫名，<path>為任意路徑，<yourBucketName>.<yourBucketEndpoint>為擷取到的HDFS服務的網域名稱。

      • 本樣本使用OSS-HDFS的網域名稱作為路徑的首碼。如果您希望只使用Bucket名稱來指向OSS-HDFS，則可以配置Bucket層級的Endpoint或全域Endpoint，具體操作請參見附錄一：配置Endpoint的其他方式。
   3. 執行以下命令，使用新建立的資料庫。
      use dw;

   4. 執行以下命令，在建立的資料庫下建立表。
      CREATE TABLE IF NOT EXISTS employee(eid int, name String,salary String,destination String)
      COMMENT 'Employee details';

3. 向表中插入資料。
   使用INSERT INTO語句向表寫入資料，該語句會產生MapReduce作業。

   INSERT INTO employee(eid, name, salary, destination) values(1, 'liu hua', '100.0', '');

4. 驗證表資料。
   SELECT * FROM employee WHERE eid = 1;

   返回資訊中會包含插入的資料。

   OK
   1       liu hua 100.0
   Time taken: 12.379 seconds, Fetched: 1 row(s)