GanosBaseを使用すると、Alibaba Cloud Object Storage Service (OSS) 、MinIO、およびHDFSからファイルをインポートできます。
OSSのファイルパス
ファイルパス:
oss://<access_id >:< secrect_key>@[<Endpoint>]/<bucket>/path_to/file
Endpoint
パラメーターはオプションです。 このパラメーターを指定しない場合、GanosBaseは自動的に必要なエンドポイント
を取得します。endpoint
パラメーターを指定しない場合は、パスがスラッシュ (/
) で始まることを確認してください。
Endpoint
パラメーターは、OSSが存在するリージョンを指定します。 データアクセスを確保するには、クラスターとOSSが同じリージョンにあり、アクセスには内部エンドポイントを使用していることを確認します。 詳細は、「OSSドメイン名」をご参照ください。
MinIOのファイルパス
ファイルパス:
mio://<id >:< key >@< host>[:<port>]/<bucket>/path_to/file
port
パラメーターを指定しないと、HTTPSポートが自動的に使用されます。
データアクセスを確保し、データインポートパフォーマンスを最適化するには、クラスターとMinioが同じリージョンとVirtual Private Cloud (VPC) にあり、アクセスには内部ネットワークアドレスを使用していることを確認します。
Hadoop分散ファイルシステム (HDFS) のファイルパス
ファイルパス:
HDFS://<user_name >@< host >:< port>/path_to/file
以下の点に注意する必要があります。
user_name
パラメーターを指定しない場合、デフォルトのユーザー名としてhadoop
が使用されます。host
パラメーターを、HDFS構成ファイルのリモートプロシージャコール (RPC) エンドポイントおよびポート番号に設定します。
データアクセスを確保し、データインポートパフォーマンスを最適化するには、クラスターとHDFSが同じリージョンとVPCにあり、アクセスには内部IPアドレスを使用していることを確認します。
例
OSS
OSS:// my_id:my_secret@oss-cn-hangzhou-internal.aliyuncs.com/my_bucket/my_folder/my_file
MinIO
MIO:// my_id:my_secret@250.0.0.1:8080/my_bucket/my_folder/my_file
HDFS
secret
パラメーターが指定されていません。 この場合、デフォルト値hadoop
が使用されます。HDFS:// my_id@250.0.0.1:8081/my_folder/my_file
secret
パラメーターが指定されています。HDFS:// my_id:my_secret@250.0.0.1:8081/my_folder/my_file