ossfsを使用すると、Object Storage Service (OSS) バケットをLinuxオペレーティングシステムのローカルディレクトリにマウントできます。 これにより、ローカルファイルの管理と同じ方法でバケット内のデータを管理できます。
概要
ossfsはFilesystem in Userspace (FUSE) ベースのファイルシステムで、Linuxオペレーティングシステム上のローカルディレクトリにOSSバケットをマウントでき、次の機能をサポートします。
ファイルとディレクトリのアップロードとダウンロード、ユーザー権限管理など、POSIX標準で説明されているほとんどの機能をサポートします。
デフォルトでは、マルチパートアップロードと再開可能アップロードを使用してOSSオブジェクトをアップロードします。
MD5検証をサポートし、データの整合性を確保します。
ランタイム環境
ossfsはFUSEベースのファイルシステムであり、FUSE互換マシンでのみ動作します。 ossfsは、次のシステム用のインストーラーパッケージを提供します。 他の環境でossfsを実行するには、ソースコードを使用して必要なプログラムをビルドする必要があります。
Linux
CentOS 7.0以降
Ubuntu 14.04以降
Anolis7以降
FUSE 2.8.4以降
fusermount -Vコマンドを実行して、FUSEのバージョンを確認できます。 応答のfusermount versionパラメーターの値が2.8.4以降 (2.9.2など) の場合、FUSEのバージョンは要件を満たしています。
制限事項
ossfsを使用してLinuxオペレーティングシステムのローカルディレクトリにバケットをマウントする場合、ossfsには次の制限が適用されます。
ossfsは、高同時読み取りおよび書き込み操作を必要とするシナリオには適していません。
説明読み取り操作と書き込み操作の両方がディスク容量を消費します。 同時並行性の高い読み取り /書き込みシナリオでは、ディスクのパフォーマンスにより読み取りおよび書き込み操作が制限されます。
同時の読み取り要求と書き込み要求はリソースを求めて競合し、帯域幅に影響します。
ossfsはハードリンクをサポートしていません。
アーカイブ、コールドアーカイブ、およびディープコールドアーカイブバケットは、ossfsを使用してローカルファイルシステムにマウントすることはできません。
ossfsを使用してアップロードされたオブジェクトを編集すると、オブジェクトは再アップロードされます。
OSSサーバーにリモートアクセスする必要があるため、
リストディレクトリなどのメタデータ関連の操作のパフォーマンスが低下します。オブジェクトまたはディレクトリの名前を変更すると、エラーが発生する可能性があります。 操作の失敗は、データの不一致を引き起こす可能性があります。
バケットが複数のクライアントにマウントされ、データが同時にマウントポイントに書き込まれる場合、ossfsは一貫性を保証しません。
ossfsの使い方
次のセクションはossfs 1.91.3以降に適用されます。 最新バージョンのossfsをダウンロードしてインストールする方法の詳細については、「インストール」をご参照ください。
モード紹介
デフォルト読み取りモード
デフォルトの読み取りモードは、小さなファイル (ページキャッシュに完全にキャッシュできるファイル) と大きなファイルに対するランダムな読み取り専用操作に適しています。 たとえば、AIトレーニングタスクが直接読み取りモードで画像を読み取るパフォーマンスが低い場合、特定のランダム読み取り操作を追加しても、デフォルトの読み取りモードに切り替えることをお勧めします。
ossfsがファイルを読み取ると、カーネルはマウントポイントからメモリにファイルのコピーをキャッシュし、ローカルディスクのファイルにデータを書き込みます。 その結果、読み取り操作によって消費されるキャッシュサイズは、ファイルのサイズの2倍になります。
オペレーティングシステムのページキャッシュがダーティページに最大6 GBのデータをキャッシュできる場合、デフォルトの読み取りモードは理論的には3 GB未満のファイルを読み取るのに適しています。
parallel_countパラメーターを使用して同時ダウンロードタスクの数を変更し、multipart_sizeパラメーターを使用して1つのタスクでダウンロードできるデータ量を指定できます。
直接読み取りモード
直接読み取りモードは、大きなファイルの順次読み取りを伴うシナリオに適しており、制限された程度のランダム読み取りアクセス (いくつかのチャンクをスキップする読み取りなど) を可能にします。 たとえば、AI推論シナリオでハイブリッド読み取りモードを使用して、大きなSafetensorsファイルをロードできます。
直接読み取りモードを有効にするには、
-odirect_readパラメーターをenabledに設定します。直接読み取りモードでは、ossfsはの範囲内のデータをメモリに保持します。
[-direct_read_backward_chunks * direct_read_chunk_size、+ direct_read_prefetch_chunks * direct_read_chunk_size]で、direct_read_chunk_sizeはデフォルトで4 MBに設定され、direct_read_prefetch_chunksはデフォルトで32に設定され、direct_read_backward_chunksはデフォルトで1に設定されています。 デフォルトでは、ossfsは[-4 MB, + 128 MB]の範囲内のデータをメモリに保持します。 直接読み取りモードは、小さな範囲に制限されたランダム読み取りもサポートします。 たとえば、Safetensorsファイルからの2つの連続した読み取りが[-32 MB, + 32 MB]の範囲内である場合、現在のオフセットの前に32 MBのデータを保持するように-odirect_read_backward_chunks=8を設定できます。direct_read_prefet_chunkおよびdirect_read_chunk_sizeパラメーターを変更して、帯域幅の使用量を最大化するために同時にプリフェッチできるデータ量を増やすことができます。
ハイブリッド読み取りモード
ハイブリッド読み取りモードは、小さなファイル (ページキャッシュに完全にキャッシュできるファイル) と大きなファイルの組み合わせに対する読み取り専用操作に適しており、いくつかのチャンクをスキップする読み取りなど、ランダム読み取りアクセスの程度が制限されています。 たとえば、AI推論シナリオでハイブリッド読み取りモードを使用して、大きなSafetensorsファイルをロードできます。 ランダム読み取りが広いオフセット範囲に及ぶ場合、ハイブリッド読み取りモードは、デフォルト読み取りモードと比較して低い読み取り性能を提供します。
ハイブリッド読み取りモードを有効にするには、
-odirect_readパラメーターをenabledに設定します。直接読み取りモードが使用されるデータサイズのしきい値を指定するには、
direct_read_local_file_cache_size_mbパラメーターを設定する必要があります。 たとえば、マシンに最大6 GBのページキャッシュが用意されている場合、ダウンロードしたデータが3 GBに達したときに-odirect_read_local_file_cache_size_mb=3072を直接読み取りモードに切り替えるように設定できます。直接読み取りモードでは、ossfsはの範囲内のデータをメモリに保持します。
[-direct_read_backward_chunks * direct_read_chunk_size、+ direct_read_prefetch_chunks * direct_read_chunk_size]で、direct_read_chunk_sizeはデフォルトで4 MBに設定され、direct_read_prefetch_chunksはデフォルトで32に設定され、direct_read_backward_chunksはデフォルトで1に設定されています。 デフォルトでは、ossfsは[-4 MB, + 128 MB]の範囲内のデータをメモリに保持します。 直接読み取りモードは、小さな範囲に制限されたランダム読み取りもサポートします。 たとえば、Safetensorsファイルからの2つの連続した読み取りが[-32 MB, + 32 MB]の範囲内である場合、現在のオフセットの前に32 MBのデータを保持するように-odirect_read_backward_chunks=8を設定できます。direct_read_prefet_chunkおよびdirect_read_chunk_sizeパラメーターを変更して、帯域幅の使用量を最大化するために同時にプリフェッチできるデータ量を増やすことができます。
モード選択ガイダンス
ossfsがファイルを読み取り、同時に書き込む場合は、デフォルトの読み取りモードを使用します。
ossfsがファイルのみを読み取る場合、またはファイルを読み取って別のファイルを書き込む場合:
シナリオ
説明
小さなファイルのみ
デフォルトの読み取りモードを使用します。
大きなファイルのみ
大きなファイルを順番に読み取るか、狭い範囲をカバーする読み取りオフセットを持つ特定のSafetensorsファイルをランダムに読み取るには、直接読み取りモードを使用します。
広いオフセット範囲をカバーするランダム読み取り操作を実行するには、デフォルトの読み取りモードを使用します。
ビジネスシナリオに適した読み取りモードがわからない場合、または直接読み取りモードでdirect_read_backward_chunksパラメーターを変更した後もパフォーマンスが不十分な場合は、デフォルトの読み取りモードを使用します。
小さなファイルと大きなファイル
大きなファイルを順番に読み取るか、狭い範囲をカバーする読み取りオフセットを持つ特定のSafetensorsファイルをランダムに読み取るには、ハイブリッド読み取りモードを使用します。
幅広い範囲をカバーするオフセットを含むランダム読み取りを実行する場合、適切な読み取りモードが不明である場合、またはハイブリッド読み取りモードでdirect_read_backward_chunksパラメーターを変更した後でもパフォーマンスが不十分な場合は、デフォルトの読み取りモードを使用します。
説明直接読み取りモードまたはハイブリッド読み取りモードでパフォーマンスが不十分な場合は、デフォルトの読み取りモードに切り替えて、データをローカルディスクに保存します。 デフォルトの読み取りモードでは、ディスクパフォーマンスはossfs読み取りパフォーマンスのパフォーマンス制約です。 より高いパフォーマンスレベルのディスクを使用することを推奨します。 たとえば、適切にプロビジョニングされたパフォーマンスとバーストパフォーマンスの設定があるESSD AutoPLディスクを使用できます。
次に何をすべきか
ossfsを使用してOSSバケットをローカルディレクトリにマウントする前に、ossfsをインストールして設定し、マウント操作を実行する必要があります。 詳細については、「インストール」および「ossfsの設定とマウント操作の実行」をご参照ください。
関連ドキュメント
マウント操作の実行方法の詳細については、「ossfsの設定とマウント操作の実行」をご参照ください。
ossfsオプションの詳細については、「ossfsでサポートされているオプション」をご参照ください。
ossfsの異なるバージョンの新機能の詳細については、「ossfsの異なるバージョンの新機能」をご参照ください。
ossfsを使用するときに発生する可能性のある問題の詳細については、「FAQ」をご参照ください。