:ossfs V1.91.2およびV1.91.3の新機能

直読

直接読み取りモードは、大きなファイルの順次読み取りを含むシナリオに適しており、制限された程度のランダム読み取りアクセス (いくつかのチャンクをスキップする読み取りなど) を可能にします。 たとえば、AI推論シナリオでは、直接読み取りモードを使用して、大きなSafetensorsファイルを読み込むことができます。

• 直接読み取りモードを有効にするには、-odirect_readパラメーターを指定する必要があります。

• 直接読み取りモードでは、ossfsはメモリに [-direct_read_backward_chunks * direct_read_chunk_size, + direct_read_prefetch_chunks * direct_read_chunk_size] の範囲内のデータを保持します。 デフォルトでは、ossfsは [-4 MB, + 128 MB] の範囲内のデータをメモリに保持します。 直接読み取りモードは、小さな範囲に制限されたランダム読み取りもサポートします。 たとえば、Safetensorsファイルからの2つの連続した読み取りが [-32 MB, + 32 MB] の範囲内にある場合、現在のオフセットの前に32 MBのデータを保持するように "-odirect_read_backward_chunks=8" を設定できます。

• direct_read_prefetch_chunksおよびdirect_read_chunk_sizeパラメーターを調整して、帯域幅の使用量を最大化するために並列にプリフェッチできるデータ量を増やすことができます。

デフォルトの読み取りモード

デフォルトの読み取りモードは、小さなファイル (ページキャッシュに完全にキャッシュできるファイル) と大きなファイルに対するランダムな読み取り専用操作に適しています。 たとえば、AIトレーニングプロジェクトで直接読み取りモードで画像を読み取るパフォーマンスが低い場合、ランダム読み取り操作を追加しても、デフォルトの読み取りモードに切り替えることをお勧めします。

ossfsがファイルを読み取ると、カーネルはマウントポイントからメモリにファイルのコピーをキャッシュし、ローカルディスクのファイルにデータを書き込みます。 その結果、このような読み出し動作によって消費されるキャッシュサイズは、ファイルサイズの2倍になる。

• システムのページキャッシュがダーティページに最大6 GBのデータをキャッシュできる場合、理論的には、サイズが3 GB未満のファイルを読み取るにはデフォルトの読み取りモードが適しています。

• parallel_countパラメーターを使用して同時ダウンロードタスクの数を調整し、multipart_sizeパラメーターを使用して1つのタスクでダウンロードできるデータ量を設定できます。

ハイブリッド読み取り

ハイブリッド読み取りモードは、小さなファイル (ページキャッシュに完全にキャッシュできるファイル) と大きなファイルの組み合わせに対する読み取り専用操作に適しており、制限された程度のランダム読み取りアクセス (いくつかのチャンクをスキップする読み取りなど) も可能にします。 たとえば、AI推論シナリオで大規模なSafetensorsファイルをロードする場合、ランダム読み取りが広いオフセット範囲に及ぶ場合、ハイブリッド読み取りモードはデフォルトの読み取りモードよりも読み取りパフォーマンスが低くなります。

• ハイブリッド読み取りモードを有効にするには、-odirect_readパラメーターを指定する必要があります。

• 直接読み取りモードが使用されるデータサイズのしきい値を設定するには、direct_read_local_file_cache_size_mbパラメーターを設定する必要があります。 たとえば、マシンが最大6 GBのページキャッシュを提供している場合、ダウンロードしたデータが3 GBに達したときに「-odirect_read_local_file_cache_size_mb=3072」を設定して直接読み取りモードに切り替えることができます。

• 直接読み取りモードでは、ossfsはメモリに [-direct_read_backward_chunks * direct_read_chunk_size, + direct_read_prefetch_chunks * direct_read_chunk_size] の範囲内のデータを保持します。 デフォルトでは、ossfsは [-4 MB, + 128 MB] の範囲内のデータをメモリに保持します。 直接読み取りモードは、小さな範囲に制限されたランダム読み取りもサポートします。 たとえば、Safetensorsファイルからの2つの連続した読み取りが [-32 MB, + 32 MB] の範囲内にある場合、現在のオフセットの前に32 MBのデータを保持するように "-odirect_read_backward_chunks=8" を設定できます。

• direct_read_prefetch_chunksおよびdirect_read_chunk_sizeパラメーターを調整して、帯域幅の使用量を最大化するために並列にプリフェッチできるデータ量を増やすことができます。

テスト1: シーケンシャル読み取り

• マシン仕様

  • メモリ: 32 GB

  • ディスク帯域幅: 130メガバイト/秒

  • 内部帯域幅: 750メガバイト/秒

• マウントコマンド

  • ossfsをデフォルトの読み取りモードでマウントする:

    ossfs [bucket name] [mountpoint] -ourl=[endpoint] -oparallel_count=32 -omultipart_size=16

  • 直接読み取りモードでossfsをマウントする:

    ossfs [bucket name] [mountpoint] -ourl=[endpoint] -odirect_read -odirect_read_chunk_size=8 -odirect_read_prefetch_chunks=64

• Performance testingコマンド

  dd if=testfile of=/dev/null bs=1M status=progress

  次の表にテスト結果を示します。

  ファイルサイズ	デフォルト読み取りモード	直接読み取りモード
  1 GB	646 MB/s	592 MB/s
  5 GB	630 MB/s	611 MB/s
  10 GB	260 MB/s	574 MB/s

テスト2: PyTorchを使用したファイルの読み込み

• マシン仕様

  • メモリ: 15 GB

  • ディスク帯域幅: 150メガバイト/秒

  • 内部帯域幅: 500メガバイト/秒

• マウントコマンド

  • ossfsをデフォルトの読み取りモードでマウントする:

    ossfs [bucket name] [mountpoint] -ourl=[endpoint] -oparallel_count=32 -omultipart_size=16

  • 直接読み取りモードでossfsをマウントする:

    ossfs [bucket name] [mountpoint] -ourl=[endpoint] -odirect_read -odirect_read_chunk_size=8 -odirect_read_prefetch_chunks=64 -odirect_read_backward_chunks=16

  • ハイブリッド読み取りモードでのossfsのマウント

    ossfs [bucket name] [mountpoint] -ourl=[endpoint] -oparallel_count=32 -omultipart_size=16 -odirect_read -odirect_read_chunk_size=8 -odirect_read_prefetch_chunks=64 -odirect_read_backward_chunks=3072

• テスト

  次のサンプルコードは、パフォーマンステスト用のサンプルスクリプトを提供します。

  インポート時間
  safetensors.torch import load_fileから
  
  file_path = "./my_folder/bert.safetensors"
  start = time.perf_counter()
  load_file(file_path) load_file
  end = time.perf_counter()
  経過=end - start
  プリント ("time_spent: " 、経過) 

  次の表にテスト結果を示します。

  説明

  テスト結果は参照だけのためです。 実際の読み取りパフォーマンスは、ファイルサイズとSafetensorsモデルの構造によって異なります。

  ファイルサイズ	デフォルト読み取りモード	直接読み取りモード	ハイブリッド読み取りモード
  2.0 GB	4.00s	5.86s	3.94s
  5.3 GB	20.54s	27.33s	19.91s
  6.5 GB	30.14s	24.23s	17.93s