Object Storage Service:ossfs V1.91.2およびV1.91.3の新機能

直接読み取り

ossfsを使用してバケット内のオブジェクトを読み取る場合、ossfsはバケットからオブジェクトをダウンロードし、ファイルとしてローカルディスクに書き込み、デフォルトでローカルディスクからファイルを返します。 ossfsでは、ディスク書き込みは非同期です。つまり、ossfsは最初にダウンロードしたファイルをメモリ内のページキャッシュに書き込み、次にダーティページのコンテンツをローカルディスクに非同期にフラッシュします。 ファイルを読み取り、キャッシュヒットを経験すると、ファイルはキャッシュから直接提供されます。

デフォルトでは、ossfsは、使用可能なディスク容量が使い果たされるまで、ローカルディスク上のすべてのプリフェッチされたデータを保持します。

• メモリサイズが十分に大きい場合、ダウンロードされたすべてのデータがページキャッシュに書き込まれます。 読み取りパフォーマンスは、ディスク帯域幅ではなく、マシンのネットワーク帯域幅にのみ依存します。

• メモリサイズがファイル全体を保持するのに十分な大きさでない場合、ファイルはローカルディスクに書き込まれ、読み取り要求を満たすためにディスクから提供される。 その結果、読み取りパフォーマンスはディスク帯域幅とネットワーク帯域幅に依存します。 これらのうち、前者は主要な性能制約である。

  

デフォルトの読み取りモードでは、大きなファイルを読み取るパフォーマンスはディスク帯域幅によって制限されます。 このパフォーマンスの制限に対処するために、ossfsは直接読み取りモードを提供します。

• 直接読み取りモードでは、ossfsはデータをメモリバッファにダウンロードし、そのバッファからの読み取り要求を処理します。 このモードでは、データ読み取りプロセスからディスクが排除され、ネットワーク帯域幅を活用するシーケンシャル読み取りパフォーマンスが向上します。

• 直接読み取りモードでは、ossfsはダウンロードしたデータをチャンクで管理します。 各チャンクのサイズはデフォルトで4 MBで、direct_read_chunk_sizeパラメーターを使用して変更できます。 ossfsは、現在のチャンクの前のチャンクから、現在のチャンクの後の次のdirect_read_prefetch_chunksまでの範囲のデータをメモリに保持します。 次の読み取り動作のオフセットがこの範囲を超える場合、ossfsは既にダウンロードされたデータを破棄し、新しいオフセットからデータのプリフェッチを開始します。

直接読み出しモードは、順次読み出しにのみ適している。 次のシナリオでは適用されません。

• ランダム読み取り: ossfsは、現在のオフセットウィンドウでのみデータを保持します。 ランダム読み取りのオフセットがウィンドウ内に収まらない場合、データは複数回ダウンロードされ、リリースされます。これにより、不要なネットワークリソースが消費され、読み取りパフォーマンスが低下します。

• 書き込み: ossfsは引き続き最初にローカルディスクにデータを書き込みます。 ファイルの直接読み取り操作中にファイルの書き込み要求が発生すると、ossfsは自動的にデフォルトの読み取りモードに切り替わります。このモードでは、ファイルが最初にローカルディスクにダウンロードされます。 直接読み取り操作中のファイルへの書き込み操作は、他のファイルを直接読み取りモードから終了させません。

次の表に、直接読み取りに関連するパラメーターを示します。

新しいパラメーターdirect_read_backward_chunks

ossfs V1.91.2では、カレントチャンクの前のチャンクからカレントチャンクの後のdirect_read_prefetch_chunksまでの範囲のデータをメモリに保持する。 現在の読み取り位置の1つ前のチャンクのみが保持されます。 現在の読み取り位置よりも2つ前のチャンクでデータを読み取ろうとすると、プリフェッチされたデータが大量に破棄され、追加の帯域幅消費、リソースの浪費、パフォーマンスの低下を引き起こす可能性があります。

ossfs V1.91.3では、direct_read_backward_chunksパラメーターが追加され、ossfsが現在のチャンクの前に指定された数のチャンクをメモリに保持できるようになります。 direct_read_backward_chunksパラメーターとdirect_read_prefetch_chunksパラメーターを併用すると、現在のチャンクの前の指定数から現在のチャンクの後の指定数の範囲のデータをメモリに保持できます。 Safetensorsファイル (ランダム読み取り) をロードする場合などのAI推論シナリオでは、direct_read_backward_chunksパラメーターの値を合理的に大きくして、メモリ内のデータをより多く保持し、データの繰り返しダウンロードを減らしてパフォーマンスを向上させることができます。

ハイブリッド読み取りモード

ランダムな読み取りが頻繁に行われ、読み取りオフセットが広範囲に及ぶシナリオでは、

• 直接読み取りモードでは、ossfsは頻繁にデータをダウンロードし、データを破棄し、データを再ダウンロードします。 これは、読み取り性能を著しく低下させる。

• デフォルトの読み取りモードでは、ossfsはデータをローカルディスクにダウンロードし、ディスク容量が使い果たされるまでダウンロードしたデータを破棄しません。 その結果、ダウンロードの繰り返しは発生しません。

  • 要求されたファイルのサイズが大きくない場合、それはメモリ内のページキャッシュに書き込まれ、ページキャッシュから直接要求者に提供される。 このように、読み取り性能はディスク性能によって制限されない。

  • 要求されたファイルのサイズが大きすぎてページキャッシュに完全に書き込まれない場合、読み取りパフォーマンスはディスクパフォーマンスによって制限されます。

ハイブリッド読み取りモードは、デフォルトモード (ディスクからデータを読み取る) と直接読み取りモードの利点を兼ね備えています。 ハイブリッド読み取りモードでは、小さなファイルはページキャッシュの高速化を最大限に活用しますが、大きなファイルは最初はページキャッシュを効率的に利用し、定義されたしきい値に達すると直接読み取りモードに切り替えられます。 ハイブリッド読み取りモードは、小さなファイルと大きなファイルの両方を読み取るときの潜在的なディスクパフォーマンスの制約を回避できます。