分散ファイルシステムのまとめ
データを保存する機能と メタデータ
弾力性 シングルノード障害へ
柔軟性 いつでもネットワークを拡張または縮小する
非常に実行できること 低メモリ サーバー
NS 分散ファイルシステム 、一般的に、 理想的には POSIX 準拠したファイルシステムインターフェイス。データを分散して保持するノードのクラスターを構築することはさまざまな方法で実現できるため、これはその定義の最も重要な部分ですが、 使える ファイルシステムのインターフェースは挑戦的です。ファイルファイルシステムは通常、 ローカルそのため、多くのアプリケーションは、リモートデータに裏打ちされたファイルシステムで発生する可能性のある遅延の問題を無視して、高速アクセスを想定しています。ローカルファイルシステムとリモートファイルシステムを区別するアプリケーションはほとんどありません。
ファイルシステムを分散ファイルシステムと交換することは、次の形式と見なすことができます。 下位互換性 ...データ層のファイルシステムアクセスに依存するクラウド環境にアプリケーションをデプロイする場合、クラウドは、マシン間で任意に複製できるファイルシステムインターフェイスを提供する必要があります。ただし、シングルユーザーの場合は、管理オーバーヘッドを削減する方法と見なすこともできます...実行するすべてのサーバーからのデータのバックアップを追跡する代わりに、ネットワークベースのファイルシステムの状態を追跡し、バックアップをスケジュールすることができますその上に。
ファイルシステムのセマンティクスに厳密にアクセスする必要がない場合は、分散オブジェクトストレージインターフェイスがよりシンプルになります。 ポータブル と ユニバーサル ファイルシステムとして、オブジェクトストレージ自体がメタデータを保持しないため、ネットワークへの同期の負担が少なくなります。一部のオブジェクトストレージソフトウェアは、その上に構築されたファイルシステムインターフェイスを提供します。
私たちの目標は いいえ ビッグデータ、私たちは次のようなソリューションを無視します HDFS.
OpenAFS ：これは適切に配布されたファイルシステムではありません。 フェデレーション これは、単一ノードの障害が混乱を引き起こす可能性があることを意味します。
MinFS ：MinFSは、イレイジャーコーディングを備えた単純な分散オブジェクトストレージであるMinIOのヒューズドライバーですが、リソースが安価ではないようです。
xtreemefs ：XtreemeFSは、ネットワーク上のRAID0と同等の復元力を実現します
glusterfs：セットアップは簡単ですが、パフォーマンスが低下します
ceph ：セットアップ（および管理）は困難ですが、非常に優れた（および調整可能な）パフォーマンスを備えています
トカゲ ：まともなパフォーマンス、初期メモリフットプリントは低いが、高負荷では高い
orangefs ：最小限のフットプリント、カーネルモジュールとフューザーモジュールの両方、非同期メタデータをv3で待機
beegfs ：低フットプリント、カーネルモジュール（ただし、メンテナンスされていないフューザーモジュール）、最高のパフォーマンス
海藻 ：フューザーモジュールで簡単にプラグイン可能なオブジェクトストレージ
ここでは、いくつかのベンチマーク結果が表になっています。これらはすべてのファイルシステムを網羅しているわけではなく、この時点で古くなっている可能性があります。f2fs 結果のキャッシュがすり抜けた可能性があります:)
FS
seq
rread
rrw
files
create
read
append
rename
delete
raw
78793
1.0409e6
89958
179483
17300.0
23550.0
14408.0
4677
5373
zfs
102121
1.3985e6
92391
198410
29180.0
4470.0
18980.0
4695
8468
f2fs
2.064e6
1.455e6
101674
184495
28320.0
10950.0
16890.0
4233
3912
xtreemefs
159310
29117
29468
1690
510.0
1190.0
520.0
274
330
glusterfs
178026
17222
18152
5681
4380.0
7620.0
3110.0
413
1076
beegfs
79934
103006
85983
24867
9830.0
12660.0
10470.0
2889
3588
orangefs
330781
54735
41611
5523
5120.0
7020.0
6130.0
638
1989
FS
seq
rread
rrw
files
create
read
append
raw
76
266440
22489
44870
4430
6028
3688
zfs
99
358000
23097
49602
7470
1146
4860
f2fs
2064
372524
25418
46123
7250
2803
4325
xtreemefs
155
7279
7366
422
131
306
134
glusterfs
173
4305
4537
1420
1123
1951
798
beegfs
78
25751
21495
6216
2518
3242
2682
orangefs
323
13683
10402
1380
1310
1979
1571
FS
CPU (Server)
CPU (Client)
RAM (Server)
RAM (Client)
xtreemefs
100
25
300
201
glusterfs
100
50
92
277
beegfs
80
80
42
31
orangefs
15
75
60
20
これがベンチマークデータです
sysctlノブは最大スループットになるように調整されていますが、異種ネットワークではこれらのノブが常に適用されるとは限らず、とにかく適用されるため、おそらく役に立たないはずであり、おそらくベンチマークを歪めます。 ネットワークに依存 、したがって、それらが適用されたとしても、他のボトルネックが存在する可能性があります。