分布式文件系统综述
存储数据的能力和 元数据
弹性 单节点故障
灵活性 随时扩大或缩小网络
能够运行非常 记忆不足 服务器
一种 分布式文件系统 ,一般来说,提供一个 理想情况下 POSIX 兼容的文件系统接口。这是其定义中最重要的部分,因为构建一个以分布式方式保存数据的节点集群可以通过许多不同的方式实现,但构建一个可以访问 可用 文件系统接口具有挑战性。一个文件系统通常被假定为 当地的 因此,许多应用程序假设可以快速访问它,而忽略了远程数据支持的文件系统上可能出现的延迟问题。很少有应用程序区分本地和远程文件系统。
用分布式文件系统交换文件系统可以被认为是一种形式 向后兼容 ...如果您想在依赖文件系统访问其数据层的云环境中部署应用程序,则云必须提供可以跨机器任意复制的文件系统接口。但是,在单个用户案例中,它也可以被视为减少管理开销的一种方式……您可以跟踪基于网络的文件系统的运行状况并安排备份,而不是跟踪您运行的每台服务器的数据备份在上面。
如果您不需要严格访问文件系统语义,分布式对象存储接口更简单,并且 便携的 和 普遍的 作为文件系统,由于对象存储本身不包含元数据,因此网络上的同步负担较小。一些对象存储软件提供了一个建立在顶部的文件系统接口。
由于我们的目标是 不是 大数据,我们忽略了像 高密度文件系统.
开放式AFS :这不是一个正确分布的文件系统,因为它是 联合的 这意味着单节点故障可能会导致中断。
最小FS : MinFS 是 MinIO 的熔断器驱动程序,它是一种带有擦除编码的直接分布式对象存储,但它在资源上似乎并不便宜。
xtreemefs :XtreemeFS 通过网络实现了相当于 RAID0 的弹性
glusterfs : 易于设置但性能不佳
头颅 :更难设置(和管理)但具有非常好的(和可调的)性能
蜥蜴 : 不错的性能,低初始内存占用,但在重负载下高
橙子 : 最小的占用空间,内核模块和熔断器模块,等待 v3 的异步元数据
比格夫 : 低占用空间,内核模块(但未维护的热熔模块),最佳性能
海藻 :带有定影模块的可轻松插入的对象存储
这里有一些基准测试结果在一个表中,它们没有涵盖所有的文件系统,并且在这一点上可能已经过时,并且在f2fs
结果缓存可能已经漏掉了:)
FS
seq
rread
rrw
files
create
read
append
rename
delete
raw
78793
1.0409e6
89958
179483
17300.0
23550.0
14408.0
4677
5373
zfs
102121
1.3985e6
92391
198410
29180.0
4470.0
18980.0
4695
8468
f2fs
2.064e6
1.455e6
101674
184495
28320.0
10950.0
16890.0
4233
3912
xtreemefs
159310
29117
29468
1690
510.0
1190.0
520.0
274
330
glusterfs
178026
17222
18152
5681
4380.0
7620.0
3110.0
413
1076
beegfs
79934
103006
85983
24867
9830.0
12660.0
10470.0
2889
3588
orangefs
330781
54735
41611
5523
5120.0
7020.0
6130.0
638
1989
FS
seq
rread
rrw
files
create
read
append
raw
76
266440
22489
44870
4430
6028
3688
zfs
99
358000
23097
49602
7470
1146
4860
f2fs
2064
372524
25418
46123
7250
2803
4325
xtreemefs
155
7279
7366
422
131
306
134
glusterfs
173
4305
4537
1420
1123
1951
798
beegfs
78
25751
21495
6216
2518
3242
2682
orangefs
323
13683
10402
1380
1310
1979
1571
FS
CPU (Server)
CPU (Client)
RAM (Server)
RAM (Client)
xtreemefs
100
25
300
201
glusterfs
100
50
92
277
beegfs
80
80
42
31
orangefs
15
75
60
20
这是基准数据
sysctl 旋钮针对最大吞吐量进行了调整,但它们应该毫无用处,并且可能会扭曲基准,因为在异构网络中,这些旋钮并不总是适用,无论如何它们都是 网络依赖 ,因此即使应用了它们,也可能存在其他瓶颈。