•  untoreh-light

分布式文件系统

分布式文件系统综述

目标

分布式文件系统?

一种 分布式文件系统 ,一般来说,提供一个 理想情况下 POSIX 兼容的文件系统接口。这是其定义中最重要的部分,因为构建一个以分布式方式保存数据的节点集群可以通过许多不同的方式实现,但构建一个可以访问 可用 文件系统接口具有挑战性。一个文件系统通常被假定为 当地的 因此,许多应用程序假设可以快速访问它,而忽略了远程数据支持的文件系统上可能出现的延迟问题。很少有应用程序区分本地和远程文件系统。

用分布式文件系统交换文件系统可以被认为是一种形式 向后兼容 ...如果您想在依赖文件系统访问其数据层的云环境中部署应用程序,则云必须提供可以跨机器任意复制的文件系统接口。但是,在单个用户案例中,它也可以被视为减少管理开销的一种方式……您可以跟踪基于网络的文件系统的运行状况并安排备份,而不是跟踪您运行的每台服务器的数据备份在上面。

如果您不需要严格访问文件系统语义,分布式对象存储接口更简单,并且 便携的 普遍的 作为文件系统,由于对象存储本身不包含元数据,因此网络上的同步负担较小。一些对象存储软件提供了一个建立在顶部的文件系统接口。

围捕

由于我们的目标是 不是 大数据,我们忽略了像 高密度文件系统.

这里有一些基准测试结果在一个表中,它们没有涵盖所有的文件系统,并且在这一点上可能已经过时,并且在f2fs 结果缓存可能已经漏掉了:)

带宽

FS seq rread rrw files create read append rename delete
raw 78793 1.0409e6 89958 179483 17300.0 23550.0 14408.0 4677 5373
zfs 102121 1.3985e6 92391 198410 29180.0 4470.0 18980.0 4695 8468
f2fs 2.064e6 1.455e6 101674 184495 28320.0 10950.0 16890.0 4233 3912
xtreemefs 159310 29117 29468 1690 510.0 1190.0 520.0 274 330
glusterfs 178026 17222 18152 5681 4380.0 7620.0 3110.0 413 1076
beegfs 79934 103006 85983 24867 9830.0 12660.0 10470.0 2889 3588
orangefs 330781 54735 41611 5523 5120.0 7020.0 6130.0 638 1989

IOPS

FS seq rread rrw files create read append
raw 76 266440 22489 44870 4430 6028 3688
zfs 99 358000 23097 49602 7470 1146 4860
f2fs 2064 372524 25418 46123 7250 2803 4325
xtreemefs 155 7279 7366 422 131 306 134
glusterfs 173 4305 4537 1420 1123 1951 798
beegfs 78 25751 21495 6216 2518 3242 2682
orangefs 323 13683 10402 1380 1310 1979 1571

资源

FS CPU (Server) CPU (Client) RAM (Server) RAM (Client)
xtreemefs 100 25 300 201
glusterfs 100 50 92 277
beegfs 80 80 42 31
orangefs 15 75 60 20

数据

这是基准数据

sysctl 旋钮针对最大吞吐量进行了调整,但它们应该毫无用处,并且可能会扭曲基准,因为在异构网络中,这些旋钮并不总是适用,无论如何它们都是 网络依赖 ,因此即使应用了它们,也可能存在其他瓶颈。

额外的比较, 来自维基百科, 来自海藻.

帖子标签: