분산 파일 시스템 정리
데이터를 저장하는 기능과 메타 데이터
탄력성 단일 노드 장애에
유연성 언제든지 네트워크 확장 또는 축소
아주 달릴 수 있어서 메모리 부족 서버
NS 분산 파일 시스템 , 일반적으로 이상적으로 포식스 호환 파일 시스템 인터페이스. 분산 방식으로 데이터를 보유하는 노드 클러스터를 구축하는 것은 다양한 방법으로 달성할 수 있지만, 쓸 수 있는 파일 시스템 인터페이스가 어렵습니다. 파일 파일 시스템은 일반적으로 다음과 같이 가정됩니다. 현지의따라서 많은 응용 프로그램은 원격 데이터가 지원하는 파일 시스템에서 발생할 수 있는 지연 문제를 무시하고 빠른 액세스를 가정합니다. 로컬 파일 시스템과 원격 파일 시스템을 구분하는 응용 프로그램은 거의 없습니다.
파일 시스템을 분산 시스템으로 교체하는 것은 다음과 같은 형태로 간주될 수 있습니다. 하위 호환성 ...데이터 계층에 대한 파일 시스템 액세스에 의존하는 클라우드 환경에 애플리케이션을 배포하려는 경우 클라우드는 시스템 간에 임의로 복제할 수 있는 파일 시스템 인터페이스를 제공해야 합니다. 그러나 단일 사용자의 경우 실행하는 모든 단일 서버의 데이터에 대한 백업을 추적하는 대신 관리 오버헤드를 줄이는 방법으로 간주될 수도 있습니다. 네트워크 기반 파일 시스템의 상태를 추적하고 백업을 예약할 수 있습니다. 그 위에.
파일 시스템 의미론에 대한 엄격한 액세스가 필요하지 않은 경우 분산 개체 스토리지 인터페이스가 더 간단하고 다음과 같습니다. 가지고 다닐 수 있는 그리고 만능인 파일 시스템으로서 오브젝트 스토리지 자체가 메타 데이터를 보유하지 않기 때문에 네트워크에 대한 동기화 부담이 적습니다. 일부 개체 스토리지 소프트웨어는 그 위에 구축된 파일 시스템 인터페이스를 제공합니다.
우리의 목표는 ~ 아니다 빅 데이터, 우리는 다음과 같은 솔루션을 무시합니다. HDFS.
오픈AFS : 이것은 적절하게 분산된 파일 시스템이 아닙니다. 연합 이는 단일 노드 장애로 인해 중단이 발생할 수 있음을 의미합니다.
최소FS : MinFS는 MinIO용 퓨즈 드라이버로, 이레이저 코딩이 포함된 직접적인 분산 개체 저장소이지만 리소스가 저렴해 보이지는 않습니다.
xtreemefs : XtreemeFS는 네트워크를 통해 RAID0에 해당하는 복원력을 구현합니다.
글러스터프: 설정이 쉽지만 성능이 좋지 않음
세프 : 설정(및 관리)하기가 더 어렵지만 매우 우수한(조정 가능한) 성능
도마뱀 : 괜찮은 성능, 낮은 초기 메모리 풋프린트 그러나 과부하 시 높음
오렌지프 : 최소 풋프린트, 커널 모듈과 퓨저 모듈 모두, 비동기 메타데이터를 위해 v3에서 대기
비프 : 낮은 설치 공간, 커널 모듈(그러나 유지 관리되지 않는 퓨저 모듈), 최고의 성능
해초 : 퓨저 모듈로 쉽게 연결할 수 있는 오브젝트 스토리지
여기에서 일부 벤치마크 결과는 표로, 모든 파일 시스템을 포함하지 않으며 이 시점에서 구식일 수 있습니다.f2fs 결과 캐싱이 누락되었을 수 있습니다. :)
FS
seq
rread
rrw
files
create
read
append
rename
delete
raw
78793
1.0409e6
89958
179483
17300.0
23550.0
14408.0
4677
5373
zfs
102121
1.3985e6
92391
198410
29180.0
4470.0
18980.0
4695
8468
f2fs
2.064e6
1.455e6
101674
184495
28320.0
10950.0
16890.0
4233
3912
xtreemefs
159310
29117
29468
1690
510.0
1190.0
520.0
274
330
glusterfs
178026
17222
18152
5681
4380.0
7620.0
3110.0
413
1076
beegfs
79934
103006
85983
24867
9830.0
12660.0
10470.0
2889
3588
orangefs
330781
54735
41611
5523
5120.0
7020.0
6130.0
638
1989
FS
seq
rread
rrw
files
create
read
append
raw
76
266440
22489
44870
4430
6028
3688
zfs
99
358000
23097
49602
7470
1146
4860
f2fs
2064
372524
25418
46123
7250
2803
4325
xtreemefs
155
7279
7366
422
131
306
134
glusterfs
173
4305
4537
1420
1123
1951
798
beegfs
78
25751
21495
6216
2518
3242
2682
orangefs
323
13683
10402
1380
1310
1979
1571
FS
CPU (Server)
CPU (Client)
RAM (Server)
RAM (Client)
xtreemefs
100
25
300
201
glusterfs
100
50
92
277
beegfs
80
80
42
31
orangefs
15
75
60
20
다음은 벤치마크 데이터입니다.
sysctl 노브는 최대 처리량을 위해 조정되었지만 틀림없이 쓸모가 없어야 하며 이기종 네트워크에서 이러한 노브가 항상 적용되는 것은 아니며 어쨌든 적용되기 때문에 벤치마크를 왜곡할 수 있습니다. 네트워크 종속 , 따라서 적용하더라도 다른 병목 현상이 있을 수 있습니다.