•  niereh-światło

Rozproszone systemy plików

Podsumowanie rozproszonych systemów plików

Cele

Rozproszone systemy plików?

A rozproszony system plików , ogólnie zapewniają idealnie POSIX zgodny interfejs systemu plików. Jest to najbardziej część jego definicji, ponieważ zbudowanie klastra węzłów, które przechowują dane w sposób rozproszony, można osiągnąć na wiele różnych sposobów, ale zbudowanie takiego, który zapewnia dostęp do nadający się do użytku interfejs systemu plików jest trudny. Zazwyczaj zakłada się, że system plików to lokalnyi jako takie, wiele aplikacji zakłada szybki dostęp do niego, pomijając możliwe problemy z opóźnieniami, które mogą wystąpić w systemie plików wspieranym przez zdalne dane. Bardzo niewiele aplikacji rozróżnia lokalne i zdalne systemy plików.

Zamiana systemu plików na system rozproszony może być uważana za formę Kompatybilność wsteczna ...w przypadku, gdy chcesz wdrożyć aplikację w środowisku chmury, które opiera się na dostępie do systemu plików w warstwie danych, chmura musi zapewnić interfejs systemu plików, który może dowolnie replikować się na różnych komputerach. Jednak w przypadku pojedynczego użytkownika można to również rozważyć jako sposób na zmniejszenie kosztów zarządzania... zamiast śledzenia kopii zapasowych danych z każdego uruchomionego serwera, można śledzić stan systemu plików opartego na sieci i planować tworzenie kopii zapasowych na tym.

Jeśli nie potrzebujesz ścisłego dostępu do semantyki systemów plików, interfejs rozproszonej pamięci obiektowej jest prostszy i przenośny oraz uniwersalny jako system plików, z mniejszym obciążeniem synchroniczności w sieci, ponieważ obiektowa pamięć masowa sama w sobie nie przechowuje metadanych. Niektóre oprogramowanie obiektowej pamięci masowej oferuje wbudowany interfejs systemu plików.

Podsumowanie

Ponieważ naszym celem jest nie big data, ignorujemy rozwiązania takie jak HDFS.

Tutaj niektóre wyniki testów porównawczych tworzą tabelę, nie obejmują one wszystkich systemów plików i mogą być w tym momencie nieaktualne, a wf2fs buforowanie wyników mogło się prześlizgnąć :)

Przepustowość łącza

FS seq rread rrw files create read append rename delete
raw 78793 1.0409e6 89958 179483 17300.0 23550.0 14408.0 4677 5373
zfs 102121 1.3985e6 92391 198410 29180.0 4470.0 18980.0 4695 8468
f2fs 2.064e6 1.455e6 101674 184495 28320.0 10950.0 16890.0 4233 3912
xtreemefs 159310 29117 29468 1690 510.0 1190.0 520.0 274 330
glusterfs 178026 17222 18152 5681 4380.0 7620.0 3110.0 413 1076
beegfs 79934 103006 85983 24867 9830.0 12660.0 10470.0 2889 3588
orangefs 330781 54735 41611 5523 5120.0 7020.0 6130.0 638 1989

IOPS

FS seq rread rrw files create read append
raw 76 266440 22489 44870 4430 6028 3688
zfs 99 358000 23097 49602 7470 1146 4860
f2fs 2064 372524 25418 46123 7250 2803 4325
xtreemefs 155 7279 7366 422 131 306 134
glusterfs 173 4305 4537 1420 1123 1951 798
beegfs 78 25751 21495 6216 2518 3242 2682
orangefs 323 13683 10402 1380 1310 1979 1571

Zasoby

FS CPU (Server) CPU (Client) RAM (Server) RAM (Client)
xtreemefs 100 25 300 201
glusterfs 100 50 92 277
beegfs 80 80 42 31
orangefs 15 75 60 20

Dane

Oto dane z testów porównawczych

Pokrętła sysctl zostały dostrojone do maksymalnej przepustowości, ale powinny być prawdopodobnie bezużyteczne i prawdopodobnie przekrzywić benchmarki, ponieważ w heterogenicznej sieci te pokrętła nie zawsze są stosowane, a zresztą są zależny od sieci , więc nawet jeśli zostaną zastosowane, mogą istnieć inne wąskie gardła.

Dodatkowe porównania, z wikipedii, z wodorostów.

Tagi postów: