•  ανοικτό φως

Διανεμημένα συστήματα αρχείων

Μια συλλογή κατανεμημένων συστημάτων αρχείων

Γκολ

Διανεμημένα συστήματα αρχείων;

ΕΝΑ κατανεμημένο σύστημα αρχείων , γενικά, παρέχετε α ιδανικά POSIX συμβατή διεπαφή συστήματος αρχείων. Αυτό είναι το πιο κομμάτι του ορισμού του, επειδή η δημιουργία μιας ομάδας κόμβων που συγκρατούν δεδομένα με κατανεμημένο τρόπο μπορεί να επιτευχθεί με πολλούς διαφορετικούς τρόπους, αλλά η δημιουργία ενός που παρέχει πρόσβαση σε χρησιμοποιήσιμος η διεπαφή του συστήματος αρχείων είναι προκλητική. Συνήθως υποτίθεται ότι είναι ένα σύστημα αρχείων τοπικόςκαι ως εκ τούτου, πολλές εφαρμογές υποθέτουν γρήγορη πρόσβαση σε αυτό, αγνοώντας πιθανά προβλήματα καθυστέρησης που μπορεί να προκύψουν σε ένα σύστημα αρχείων που υποστηρίζεται από απομακρυσμένα δεδομένα. Πολύ λίγες εφαρμογές κάνουν διάκριση μεταξύ τοπικών και απομακρυσμένων συστημάτων αρχείων.

Η εναλλαγή ενός συστήματος αρχείων με ένα κατανεμημένο μπορεί να θεωρηθεί ως μια μορφή συμβατότητα προς τα πίσω ... στην περίπτωση που θέλετε να αναπτύξετε μια εφαρμογή σε περιβάλλον cloud που βασίζεται στην πρόσβαση στο σύστημα αρχείων για το επίπεδο δεδομένων του, το cloud πρέπει να παρέχει μια διεπαφή συστήματος αρχείων που μπορεί να αναπαραχθεί αυθαίρετα σε μηχανές. Ωστόσο, σε μια μεμονωμένη περίπτωση χρήστη, μπορεί επίσης να θεωρηθεί ως ένας τρόπος για να μειωθεί η διαχείριση των γενικών εξόδων ... αντί να παρακολουθείτε αντίγραφα ασφαλείας δεδομένων από κάθε διακομιστή που εκτελείτε, μπορείτε να παρακολουθείτε την υγεία του συστήματος αρχείων που βασίζεται στο δίκτυο και να προγραμματίζετε αντίγραφα ασφαλείας σε αυτό

Εάν δεν χρειάζεστε αυστηρή πρόσβαση στη σημασιολογία των συστημάτων αρχείων, μια διεπαφή αποθήκευσης κατανεμημένου αντικειμένου είναι απλούστερη φορητός και Παγκόσμιος ως σύστημα αρχείων, με μικρότερη επιβάρυνση συγχρονισμού στο δίκτυο, δεδομένου ότι μια αποθήκευση αντικειμένου από μόνη της, δεν περιέχει μεταδεδομένα. Ορισμένο λογισμικό αποθήκευσης αντικειμένων προσφέρει μια διεπαφή συστήματος αρχείων που είναι ενσωματωμένη στην κορυφή.

Μανδρίζω

Αφού στόχος μας είναι δεν μεγάλα δεδομένα, αγνοούμε λύσεις όπως HDFS.

Εδώ κάποια αποτελέσματα αναφοράς οδηγούν σε έναν πίνακα, δεν καλύπτουν όλα τα συστήματα αρχείων και ενδέχεται να είναι ξεπερασμένα σε αυτό το σημείο καιf2fs τα αποτελέσματα προσωρινής αποθήκευσης μπορεί να έχουν ξεφύγει :)

εύρος ζώνης

FS seq rread rrw files create read append rename delete
raw 78793 1.0409e6 89958 179483 17300.0 23550.0 14408.0 4677 5373
zfs 102121 1.3985e6 92391 198410 29180.0 4470.0 18980.0 4695 8468
f2fs 2.064e6 1.455e6 101674 184495 28320.0 10950.0 16890.0 4233 3912
xtreemefs 159310 29117 29468 1690 510.0 1190.0 520.0 274 330
glusterfs 178026 17222 18152 5681 4380.0 7620.0 3110.0 413 1076
beegfs 79934 103006 85983 24867 9830.0 12660.0 10470.0 2889 3588
orangefs 330781 54735 41611 5523 5120.0 7020.0 6130.0 638 1989

IOPS

FS seq rread rrw files create read append
raw 76 266440 22489 44870 4430 6028 3688
zfs 99 358000 23097 49602 7470 1146 4860
f2fs 2064 372524 25418 46123 7250 2803 4325
xtreemefs 155 7279 7366 422 131 306 134
glusterfs 173 4305 4537 1420 1123 1951 798
beegfs 78 25751 21495 6216 2518 3242 2682
orangefs 323 13683 10402 1380 1310 1979 1571

Πόροι

FS CPU (Server) CPU (Client) RAM (Server) RAM (Client)
xtreemefs 100 25 300 201
glusterfs 100 50 92 277
beegfs 80 80 42 31
orangefs 15 75 60 20

Δεδομένα

Εδώ είναι τα δεδομένα αναφοράς

Τα κουμπιά sysctl ήταν ρυθμισμένα για μέγιστη απόδοση, αλλά θα έπρεπε να είναι αναμφισβήτητα άχρηστα και πιθανώς να παραμορφώνουν τα σημεία αναφοράς, καθώς σε ένα ετερογενές δίκτυο αυτά τα κουμπιά δεν εφαρμόζονται πάντα και έτσι κι αλλιώς εξαρτάται από το δίκτυο , οπότε ακόμα και αν εφαρμοστούν, μπορεί να υπάρχουν άλλα σημεία συμφόρησης.

Επιπλέον συγκρίσεις, από τη wikipedia, από φύκια.

Ετικέτες ανάρτησης: