•  Untoreh-light

Распределенные файловые системы

Обзор распределенных файловых систем

Цели

Распределенные файловые системы?

А распределенная файловая система , как правило, обеспечивают Идеально POSIX совместимый интерфейс файловой системы. Это основная часть его определения, потому что создание кластера узлов, хранящих данные распределенным образом, может быть достигнуто разными способами, но создание кластера, обеспечивающего доступ к годный к употреблению интерфейс файловой системы сложен. Файловая система обычно считается местныйи поэтому многие приложения предполагают быстрый доступ к нему, игнорируя возможные проблемы с задержкой, которые могут возникнуть в файловой системе, поддерживаемой удаленными данными. Очень немногие приложения различают локальную и удаленную файловые системы.

Замена файловой системы на распределенную можно рассматривать как форму Обратная совместимость ... в случае, если вы хотите развернуть приложение в облачной среде, которая полагается на доступ к файловой системе для своего уровня данных, облако должно предоставить интерфейс файловой системы, который может произвольно реплицироваться между машинами. Однако в случае одного пользователя это также можно рассматривать как способ уменьшить накладные расходы на управление ... вместо отслеживания резервного копирования данных с каждого отдельного сервера, который вы запускаете, вы можете отслеживать состояние сетевой файловой системы и планировать резервное копирование. в теме.

Если вам не нужен строгий доступ к семантике файловых систем, интерфейс распределенного хранилища объектов проще и удобнее. портативный а также универсальный как файловая система, с меньшей нагрузкой на синхронность в сети, поскольку объектное хранилище как таковое не содержит метаданных. Некоторые программы для хранения объектов предлагают интерфейс файловой системы, построенный поверх.

Округлять

Поскольку наша цель нет большие данные, мы игнорируем такие решения, как HDFS.

Здесь результаты некоторых тестов представлены в виде таблицы, они не охватывают все файловые системы и могут быть устаревшими на данный момент, а вf2fs кеширование результатов могло проскочить :)

Пропускная способность

FSseqrreadrrwfilescreatereadappendrenamedelete
raw787931.0409e68995817948317300.023550.014408.046775373
zfs1021211.3985e69239119841029180.04470.018980.046958468
f2fs2.064e61.455e610167418449528320.010950.016890.042333912
xtreemefs15931029117294681690510.01190.0520.0274330
glusterfs178026172221815256814380.07620.03110.04131076
beegfs7993410300685983248679830.012660.010470.028893588
orangefs330781547354161155235120.07020.06130.06381989

IOPS

FSseqrreadrrwfilescreatereadappend
raw762664402248944870443060283688
zfs993580002309749602747011464860
f2fs20643725242541846123725028034325
xtreemefs15572797366422131306134
glusterfs17343054537142011231951798
beegfs7825751214956216251832422682
orangefs32313683104021380131019791571

Ресурсы

FSCPU (Server)CPU (Client)RAM (Server)RAM (Client)
xtreemefs10025300201
glusterfs1005092277
beegfs80804231
orangefs15756020

Данные

Вот данные тестов

Ручки sysctl были настроены на максимальную пропускную способность, но они, возможно, должны быть бесполезными и, вероятно, исказить тесты, поскольку в гетерогенной сети эти ручки не всегда применяются, и в любом случае они зависит от сети , поэтому, даже если они будут применены, могут быть другие узкие места.

Дополнительные сравнения, из википедии, из морских водорослей.

Теги сообщений: