•  notreh-light

ระบบไฟล์แบบกระจาย

บทสรุปของระบบไฟล์แบบกระจาย

เป้าหมาย

ระบบไฟล์แบบกระจาย?

NS ระบบไฟล์แบบกระจาย โดยทั่วไป ให้ นึกคิด POSIX อินเทอร์เฟซระบบไฟล์ที่สอดคล้อง นี่คือคำจำกัดความส่วนใหญ่ เนื่องจากการสร้างคลัสเตอร์ของโหนดที่เก็บข้อมูลในแบบกระจายสามารถทำได้หลายวิธี แต่การสร้างโหนดที่ให้ข้อมูลในการเข้าถึง ใช้ได้ อินเทอร์เฟซระบบไฟล์เป็นสิ่งที่ท้าทาย ระบบไฟล์มักจะถือว่าเป็น ท้องถิ่นและด้วยเหตุนี้ แอปพลิเคชันจำนวนมากจึงถือว่าเข้าถึงได้อย่างรวดเร็ว โดยไม่คำนึงถึงปัญหาเวลาแฝงที่อาจเกิดขึ้นบนระบบไฟล์ที่ได้รับการสนับสนุนจากข้อมูลระยะไกล แอปพลิเคชั่นน้อยมากที่แยกแยะระหว่างระบบไฟล์ในเครื่องและระยะไกล

การสลับระบบไฟล์ด้วยระบบแบบกระจายถือได้ว่าเป็นรูปแบบของ ความเข้ากันได้ย้อนหลัง ...ในกรณีที่คุณต้องการปรับใช้แอปพลิเคชันในสภาพแวดล้อมคลาวด์ที่ต้องอาศัยการเข้าถึงระบบไฟล์สำหรับชั้นข้อมูล ระบบคลาวด์จะต้องจัดเตรียมอินเทอร์เฟซระบบไฟล์ที่สามารถจำลองแบบข้ามเครื่องได้ตามใจชอบ อย่างไรก็ตาม ในกรณีของผู้ใช้รายเดียว ก็ถือเป็นวิธีการลดค่าใช้จ่ายในการจัดการ...แทนที่จะติดตามข้อมูลสำรองจากทุกเซิร์ฟเวอร์ที่คุณเรียกใช้ คุณสามารถติดตามความสมบูรณ์ของระบบไฟล์บนเครือข่ายและกำหนดเวลาการสำรองข้อมูล เกี่ยวกับมัน

หากคุณไม่ต้องการการเข้าถึงความหมายของระบบไฟล์อย่างเข้มงวด อินเทอร์เฟซการจัดเก็บอ็อบเจ็กต์แบบกระจายจะง่ายกว่าและเป็น แบบพกพา และ สากล เป็นระบบไฟล์ที่มีภาระการซิงโครไนซ์น้อยกว่าบนเครือข่ายเนื่องจากการจัดเก็บอ็อบเจ็กต์เองจะไม่เก็บข้อมูลเมตา ซอฟต์แวร์จัดเก็บอ็อบเจ็กต์บางตัวมีอินเทอร์เฟซระบบไฟล์ที่สร้างขึ้นด้านบน

ปัดเศษขึ้น

เนื่องจากเป้าหมายของเราคือ ไม่ ข้อมูลขนาดใหญ่ เราละเลยโซลูชันเช่น HDFS.

ในที่นี้ผลการวัดประสิทธิภาพในตาราง ไม่ครอบคลุมระบบไฟล์ทั้งหมด และอาจล้าสมัย ณ จุดนี้ และในf2fs การแคชผลลัพธ์อาจลื่นไหล :)

แบนด์วิดธ์

FS seq rread rrw files create read append rename delete
raw 78793 1.0409e6 89958 179483 17300.0 23550.0 14408.0 4677 5373
zfs 102121 1.3985e6 92391 198410 29180.0 4470.0 18980.0 4695 8468
f2fs 2.064e6 1.455e6 101674 184495 28320.0 10950.0 16890.0 4233 3912
xtreemefs 159310 29117 29468 1690 510.0 1190.0 520.0 274 330
glusterfs 178026 17222 18152 5681 4380.0 7620.0 3110.0 413 1076
beegfs 79934 103006 85983 24867 9830.0 12660.0 10470.0 2889 3588
orangefs 330781 54735 41611 5523 5120.0 7020.0 6130.0 638 1989

IOPS

FS seq rread rrw files create read append
raw 76 266440 22489 44870 4430 6028 3688
zfs 99 358000 23097 49602 7470 1146 4860
f2fs 2064 372524 25418 46123 7250 2803 4325
xtreemefs 155 7279 7366 422 131 306 134
glusterfs 173 4305 4537 1420 1123 1951 798
beegfs 78 25751 21495 6216 2518 3242 2682
orangefs 323 13683 10402 1380 1310 1979 1571

ทรัพยากร

FS CPU (Server) CPU (Client) RAM (Server) RAM (Client)
xtreemefs 100 25 300 201
glusterfs 100 50 92 277
beegfs 80 80 42 31
orangefs 15 75 60 20

ข้อมูล

นี่คือข้อมูลการวัดประสิทธิภาพ

ลูกบิด sysctl ได้รับการปรับแต่งสำหรับปริมาณงานสูงสุด แต่น่าจะไร้ประโยชน์และอาจบิดเบือนการวัดประสิทธิภาพเนื่องจากในเครือข่ายที่ต่างกันปุ่มเหล่านั้นไม่ได้ถูกนำไปใช้เสมอและอย่างไรก็ตาม ขึ้นอยู่กับเครือข่าย ดังนั้นถึงแม้จะนำไปใช้ แต่ก็อาจมีคอขวดอื่นๆ เกิดขึ้นได้

การเปรียบเทียบเพิ่มเติม จากวิกิพีเดีย, จากสาหร่ายทะเล.

โพสต์แท็ก: