Vài điều về LizardFS

LizardFS architecture Hôm nay khám phá ra LizardFS, một bản fork của MooseFS. Nói chung là cực ngon.
Lizardfs fix đc vấn đề của MooseFS là chỉ có 1 master-server (chứa metadata)
Lizardfs giới hạn được tốc độ recovery, ko như glusterfs mỗi lần hệ thống recovery là load-average tăng cao kinh khủng.
Lizardfs replicate ở mức Block (max block-size = 64MB) giống CEPH/ScaleIO/MooseFS, ko như glusterfs là replicate ở mức file --> do vậy performance của LizardFS sẽ tốt trong trường hợp hệ thống có nhiều file nhỏ. (Đính chính: LizardFS ko thực sự là block-replication, nó chỉ chia nhỏ các file > 64MB ra thành các "chunk" và replicate các chunk này - điều này có nghĩa là thực chất LizardFS vẫn replicate ở mức filesystem và dùng master-server (metadata-server) như bảng chỉ mục cho các "chunk".
LizardFS cũng có snapshot (thin-provisioning/copy-on-write)
LizardFS có thể set QoS cho từng mount-point hay từng process-group, v.v...
LizardFS có 2 cơ chế replication: Standard và XOR.
Với Standard-rep thì các bản rep sẽ đc đặt trên các storage-server khác nhau; vị trí cụ thể của từng bản rep sẽ được quyết định bởi master-server.
Với XOR-rep: This kind of replication divides chunks into smaller parts according to “xor level” parameter. A file with xor level N is kept as N+1 chunks (N for data, 1 for parity check).
As a result, disk space needed for keeping this file is roughly (N+1)/N and it is still possible to survive failure of one chunkserver. Xor level can range from 2 to 10. (nhược điểm của XOR là chỉ có 1 cấu hình là: Replication 2 bản)
Một điểm nữa là LizardFS có Georeplication, cho phép survive trong trường hợp thảm họa - ví dụ: nổ 1 datacenter. Ngoài ra cũng có thể ứng dụng trong trường hợp trong hệ thống có trộn lẫn các node SSD và SATA (giới hạn hơn CEPH 1 chút, ở mức node chứ ko phải ở mức disk như CEPH)

Một tính năng hay ho của LizardFS là Trash, các file khi được xóa ở phía client sẽ ko thực sự đc xóa ngay mà sẽ đc move vào Trash, sysadmin của Lizardfs vẫn có thể đọc đc file này. Các file ở trong Trash sẽ đc tự động xóa đi sau một thời gian nhất định - thời gian này có thể được config riêng cho từng file hoặc từng thư mục trên hệ thống.

LizardFS has client for Windows! (native)

Monitoring
LizardFS offers two kinds of monitoring interfaces. There is a command line tool useful for automated monitoring systems like Nagios, Zabbix, Icinga, and similar which are typically used for proactive monitoring. It offers a comprehensive set of information about connected servers and their disks, client machines, storage space, errors, chunk copies lost due to disk failures, and much more. Moreover, there is a graphical web-based monitoring interface available for system administrators. It makes it easy to track almost all aspects of a running system, including tens of charts which show how the way in which LizardFS installation is used changes over time.
Ref:
https://lizardfs.com/wp-content/uploads/2015/09/LizardFS_WhitePaper_Eng_v3.pdf https://lizardfs.com/wp-content/uploads/2015/06/lizardfs_tech_doc_9072015.pdf


Update @ 2017:
https://docs.lizardfs.com/
https://lizardfs.com/wp-content/uploads/2017/01/LizardFS-WhitePaper-Eng-v9-3.10-web-18oct-small.pdf