关于jbd2的小延伸及-文件系统
关于jbd2的小延伸jbd2全称是journalingblock driver,是ext4文件系统的一部分。实现的是文件系统的日志功能,磁盘使用日志功能来保证数据的完整性。不过有很多系统级的bug导致jbd2很高的。可以在如下连接中查找操作系统的BUG:https://bugzilla.kernel.org/关于文件系统barrierLinux文件系统包括EXT4,将文件系
关于jbd2的小延伸
jbd2全称是journalingblock driver,是ext4文件系统的一部分。实现的是文件系统的日志功能,磁盘使用日志功能来保证数据的完整性。
不过有很多系统级的bug导致jbd2很高的。
可以在如下连接中查找操作系统的BUG:
关于文件系统barrier
Linux文件系统包括EXT4,将文件系统barrier作为一个增强的安全特性。
常用的文件系统使用日志功能来保证文件系统的完整性。在写入新的数据块到磁盘之前,先将元数据写入日志。保证在写入真实数据前后发生错误,日志功能能很容易地回滚到更改之前的状态。这个方法确保了不会发生文件系统崩溃的情况。
做了文件写操作后,例如调用fsycn就能保证数据可靠地写入磁盘,大多数情况下,确实如此。但是由于缓存的存在,fsync这些同步操作,并不能保证存储设备把数据写入非易失性介质。如果此时存储设备发生掉电或者硬件错误,此时存储缓存中的数据将会丢失。对于像日志文件系统中的日志这样的数据,其后果可能是非常严重的。因为日志文件系统中,数据的写入和日志的写入存在先后顺序。如果顺序发生错乱,则可能破坏文件系统。
BarrierI/O的目的是使其之前的I/O在其之前写入存储介质,之后的I/O需要等到其写入完成后才能得到执行。
真实的数据块将在barrier被写入之前完全写入磁盘。使用barrier可以确保文件系统的完整性,barrier在EXT4文件系统中是默认启用。
可以通过/proc/mounts文件来监控文件系统barrier的当前状态;对于每一个挂载的文件系统,打开这个文件都能看到所有的挂载选项。如果你看到barrier=1,那么文件系统就正在使用barrier功能。
使用barrier的一个缺点是需要付出降低性能的代价。如果需要顶级的性能,可以用挂载选项-o barrier=0来关闭barrier功能,或者nobarrier。
在系统中断时,数据会留在缓存中,不会写入到文件系统。而一个带有电池备份的控制器可以避免这个问题。当服务器使用的这个控制器出故障了,磁盘控制器仍然能保证变更操作,可以排除barrier使用的需要。
所以可以尝试禁用barrier特性来测试。
关于EXT4文件系统
Linux kernel自2.6.28开始正式支持新的文件系统Ext4。 Ext4是Ext3的改进版,修改了Ext3中部分重要的数据结构,而不仅仅像Ext3对Ext2那样,只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性,还有更为丰富的功能:
1. 与Ext3兼容,就能从Ext3在线迁移到Ext4,而无须重新格式化磁盘或重新安装系统。原有Ext3数据结构照样保留,Ext4作用于新数据,当然,整个文件系统因此也就获得了Ext4所支持的更大容量。
2. 更大的文件系统和更大的文件。较之Ext3目前所支持的最大16TB文件系统和最大2TB文件,Ext4分别支持1EB(1,048,576TB,1EB=1024PB,1PB=1024TB)的文件系统,以及16TB的文件.
3. 无限数量的子目录。Ext3目前只支持32,000个子目录,而Ext4支持无限数量的子目录。
4. Extents。Ext3 采用间接块映射,当操作大文件时,效率极其低下。比如一个 100MB 大小的文件,在Ext3中要建立25,600个数据块(每个数据块大小为 4KB)的映射表。而Ext4引入了现代文件系统中流行的extents概念,每个 extent 为一组连续的数据块,上述文件则表示为“该文件数据保存在接下来的25,600个数据块中”,提高了不少效率。
5. 多块分配。当写入数据到 Ext3 文件系统中时,Ext3的数据块分配器每次只能分配一个4KB 的块,写一个 100MB 文件就要调用 25,600 次数据块分配器,而 Ext4 的多块分配器“multiblock allocator”(mballoc)支持一次调用分配多个数据块。
6. 延迟分配。Ext3的数据块分配策略是尽快分配,而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配,直到文件在 cache 中写完才开始分配数据块并写入磁盘,这样就能优化整个文件的数据块分配,与前两种特性搭配起来可以显著提升性能。
7. 快速 fsck。以前执行 fsck 第一步就会很慢,因为它要检查所有的 inode,现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表,今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。
8. 日志校验。日志是最常用的部分,也极易导致磁盘硬件故障,而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4的日志校验功能可以很方便地判断日志数据是否损坏,而且它将 Ext3 的两阶段日志机制合并成一个阶段,在增加安全性的同时提高了性能。
9. “无日志”(No Journaling)模式。日志总归有一些开销,Ext4允许关闭日志,以便某些有特殊需求的用户可以借此提升性能。
10. 10.在线碎片整理。尽管延迟分配、多块分配和extents能有效减少文件系统碎片,但碎片还是不可避免会产生。Ext4支持在线碎片整理,并将提供e4defrag工具进行个别文件或整个文件系统的碎片整理。
11. inode 相关特性。Ext4 支持更大的inode,较之Ext3默认的inode大小128字节,Ext4为了在 inode 中容纳更多的扩展属性(如纳秒时间戳或inode版本),默认inode大小为256字节。Ext4 还支持快速扩展属性(fastextended attributes)和inode保留(inodes reservation)。
12. 持久预分配(Persistent preallocation)。 P2P 软件为了保证下载文件有足够的空间存放,常常会预先创建一个与所下载文件大小相同的空文件,以免未来的数小时或数天之内磁盘空间不足导致下载失败。 Ext4在文件系统层面实现了持久预分配并提供相应的API(libc 中的 posix_fallocate()),比应用软件自己实现更有效率。
13. 默认启用 barrier。磁盘上配有内部缓存,以便重新调整批量数据的写操作顺序,优化写入性能,因此文件系统必须在日志数据写入磁盘之后才能写commit记录,若commit 记录写入在先,而日志有可能损坏,那么就会影响数据完整性。Ext4默认启用barrier,只有当barrier之前的数据全部写入磁盘,才能写 barrier之后的数据。(可通过“mount -o barrier=0″命令禁用该特性。)
更多推荐
所有评论(0)