Linux文件系統

常見的硬盤如上圖所示，每個盤片分多個磁道，每個磁道分多個扇區，每個扇區512字節，是硬盤的最小存儲單元，但是在操作系統層面會將多個扇區組成塊（block），是操作系統存儲數據的最小單元，通常是8個扇區組成4K字節的塊。
對于Linux文件系統，需要考慮以下幾點：

• 文件系統需要有嚴格的組織形式，使文件能夠以塊為單位存儲

• 文件系統需要有索引區，方便查找一個文件分成的多個塊存在了什么位置

• 如果有文件近期經常被讀寫，需要有緩存層

• 文件應該用文件夾的形式組織起來方便管理和查詢

• Linux內核要在自己的內存里維護一套數據結構，保持哪些文件被哪些進程打開和使用

Linux里面一切皆文件，都有以下幾種文件（從ls -l結果的第一位標識位可以看出來）：

• - 表示普通文件

• d 表示文件夾

• c 表示字符設備文件

• b 表示塊設備文件

• s 表示套接字socket文件

• l 表示軟鏈接

Inode和塊存儲

下面就以EXT系列格式為例來看一下文件是如果存在硬盤上的。首先文件會被分成一個個的塊，分散得存在硬盤上，就需要一個索引結構來幫助我們找到這些塊以及記錄文件的一些元信息，這就是inode，其中i代表index。inode數據結構如下：

struct ext4_inode {
 __le16 i_mode;  /* File mode */
 __le16 i_uid;  /* Low 16 bits of Owner Uid */
 __le32 i_size_lo; /* Size in bytes */
 __le32 i_atime; /* Access time */
 __le32 i_ctime; /* Inode Change time */
 __le32 i_mtime; /* Modification time */
 __le32 i_dtime; /* Deletion Time */
 __le16 i_gid;  /* Low 16 bits of Group Id */
 __le16 i_links_count; /* Links count */
 __le32 i_blocks_lo; /* Blocks count */
 __le32 i_flags; /* File flags */
 union {
  struct {
   __le32 l_i_version;
  } linux1;
  struct {
   __u32 h_i_translator;
  } hurd1;
  struct {
   __u32 m_i_reserved1;
  } masix1;
 } osd1;    /* OS dependent 1 */
 __le32 i_block[EXT4_N_BLOCKS];/* Pointers to blocks */
 __le32 i_generation; /* File version (for NFS) */
 __le32 i_file_acl_lo; /* File ACL */
 __le32 i_size_high;
 __le32 i_obso_faddr; /* Obsoleted fragment address */
 union {
  struct {
   __le16 l_i_blocks_high; /* were l_i_reserved1 */
   __le16 l_i_file_acl_high;
   __le16 l_i_uid_high; /* these 2 fields */
   __le16 l_i_gid_high; /* were reserved2[0] */
   __le16 l_i_checksum_lo;/* crc32c(uuid+inum+inode) LE */
   __le16 l_i_reserved;
  } linux2;
  struct {
   __le16 h_i_reserved1; /* Obsoleted fragment number/size which are removed in ext4 */
   __u16 h_i_mode_high;
   __u16 h_i_uid_high;
   __u16 h_i_gid_high;
   __u32 h_i_author;
  } hurd2;
  struct {
   __le16 h_i_reserved1; /* Obsoleted fragment number/size which are removed in ext4 */
   __le16 m_i_file_acl_high;
   __u32 m_i_reserved2[2];
  } masix2;
 } osd2;    /* OS dependent 2 */
 __le16 i_extra_isize;
 __le16 i_checksum_hi; /* crc32c(uuid+inum+inode) BE */
 __le32 i_ctime_extra; /* extra Change time (nsec << 2 | epoch) */
 __le32 i_mtime_extra; /* extra Modification time(nsec << 2 | epoch) */
 __le32 i_atime_extra; /* extra Access time (nsec << 2 | epoch) */
 __le32 i_crtime; /* File Creation time */
 __le32 i_crtime_extra; /* extra FileCreationtime (nsec << 2 | epoch) */
 __le32 i_version_hi; /* high 32 bits for 64-bit version */
 __le32 i_projid; /* Project ID */
};

其中__le32 i_block[EXT4_N_BLOCKS]存儲了到數據塊的引用，EXT4_N_BLOCKS定義如下：

#define EXT4_NDIR_BLOCKS 12
#define EXT4_IND_BLOCK EXT4_NDIR_BLOCKS
#define EXT4_DIND_BLOCK (EXT4_IND_BLOCK + 1)
#define EXT4_TIND_BLOCK (EXT4_DIND_BLOCK + 1)
#define EXT4_N_BLOCKS (EXT4_TIND_BLOCK + 1)

在ext2和ext3中i_block前12項存儲了直接到數據塊的引用，第13項存儲的是到間接塊的引用，在間接塊里存儲著數據塊的位置，以此類推，第14項里存儲著二次間接快的位置，第15項里存儲著三次間接塊的位置,如下圖所示：

不難看出，對于大文件，需要多次讀取硬盤才能找到相應的塊，在ext4中就提出了Extents Tree來解決這一問題，其核心思想就是把連續的塊用開始位置加塊的個數來表示，不再是一個一個去記錄每一個塊的位置，這樣就能節約存儲空間。首先，它將i_block中原來415=60字節的空間換成了一個extent header（ext4_extent_header）加4個extent entry（ext4_extent），因為ext4_extent_header和ext4_extent都是占用了12字節。ee_len中的第一個bit用來判斷是否初始化，所以它還能存儲最大32K個數，所以一個extent entry里最大可以存32K4K=128M的數據，如果一個文件大于4128M=512M或者這個文件被分散到多于4個不連續的塊中存儲，我們就需要擴展inode中的i_block結構。它的extent entry就要從ext4_extent被換成ext4_extent_idx結構體，它所指向的是一個塊，有4K字節，除去header占用的12字節，還能存340個ext4_extent，最大可以存340128M=42.5G的數據。可以看出這種索引結構在文件用連續的塊存儲時非常高效。

struct ext4_extent_header {
 __le16 eh_magic; /* ext4 extents標識：0xF30A */
 __le16 eh_entries; /* 當前層級中有效節點的數目 */
 __le16 eh_max; /* 當前層級中最大節點的數目 */
 __le16 eh_depth; /* 當前層級在樹中的深度，0為葉子節點，即數據節點，>0代表索引節點 */
 __le32 eh_generation; 
}
struct ext4_extent {
 __le32 ee_block; /* extent的起始block邏輯序號 */
 __le16 ee_len; /* extent包含的block個數 */
 __le16 ee_start_hi; /*extent起始block的物理地址的高16位 */
 __le32 ee_start_lo; /*extent起始block的物理地址的低32位 */
};//數據節點中的extent_body格式
struct ext4_extent_idx {
 __le32 ei_block; /* 索引所覆蓋的文件范圍的起始block的邏輯序號 */
 __le32 ei_leaf_lo; /* 存放下一級extents的block的物理地址的低32位 */ 
 __le16 ei_leaf_hi; /* 存放下一級extents的block的物理地址的高16位 */
 __u16 ei_unused;

};//索引節點中的extent_body格式

舉一個/var/log/messages文件的例子如下圖所示：

inode位圖和塊位圖

硬盤上會有專門存放塊數據的區域也會有存放inode的區域，但是當我們要新建一個文件時，就需要知道哪個inode區域和哪個塊是空的，這就需要分別用一個塊來存儲inode位圖和一個塊來存儲塊位圖，每一個bit為1表示占用，為0表示未占用。但是一個塊最多有4K*8=32K個位，也就最多能表示32K個塊的狀態，所以需要讓這些塊組成一個塊組，來搭出更大的系統。

硬鏈接和軟鏈接

硬鏈接與原文件共用一個inode，且inode不能跨文件系統，所以硬鏈接也不能跨文件系統。

軟鏈接有自己inode，只是打開文件時是指向另外一個文件，所以可以跨文件系統且當原文件被刪除后仍存在。