IP碎片重組過程分析
 
本文檔的Copyleft歸yfydz所有，使用GPL發(fā)布，可以自由拷貝，轉(zhuǎn)載，轉(zhuǎn)載時(shí)請(qǐng)保持文檔的完整性，嚴(yán)禁用于任何商業(yè)用途。
msn: yfydz_no1@hotmail.com
來源：http://yfydz.cublog.cn

1. 前言
 
對(duì)IP碎片的重組是防火墻提高安全性的一個(gè)重要手段，通過提前進(jìn)行碎片重組，可以有效防御各種碎片攻擊，Linux內(nèi)核的防火墻netfilter就自動(dòng)對(duì)IP碎片包進(jìn)行了重組，本文介紹Linux內(nèi)核中的IP重組過程，內(nèi)核代碼版本2.4.26。

2. 處理流程
實(shí)現(xiàn)IP重組的基本函數(shù)為ip_defrag()，在net/ipv4/ip_fragment.c中實(shí)現(xiàn)，基本過程是建立碎片處理隊(duì)列，隊(duì)列中每個(gè)節(jié)點(diǎn)是一個(gè)鏈表，這個(gè)鏈表保存同一個(gè)連接的碎片，當(dāng)碎片都到達(dá)之后進(jìn)行數(shù)據(jù)包重組，或者在一定時(shí)間(缺省30秒)內(nèi)所有碎片包不能到達(dá)而釋放掉。

2.1 數(shù)據(jù)結(jié)構(gòu)
 
在處理分片包時(shí)，將skb包的cb字段保存碎片控制信息struct ipfrag_skb_cb。
 
#define FRAG_CB(skb) ((struct ipfrag_skb_cb*)((skb)->cb))
 
struct ipfrag_skb_cb
{
 struct inet_skb_parm h;
 int   offset;
};
 
ipq隊(duì)列節(jié)點(diǎn)結(jié)構(gòu)：
 
/* Describe an entry in the "incomplete datagrams" queue. */
struct ipq {
// 下一個(gè)
 struct ipq *next;  /* linked list pointers   */
// 最新使用鏈表
 struct list_head lru_list; /* lru list member    */
// 以下4項(xiàng)用來匹配一組IP分配
 u32  saddr;
 u32  daddr;
 u16  id;
 u8  protocol;
// 狀態(tài)標(biāo)志
 u8  last_in;
#define COMPLETE  4   // 數(shù)據(jù)已經(jīng)完整
#define FIRST_IN  2   // 第一個(gè)包到達(dá)
#define LAST_IN   1   // 最后一個(gè)包到達(dá)
//  接收到的IP碎片鏈表
 struct sk_buff *fragments; /* linked list of received fragments */
// len是根據(jù)最新IP碎片中的偏移信息得出的數(shù)據(jù)總長(zhǎng)
 int  len;  /* total length of original datagram */
// meat是所有碎片實(shí)際長(zhǎng)度的累加
 int  meat;
 spinlock_t lock;
 atomic_t refcnt;
// 超時(shí)
 struct timer_list timer; /* when will this queue expire?  */
// 前一項(xiàng)隊(duì)列地址
 struct ipq **pprev;
// 數(shù)據(jù)進(jìn)入網(wǎng)卡的索引號(hào)
 int  iif;
// 最新一個(gè)碎片的時(shí)間戳
 struct timeval stamp;
};

2.2 ip_defrag()函數(shù)：
 
這是進(jìn)行碎片重組的基本函數(shù)，返回重組后的skb包，或者返回NULL。

struct sk_buff *ip_defrag(struct sk_buff *skb)
{
 struct iphdr *iph = skb->nh.iph;
 struct ipq *qp;
 struct net_device *dev;
 
// 統(tǒng)計(jì)信息
 IP_INC_STATS_BH(IpReasmReqds);
 /* Start by cleaning up the memory. */

// 檢查已經(jīng)分配的碎片內(nèi)存是否超過所設(shè)置的上限
 if (atomic_read(&ip_frag_mem) > sysctl_ipfrag_high_thresh)
// ip_evictor()函數(shù)釋放當(dāng)前緩沖區(qū)中未能重組的數(shù)據(jù)包,使ip_frag_mem)小于
// sysctl_ipfrag_low_thresh(緩沖低限)
  ip_evictor();
 dev = skb->dev;
 
 /* Lookup (or create) queue header */
// 根據(jù)IP頭信息查找隊(duì)列節(jié)點(diǎn)
 if ((qp = ip_find(iph)) != NULL) {
  struct sk_buff *ret = NULL;
  spin_lock(&qp->lock);

// skb數(shù)據(jù)包進(jìn)入隊(duì)列節(jié)點(diǎn)鏈表
  ip_frag_queue(qp, skb);
  if (qp->last_in == (FIRST_IN|LAST_IN) &&
      qp->meat == qp->len)

// 滿足重組條件，對(duì)數(shù)據(jù)包進(jìn)行重組，返回重組后的數(shù)據(jù)包
   ret = ip_frag_reasm(qp, dev);
  spin_unlock(&qp->lock);

// 如果隊(duì)列節(jié)點(diǎn)使用數(shù)為0，釋放隊(duì)列節(jié)點(diǎn)
  ipq_put(qp);
  return ret;
 }
 
// 找不到相關(guān)節(jié)點(diǎn)，丟棄該數(shù)據(jù)包
 IP_INC_STATS_BH(IpReasmFails);
 kfree_skb(skb);
 return NULL;
}
 
2.3 ip_find()函數(shù)
 
ip_find()函數(shù)用于查找符合數(shù)據(jù)包的源、目的地址、協(xié)議和ID的隊(duì)列節(jié)點(diǎn)，找到后返回，如果找不到，則新建一個(gè)節(jié)點(diǎn)：
 
static inline struct ipq *ip_find(struct iphdr *iph)
{
 __u16 id = iph->id;
 __u32 saddr = iph->saddr;
 __u32 daddr = iph->daddr;
 __u8 protocol = iph->protocol;

// 碎片隊(duì)列是以HASH表形式實(shí)現(xiàn)的
// HASH函數(shù)使用源、目的地址、協(xié)議和ID四個(gè)IP頭參數(shù)進(jìn)行
 unsigned int hash = ipqhashfn(id, saddr, daddr, protocol);
 struct ipq *qp;
 read_lock(&ipfrag_lock);
 for(qp = ipq_hash[hash]; qp; qp = qp->next) {
  if(qp->id == id  &&
     qp->saddr == saddr &&
     qp->daddr == daddr &&
     qp->protocol == protocol) {
   atomic_inc(&qp->refcnt);
   read_unlock(&ipfrag_lock);
   return qp;
  }
 }
 read_unlock(&ipfrag_lock);
// 如果不存在，新建隊(duì)列節(jié)點(diǎn)
 return ip_frag_create(hash, iph);
}
 
ip_frag_create()函數(shù)，返回一個(gè)碎片隊(duì)列節(jié)點(diǎn)
 
static struct ipq *ip_frag_create(unsigned hash, struct iphdr *iph)
{
 struct ipq *qp;
// 分配一個(gè)新的碎片隊(duì)列節(jié)點(diǎn)
 if ((qp = frag_alloc_queue()) == NULL)
  goto out_nomem;
 qp->protocol = iph->protocol;
 qp->last_in = 0;
 qp->id = iph->id;
 qp->saddr = iph->saddr;
 qp->daddr = iph->daddr;
 qp->len = 0;
// meat是當(dāng)前隊(duì)列中所有碎片的長(zhǎng)度總和
 qp->meat = 0;
 qp->fragments = NULL;
 qp->iif = 0;
 /* Initialize a timer for this entry. */

// 隊(duì)列節(jié)點(diǎn)的定時(shí)器設(shè)置
 init_timer(&qp->timer);
 qp->timer.data = (unsigned long) qp; /* pointer to queue */

// 超時(shí)處理,釋放內(nèi)存,發(fā)送ICMP碎片超時(shí)錯(cuò)誤
 qp->timer.function = ip_expire;  /* expire function */
 qp->lock = SPIN_LOCK_UNLOCKED;

// 初始化隊(duì)列節(jié)點(diǎn)的使用數(shù)為1，注意不能是0
 atomic_set(&qp->refcnt, 1);
// 將碎片節(jié)點(diǎn)放入隊(duì)列HASH表
 return ip_frag_intern(hash, qp);
 
out_nomem:
 NETDEBUG(if (net_ratelimit()) printk(KERN_ERR "ip_frag_create: no memory left
!\n"));
 return NULL;
}
 
2.4 ip_frag_queue()函數(shù)
 
ip_frag_queue()函數(shù)將新來的skb包插入隊(duì)列節(jié)點(diǎn)中，這個(gè)函數(shù)是防御各種碎片攻擊的關(guān)鍵，要能處理各種異常的重組過程：
 
// ping of death, teardrop等就是靠異常的碎片偏移來進(jìn)行攻擊,因此需要仔細(xì)檢查
// 是否碎片偏移是否異常

static void ip_frag_queue(struct ipq *qp, struct sk_buff *skb)
{
 struct sk_buff *prev, *next;
 int flags, offset;
 int ihl, end;
 
// 對(duì)已經(jīng)有COMPLETE標(biāo)志的隊(duì)列節(jié)點(diǎn)再來新數(shù)據(jù)包表示錯(cuò)誤
 if (qp->last_in & COMPLETE)
  goto err;
 
// 計(jì)算當(dāng)前包的偏移值，IP頭中的偏移值只有13位,但表示的是8字節(jié)的倍數(shù)
  offset = ntohs(skb->nh.iph->frag_off);
 flags = offset & ~IP_OFFSET;
 offset &= IP_OFFSET;
 offset <<= 3;  /* offset is in 8-byte chunks */
  ihl = skb->nh.iph->ihl * 4;
 
 /* Determine the position of this fragment. */
// end是當(dāng)前包尾在完整包中的位置
  end = offset + skb->len - ihl;
 
 /* Is this the final fragment? */
 if ((flags & IP_MF) == 0) {
// 已經(jīng)沒有后續(xù)分片包了
  /* If we already have some bits beyond end
   * or have different end, the segment is corrrupted.
   */
  if (end < qp->len ||
      ((qp->last_in & LAST_IN) && end != qp->len))
   goto err;
  qp->last_in |= LAST_IN;
  qp->len = end;
 } else {
// 仍然存在后續(xù)的分片包,檢查數(shù)據(jù)長(zhǎng)度是否是8字節(jié)對(duì)齊的
  if (end&7) {
   end &= ~7;
   if (skb->ip_summed != CHECKSUM_UNNECESSARY)
    skb->ip_summed = CHECKSUM_NONE;
  }

  if (end > qp->len) {
// 長(zhǎng)度超過當(dāng)前記錄的長(zhǎng)度
   /* Some bits beyond end -> corruption. */
   if (qp->last_in & LAST_IN)
    goto err;
   qp->len = end;
  }
 }

 if (end == offset)
  goto err;
 
// 去掉IP頭部分，只保留數(shù)據(jù)部分
 if (pskb_pull(skb, ihl) == NULL)
  goto err;

// 將skb包長(zhǎng)度調(diào)整為end-offset, 該值為該skb包中的實(shí)際有效數(shù)據(jù)長(zhǎng)度
 if (pskb_trim(skb, end-offset))
  goto err;
 
 /* Find out which fragments are in front and at the back of us
  * in the chain of fragments so far.  We must know where to put
  * this fragment, right?
  */
// 確定當(dāng)前包在完整包中的位置,分片包不一定是順序到達(dá)目的端的,有可能是雜亂順序的
// 因此需要調(diào)整包的順序
 prev = NULL;
 for(next = qp->fragments; next != NULL; next = next->next) {
  if (FRAG_CB(next)->offset >= offset)
   break; /* bingo! */
  prev = next;
 }
 
 /* We found where to put this one.  Check for overlap with
  * preceding fragment, and, if needed, align things so that
  * any overlaps are eliminated.
  */
// 檢查偏移是否有重疊,重疊是允許的,只要是正確的
 if (prev) {
  int i = (FRAG_CB(prev)->offset + prev->len) - offset;
  if (i > 0) {
   offset += i;
   if (end <= offset)
    goto err;
   if (!pskb_pull(skb, i))
    goto err;
   if (skb->ip_summed != CHECKSUM_UNNECESSARY)
    skb->ip_summed = CHECKSUM_NONE;
  }
 }
 
// 如果重疊,則隊(duì)列后面的所有包的偏移值都要調(diào)整,數(shù)據(jù)包長(zhǎng)度的累加值也要相應(yīng)減小
 while (next && FRAG_CB(next)->offset < end) {
  int i = end - FRAG_CB(next)->offset; /* overlap is 'i' bytes */
  if (i < next->len) {
   /* Eat head of the next overlapped fragment
    * and leave the loop. The next ones cannot overlap.
    */
   if (!pskb_pull(next, i))
    goto err;
   FRAG_CB(next)->offset += i;
   qp->meat -= i;
   if (next->ip_summed != CHECKSUM_UNNECESSARY)
    next->ip_summed = CHECKSUM_NONE;
   break;
  } else {
   struct sk_buff *free_it = next;
   /* Old fragmnet is completely overridden with
    * new one drop it.
    */
   next = next->next;
   if (prev)
    prev->next = next;
   else
    qp->fragments = next;
   qp->meat -= free_it->len;
   frag_kfree_skb(free_it);
  }
 }
 
// skb記錄自己的偏移值
 FRAG_CB(skb)->offset = offset;
// 將當(dāng)前的skb插入隊(duì)列
 /* Insert this fragment in the chain of fragments. */
 skb->next = next;
 if (prev)
  prev->next = skb;
 else
  qp->fragments = skb;
  if (skb->dev)
   qp->iif = skb->dev->ifindex;
 skb->dev = NULL;
// 時(shí)間更新
 qp->stamp = skb->stamp;
// 當(dāng)前數(shù)據(jù)包總長(zhǎng)累加
 qp->meat += skb->len;
// 將skb大小加到碎片內(nèi)存中
 atomic_add(skb->truesize, &ip_frag_mem);
 if (offset == 0)
  qp->last_in |= FIRST_IN;
 write_lock(&ipfrag_lock);

// 調(diào)整碎片節(jié)點(diǎn)在最近使用隊(duì)列中的位置,在存儲(chǔ)區(qū)超過限值時(shí)先釋放的是最老的未用的
// 那些碎片
 list_move_tail(&qp->lru_list, &ipq_lru_list);
 write_unlock(&ipfrag_lock);
 return;
 
err:
// 出錯(cuò)時(shí)直接丟棄數(shù)據(jù)包,但隊(duì)列中已有的不釋放,如果重組失敗是等超時(shí)或
// 超過碎片內(nèi)存限值上限時(shí)釋放
 kfree_skb(skb);
}

2.5 ip_frag_reasm()函數(shù)
 
ip_frag_reasm()函數(shù)實(shí)現(xiàn)最終的數(shù)據(jù)重組過程,是在所有數(shù)據(jù)都正確接收后進(jìn)行
 
static struct sk_buff *ip_frag_reasm(struct ipq *qp, struct net_device *dev)
{
 struct iphdr *iph;
 struct sk_buff *fp, *head = qp->fragments;
 int len;
 int ihlen;
 
// 將節(jié)點(diǎn)從鏈表中斷開,刪除定時(shí)器
 ipq_kill(qp);
 BUG_TRAP(head != NULL);
 BUG_TRAP(FRAG_CB(head)->offset == 0);
 /* Allocate a new buffer for the datagram. */
 ihlen = head->nh.iph->ihl*4;
 len = ihlen + qp->len;
 
// IP總長(zhǎng)過了限值丟棄
 if(len > 65535)
  goto out_oversize;
 /* Head of list must not be cloned. */
 if (skb_cloned(head) && pskb_expand_head(head, 0, 0, GFP_ATOMIC))
  goto out_nomem;
 
 /* If the first fragment is fragmented itself, we split
  * it to two chunks: the first with data and paged part
  * and the second, holding only fragments. */
 if (skb_shinfo(head)->frag_list) {
// 隊(duì)列第一個(gè)skb不能是分片的,分片的話重新分配一個(gè)skb,自身數(shù)據(jù)長(zhǎng)度為0,
// 最終head的效果是這樣一個(gè)skb,自身不包括數(shù)據(jù),但其end指針,也就是
// struct skb_shared_info結(jié)構(gòu)中的frag_list包含所有碎片skb,這也是skb
// 的一種表現(xiàn)形式,不一定是一個(gè)連續(xù)的數(shù)據(jù)塊,但最終通過skb_linearize()
// 函數(shù)將這些鏈表節(jié)點(diǎn)中的數(shù)據(jù)都復(fù)制到連續(xù)數(shù)據(jù)塊中
  struct sk_buff *clone;
  int i, plen = 0;
  if ((clone = alloc_skb(0, GFP_ATOMIC)) == NULL)
   goto out_nomem;
  clone->next = head->next;
  head->next = clone;
  skb_shinfo(clone)->frag_list = skb_shinfo(head)->frag_list;
  skb_shinfo(head)->frag_list = NULL;
  for (i=0; i<skb_shinfo(head)->nr_frags; i++)
   plen += skb_shinfo(head)->frags[i].size;
  clone->len = clone->data_len = head->data_len - plen;
  head->data_len -= clone->len;
  head->len -= clone->len;
  clone->csum = 0;
  clone->ip_summed = head->ip_summed;
  atomic_add(clone->truesize, &ip_frag_mem);
 }
 
 skb_shinfo(head)->frag_list = head->next;
 skb_push(head, head->data - head->nh.raw);
 atomic_sub(head->truesize, &ip_frag_mem);
 
// 依次將所有后續(xù)包數(shù)據(jù)長(zhǎng)度累加,并將其長(zhǎng)度從分配的內(nèi)存計(jì)數(shù)中刪除
 for (fp=head->next; fp; fp = fp->next) {
  head->data_len += fp->len;
  head->len += fp->len;
  if (head->ip_summed != fp->ip_summed)
   head->ip_summed = CHECKSUM_NONE;
  else if (head->ip_summed == CHECKSUM_HW)
   head->csum = csum_add(head->csum, fp->csum);
  head->truesize += fp->truesize;
  atomic_sub(fp->truesize, &ip_frag_mem);
 }
 head->next = NULL;
 head->dev = dev;
 head->stamp = qp->stamp;
 
// 對(duì)IP頭中的長(zhǎng)度和偏移標(biāo)志進(jìn)行重置
 iph = head->nh.iph;
 iph->frag_off = 0;
 iph->tot_len = htons(len);
 IP_INC_STATS_BH(IpReasmOKs);

// 各碎片skb已經(jīng)得到處理,在釋放qp時(shí)將不再重新釋放了
 qp->fragments = NULL;
 return head;
out_nomem:
  NETDEBUG(if (net_ratelimit())
          printk(KERN_ERR
   "IP: queue_glue: no memory for gluing queue %p\n",
   qp));
 goto out_fail;
out_oversize:
 if (net_ratelimit())
  printk(KERN_INFO
   "Oversized IP packet from %d.%d.%d.%d.\n",
   NIPQUAD(qp->saddr));
out_fail:
 IP_INC_STATS_BH(IpReasmFails);
 return NULL;
}
 
2.6 ipq的釋放
 
重組完成后就要將碎片隊(duì)列釋放掉:
 
static __inline__ void ipq_put(struct ipq *ipq)
{
 if (atomic_dec_and_test(&ipq->refcnt))
  ip_frag_destroy(ipq);
}

/* Complete destruction of ipq. */
static void ip_frag_destroy(struct ipq *qp)
{
 struct sk_buff *fp;
 BUG_TRAP(qp->last_in&COMPLETE);
 BUG_TRAP(del_timer(&qp->timer) == 0);
 /* Release all fragment data. */
 fp = qp->fragments;
 while (fp) {
  struct sk_buff *xp = fp->next;
// 釋放每個(gè)碎片skb
  frag_kfree_skb(fp);
  fp = xp;
 }
 /* Finally, release the queue descriptor itself. */
// 釋放碎片節(jié)點(diǎn)本身
 frag_free_queue(qp);
}
 
3. 結(jié)論
 
linux的IP碎片重組過程中考慮了多種可能的異常，具有較大的安全性，因此在數(shù)據(jù)包進(jìn)入netfilter架構(gòu)前進(jìn)行數(shù)據(jù)包的重組就可以防御各類碎片攻擊。