2012年7月23日

unix共享內(nèi)存要點

共享內(nèi)存優(yōu)點：1.在進程之間不通過內(nèi)核傳遞數(shù)據(jù)，即不通過系統(tǒng)調(diào)用拷貝數(shù)據(jù)，達到快速，高效的數(shù)據(jù)傳輸。
2.隨內(nèi)核持續(xù)
*nix的共享內(nèi)存有兩套API：Posix和System V

兩者的主要差別是共享內(nèi)存的大小
1.Posix共享內(nèi)存大小可通過函數(shù)ftruncate隨時修改
2.System V共享內(nèi)存大小在創(chuàng)建時就已經(jīng)確定，而且最大值根據(jù)系統(tǒng)有所不同

Posix共享內(nèi)存
#include <sys/mman.h> （mmap，munmap，msync，shm_open，shm_unlink）

最主要的函數(shù) -- mmap
void* mmap(void* addr,size_t len,int prot,int flags,int fd,off_t offset)
函數(shù)將一個句柄映射到內(nèi)存中，這個句柄可以是open的文件句柄，也可以是shm_open的共享內(nèi)存區(qū)對象。當fd=-1時為匿名共享內(nèi)存。
*nix一切皆文件的觀點，shm_open也是在/dev/shm目錄下創(chuàng)建一個文件對象，返回對象的描述符。
mmap將句柄作為共享內(nèi)存的底層支撐對象，映射到內(nèi)存中，這樣可以不通過read、write在進程之間共享內(nèi)存。由此推測一下，在*nix的進程間傳遞數(shù)據(jù)更加原始的方法是進程間讀寫一個文件。但是頻繁的open、read、write、lseek系統(tǒng)調(diào)用會消耗過多的計算資源。所以想到了將這個文件句柄映射到內(nèi)存中，這樣就提高了進程間傳遞數(shù)據(jù)的效率。

需要注意的函數(shù) -- msync
當修改了內(nèi)存映射區(qū)的內(nèi)存后，內(nèi)核會在某個時刻將文件的內(nèi)容更新。為了確信文件被更新，調(diào)用函數(shù)msync。文件的更新可以是同步（MS_SYNC）也可以是異步（MS_ASYNC）。（估計這里也是調(diào)用了函數(shù)write更新文件）

System V共享內(nèi)存
#include <sys/shm.h> (shmget,shmat,shmdt,shmctl)
由于System V的共享內(nèi)存有大小的限制，所以可考慮，使用共享內(nèi)存數(shù)組來解決這個問。雖然數(shù)組的大小即一個進程可以獲取共享內(nèi)存的數(shù)量也是有限制，但是可以緩解System V單個共享內(nèi)存過小的問題。

posted @ 2012-07-23 00:08 Range 閱讀(1442) | 評論 (0) | 編輯收藏

2012年7月1日

erlang Receive的工作機制

receive works as follows:

1. When we enter a receive statement, we start a timer (but only if an after section is present in the expression).

2. Take the first message in the mailbox and try to match it against Pattern1, Pattern2, and so on. If the match succeeds, the message is removed from the mailbox, and the expressions following the pattern are evaluated.

3. If none of the patterns in the receive statement matches the first message in the mailbox, then the first message is removed from the mailbox and put into a “save queue.” The second message in the mailbox is then tried. This procedure is repeated until a matching message is found or until all the messages in the mailbox have been examined.

4. If none of the messages in the mailbox matches, then the process is suspended and will be rescheduled for execution the next time a new message is put in the mailbox. Note that when a new message arrives, the messages in the save queue are not rematched; only the new message is matched.

5. As soon as a message has been matched, then all messages that have been put into the save queue are reentered into the mailbox in the order in which they arrived at the process. If a timer was set, it is cleared.

6. If the timer elapses when we are waiting for a message, then evaluate the expressions ExpressionsTimeout and put any saved messages back into the mailbox in the order in which they arrived at the process.

posted @ 2012-07-01 17:17 Range 閱讀(706) | 評論 (0) | 編輯收藏

2011年10月9日

strcasestr函數(shù)

#define _GNU_SOURCE

#include <string.h>

char *strcasestr(const char *haystack, const char *needle);

用于在c串haystack中查找c串needle，忽略大小寫。如果找到則返回needle串在haystack串中第一次出現(xiàn)的位置的char指針

在實際的應(yīng)用中如果只加上頭文件，當編譯時會出現(xiàn) warning: assignment makes pointer from integer without a cast

這是因為函數(shù)的聲明在調(diào)用之后。未經(jīng)聲明的函數(shù)默認返回int型。

因此要在#include所有頭文件之前加

#define _GNU_SOURCE ，以此解決此問題。

posted @ 2011-10-09 19:12 Range 閱讀(20887) | 評論 (0) | 編輯收藏

2011年8月26日

服務(wù)器高性能程序磁盤I/O篇

Linux IO系統(tǒng)的架構(gòu)圖

一．設(shè)備-------- 影響磁盤性能的因素

硬盤的轉(zhuǎn)速影響硬盤的整體性能。一般情況下轉(zhuǎn)速越大，性能會越好。

硬盤的性能因素主要包括兩個：1.平均訪問時間2傳輸速率。

平均訪問時間包括兩方面因素：

平均尋道時間(Average Seek Time)是指硬盤的磁頭移動到盤面指定磁道所需的時間。一般在3ms至15ms之間。

平均旋轉(zhuǎn)等待時間(Latency)是指磁頭已處于要訪問的磁道，等待所要訪問的扇區(qū)旋轉(zhuǎn)至磁頭下方的時間。一般在2ms至6ms之間。

傳輸速率(Data Transfer Rate) 硬盤的數(shù)據(jù)傳輸率是指硬盤讀寫數(shù)據(jù)的速度，單位為兆字節(jié)每秒（MB/s）。磁盤每秒能傳輸80M~320M字節(jié)。

傳輸速率包括內(nèi)部傳輸速率和外部傳輸速率。

內(nèi)部傳輸率(Internal Transfer Rate) 也稱為持續(xù)傳輸率(Sustained Transfer Rate)，它反映了硬盤緩沖區(qū)未用時的性能。內(nèi)部傳輸率主要依賴于硬盤的旋轉(zhuǎn)速度。

外部傳輸率（External Transfer Rate）也稱為突發(fā)數(shù)據(jù)傳輸率（Burst Data Transfer Rate）或接口傳輸率，它標稱的是系統(tǒng)總線與硬盤緩沖區(qū)之間的數(shù)據(jù)傳輸率，外部數(shù)據(jù)傳輸率與硬盤接口類型和硬盤緩存的大小有關(guān)。STAT2 的傳輸速率在300MB/s級別。

因此在硬件級上，提高磁盤性能的關(guān)鍵主要是降低平均訪問時間。

二．設(shè)備驅(qū)動

內(nèi)存到硬盤的傳輸方式：poll，中斷，DMA

DMA：當 CPU 初始化這個傳輸動作，傳輸動作本身是由 DMA 控制器來實行和完成。

DMA控制器獲得總線控制權(quán)后，CPU即刻掛起或只執(zhí)行內(nèi)部操作，由DMA控制器輸出讀寫命令，直接控制RAM與I/O接口進行DMA傳輸。DMA每次傳送的是磁盤上相鄰的扇區(qū)。Scatter-gather DMA允許傳送不相鄰的扇區(qū)。

CPU性能與硬盤與內(nèi)存的數(shù)據(jù)傳輸速率關(guān)系不大。

設(shè)備驅(qū)動內(nèi)有一個結(jié)構(gòu)管理著IO的請求隊列

structrequest_queue（include/linux/Blkdev.h）

這里不僅僅有讀寫請求的數(shù)據(jù)塊，還有用于IO調(diào)度的回調(diào)函數(shù)結(jié)構(gòu)。每次需要傳輸?shù)臅r候，就從隊列中選出一個數(shù)據(jù)塊交給DMA進行傳輸。

所以IO調(diào)度的回調(diào)函數(shù)這是降低平均訪問的時間的關(guān)鍵。

三．OS

IO調(diào)度器

Linux kernel提供了四個調(diào)度器供用戶選擇。他們是noop,cfq,deadline,as。可以在系統(tǒng)啟動時設(shè)置內(nèi)核參數(shù)elevator=<name>來指定默認的調(diào)度器。也可以在運行時為某個塊設(shè)備設(shè)置IO調(diào)度程序。

下面來簡要介紹這四個調(diào)度器的電梯調(diào)度算法。

Noop：最簡單的調(diào)度算法。新的請求總是被添加到隊頭或者隊尾，然后總是從隊頭中選出將要被處理的請求。

CFQ：（Complete FarinessQueueing）它的目標是在所有請求的進程中平均分配IO的帶寬。因此，它會根據(jù)進程創(chuàng)建自己的請求隊列，然后將IO請求放入相應(yīng)的隊列中。在使用輪轉(zhuǎn)法從每個非空的隊列中取出IO請求。

Deadline：使用了四個隊列，兩個以磁盤塊序號排序的讀寫隊列，兩個以最后期限時間排序的讀寫隊列。算法首先確定下一個讀寫的方向，讀的優(yōu)先級高于寫。然后檢查被選方向的最后期限隊列：如果最后期限時間的隊列中有超時的請求，則將剛才的請求移動至隊尾，然后在磁盤號排序隊列中從超時請求開始處理。當處理完一個方向的請求后，在處理另一個方向的請求。（讀請求的超時時間是500ms，寫請求的超時時間是5s）

Anticipatory：它是最復(fù)雜的IO調(diào)度算法。和deadline算法一樣有四個隊列。還附帶了一些啟發(fā)式策略。它會從當前的磁頭位置后的磁盤號中選擇請求。在調(diào)度了一個由P進程的IO請求后，會檢查下一個請求，如果還是P進程的請求，則立即調(diào)度，如果不是，同時預(yù)測P進程很快會發(fā)出請求，則還延長大約7ms的時間等待P進程的IO請求。

Write/Read函數(shù)

以ext3的write為例：

系統(tǒng)調(diào)用write()的作用就是修改頁高速緩存內(nèi)的一些頁的內(nèi)容，如果頁高速緩存內(nèi)沒有所要的頁則分配并追加這些頁。

當臟頁達到一定數(shù)量或者超時后，將臟頁刷回硬盤。也可以執(zhí)行相關(guān)系統(tǒng)調(diào)用。

為什么要達到一定數(shù)量，是因為延遲寫能在一定層度上提高系統(tǒng)的性能，這也使得塊設(shè)備的平均讀請求會多于寫請求。

在程序中調(diào)用write函數(shù)，將進入系統(tǒng)調(diào)用f_op->write。這個函數(shù)將調(diào)用ext3的do_sync_write。這個函數(shù)將參數(shù)封裝后調(diào)用generic_file_aio_write。由參數(shù)名可以看出同步寫變成了異步寫。如果沒有標記O_DIRECT，將調(diào)用函數(shù)generic_file_buffered_write將寫的內(nèi)容寫進kernel的高速頁緩存中。Buffer是以page為單位即4k。之后當調(diào)用cond_resched()進行進程的調(diào)度，DMA會將buffer中的內(nèi)容寫進硬盤。

所以當每次以4k為單位寫入硬盤時效率會達到最高。下面是UNIX環(huán)境高級編程的實驗結(jié)果：

下圖是linux 的塊設(shè)備的數(shù)據(jù)操作層次：

Sector扇區(qū)：是設(shè)備驅(qū)動和IO調(diào)度程序處理數(shù)據(jù)粒度。

Block塊：是VFS和文件系統(tǒng)處理數(shù)據(jù)的粒度。其大小不唯一，可以是512,1024,2048,4096字節(jié)。內(nèi)核操作的塊大小是4096字節(jié)。

Segment段：是DMA傳送的單位。每一個段包含了相鄰的扇區(qū)，它能使DMA傳送不相鄰的扇區(qū)。

四．用戶程序

根據(jù)以上的分析，我們的write buffer一般設(shè)置為4K的倍數(shù)。

在程序中有意識的延遲寫。這個是os的策略，當然也可以應(yīng)用到程序的設(shè)計中。當然也會有缺點：1.如果硬件錯誤或掉電，則會丟失內(nèi)容（做額外的備份）2.需要額外的內(nèi)存空間。（犧牲內(nèi)存來提高IO的效率）

我們還需根據(jù)系統(tǒng)的IO調(diào)度器的調(diào)度策略，設(shè)計出不同的IO策略。盡量降低磁盤的平均訪問時間，降低請求隊列，提高數(shù)據(jù)傳輸?shù)乃俾省?/span>

五．監(jiān)控硬盤的工具和指標

Iostat–x –k 1

-x顯示更多的消息 -k數(shù)據(jù)以KB為單位 1每秒顯示一次

輸出顯示的信息

Iowait：cpu等待未完成的IO請求而空閑的時間的比例。

Idle：cpu空閑且無IO請求的比例。

rrqm/s：每秒這個設(shè)備相關(guān)的讀取請求有多少被Merge了。

wrqm/s：每秒這個設(shè)備相關(guān)的寫入請求有多少被Merge了。

rsec/s：每秒讀取的扇區(qū)數(shù)；

wsec/：每秒寫入的扇區(qū)數(shù)。

r/s：每秒完成的讀 I/O 設(shè)備次數(shù)。即 delta(rio)/s

w/s：每秒完成的寫 I/O 設(shè)備次數(shù)。即 delta(wio)/s

await：每一個IO請求的處理的平均時間（單位是毫秒）。包括加入請求隊列和服務(wù)的時間。

svctm: 平均每次設(shè)備I/O操作的服務(wù)時間。

avgrq-sz: 平均每次設(shè)備I/O操作的數(shù)據(jù)大小 (扇區(qū))。即 delta(rsect+wsect)/delta(rio+wio)
avgqu-sz: 平均I/O隊列長度。即 delta(aveq)/s/1000 (因為aveq的單位為毫秒)。

%util：在統(tǒng)計時間內(nèi)所有處理IO時間，除以總共統(tǒng)計時間。例如，如果統(tǒng)計間隔1秒，該設(shè)備有0.8秒在處理IO，而0.2秒閑置，那么該設(shè)備的%util = 0.8/1 = 80%，所以該參數(shù)暗示了設(shè)備的繁忙程度。一般地，如果該參數(shù)是100%表示設(shè)備已經(jīng)接近滿負荷運行了（當然如果是多磁盤，即使%util是100%，因為磁盤的并發(fā)能力，所以磁盤使用未必就到了瓶頸）。

下面我們做一個實驗來分析一下

我們使用命令

time dd if=/dev/zero of=/home/zhouyuan/mytest bs=1M count=3000

向mytest寫入數(shù)據(jù)，寫入3G。

截取部分的狀態(tài)監(jiān)控：

如圖2，當兩條數(shù)據(jù) iowait 達到了 99% 以上，寫入的數(shù)據(jù)是0，這是因為DMA將內(nèi)存的中的數(shù)據(jù)傳輸給設(shè)備。結(jié)合圖1的前兩條數(shù)據(jù)，利用率達到了99%+卻沒有寫入的磁盤塊。

如圖3，iowait下降，說明cpu開始執(zhí)行相關(guān)程序，而此時塊設(shè)備開始寫入的數(shù)據(jù)。這兩個操作是異步進行的。

Vmstat–k –n 1

Swap

　　si: 從磁盤交換到內(nèi)存的交換頁數(shù)量，單位：KB/秒

　　so: 從內(nèi)存交換到磁盤的交換頁數(shù)量，單位：KB/秒

　　bi: 從塊設(shè)備接受的塊數(shù)，單位：塊/秒

　　bo: 發(fā)送到塊設(shè)備的塊數(shù)，單位：塊/秒

從圖中我們可以看出系統(tǒng)的延遲寫。

posted @ 2011-08-26 20:04 Range 閱讀(17182) | 評論 (2) | 編輯收藏

2011年7月15日

#pragma pack學(xué)習

最近調(diào)試網(wǎng)絡(luò)的服務(wù)端程序，自己寫了一個小客戶端程序來測試，發(fā)現(xiàn)服務(wù)程序解包錯誤。經(jīng)調(diào)試發(fā)現(xiàn)客戶端的協(xié)議頭大小和服務(wù)器端的協(xié)議頭大小不一致。原因是服務(wù)器端加了#pragma pack(1),而客戶端沒加。

之前沒接觸過這個編譯宏，現(xiàn)在來認真學(xué)習之。

首先google之~~

原來#pragma pack有幾種形式，我所接觸到的是#pragma pack(n)，即變量以n字節(jié)對齊。

變量對齊在每個系統(tǒng)中是不一樣的，默認的對齊方式能有效的提高cpu取指取數(shù)的速度，但是可能會浪費一定的空間。在網(wǎng)絡(luò)程序中采用#pragma pack(1),即變量緊縮，不但可以減少網(wǎng)絡(luò)流量，還可以兼容各種系統(tǒng)，不會因為系統(tǒng)對齊方式不同而導(dǎo)致解包錯誤。

了解了概念和優(yōu)點，現(xiàn)在我們就來測試之~

平臺：CPU—Pentium E5700 內(nèi)存—2G

1.操作系統(tǒng)：ubuntu 11.04 32bit 編譯器：G++ 4.5.2

2.操作系統(tǒng)：windows xp 編譯器：VS2010

先看第一個測試。

結(jié)構(gòu)體在正常情況和緊縮情況在以上不同環(huán)境下占用的內(nèi)存大小。

1 struct pack {
2   int i;
3   short s;
4   double d;
5   char c;
6   short f;
7 }

測試結(jié)果為：

1：

2：

測試結(jié)果分析：

可以看出緊縮后結(jié)構(gòu)體的大小為15，是結(jié)構(gòu)體內(nèi)置類型大小的和。但是在默認情況下，結(jié)構(gòu)體的大小都是對齊字節(jié)數(shù)的倍數(shù)。ubuntu下pack只需要20個字節(jié)，而windows要24個字節(jié)。這是因為ubuntu是以4字節(jié)對齊，而windows則是以最大的內(nèi)置類型的字節(jié)數(shù)對齊，在結(jié)構(gòu)體內(nèi)最大的內(nèi)置類型為double，其大小為8個字節(jié)。他們在內(nèi)存中的對齊方式如下圖：

1：

2：

還需注意的是，在對齊類型的內(nèi)部都是以2字節(jié)對齊的。

結(jié)論：在默認情況下，linux操作系統(tǒng)是以4字節(jié)對齊，windows操作系統(tǒng)則是以最大的內(nèi)置類型對齊。

第二個測試

一個結(jié)構(gòu)體內(nèi)包含另外一個結(jié)構(gòu)體，其大小的情況。

內(nèi)部的結(jié)構(gòu)體為

1 struct pack {
2 short s;
3 double d;
4 }

外部的結(jié)構(gòu)體為

1 struct complex _pack{

2   char c;
3   struct pack s;
4   double d;
5 };

我們有四種情況：

1. pack緊縮，complex _pack緊縮

2. pack緊縮，complex _pack默認

3. pack默認，complex _pack緊縮

4. pack默認，complex _pack默認

以下的排列均按此順序。

測試的結(jié)果

1：

2：

測試結(jié)果分析：

在兩個操作系統(tǒng)下，除了第一種情況----內(nèi)結(jié)構(gòu)體和外結(jié)構(gòu)體都緊縮----相同之外，其他三種情況都不相同。我們可以根據(jù)偏移畫出結(jié)構(gòu)體在內(nèi)存中的情況。第一種情況省略。

1：

2：

結(jié)論：#pragma pack只影響當前結(jié)構(gòu)體的變量的對齊情況，并不會影響結(jié)構(gòu)體內(nèi)部的結(jié)構(gòu)體變量的排列情況。或者說#pragma pack的作用域只是一層。我們由第三種情況，內(nèi)部結(jié)構(gòu)體正常，外部結(jié)構(gòu)體緊縮，可以得出結(jié)構(gòu)體的對齊是按偏移計算的。

這里還有一個問題沒解決，為什么第二種情況內(nèi)部結(jié)構(gòu)體的偏移都是1?不是4或者8？

posted @ 2011-07-15 20:36 Range 閱讀(6227) | 評論 (6) | 編輯收藏

NAT學(xué)習

The IP Network Address Translator，IP網(wǎng)絡(luò)地址轉(zhuǎn)換是人們說的NAT，或者說NA(P)T。NAT是為了解決IPv4地址不足而提出來得一種替代方案，可以對外界屏蔽內(nèi)部的網(wǎng)絡(luò)拓撲。隨著網(wǎng)絡(luò)的發(fā)展，NAT阻礙了構(gòu)建在覆蓋網(wǎng)絡(luò)的P2P程序的發(fā)展。因為覆蓋網(wǎng)絡(luò)是構(gòu)建在應(yīng)用層，屏蔽了傳輸層以下的網(wǎng)絡(luò)拓撲，網(wǎng)絡(luò)中的每一個節(jié)點或某些節(jié)點有此網(wǎng)絡(luò)的路由表，由這些路由表構(gòu)建出這個覆蓋網(wǎng)絡(luò)，但是NAT阻礙的覆蓋網(wǎng)絡(luò)中節(jié)點的連接。



  上圖顯示了NAT的原理。NAT將內(nèi)網(wǎng)的IP替換為公網(wǎng)IP，將端口映射為公網(wǎng)的端口。公網(wǎng)IP替換內(nèi)網(wǎng)IP是固定的，NAT的不足之處在于端口的替換。因為NAT還沒有形成標準，替換策略有幾種，這也是NAT行為的關(guān)鍵。

在《Behavior and Classification of NAT Devices and Implications for NAT Traversal》一文中就把端口映射的行為分成四種，其中包括保留端口，不保留端口，端口重載，端口復(fù)用。這四種分類最終區(qū)分了NAT的四種類型即Full cone NAT，Symmetric NAT，Port-Restrictes cone NAT ，Address-Restriced cone NAT。

為了使覆蓋網(wǎng)絡(luò)中的節(jié)點相互通信，我們需要進行NAT穿越。在《A NAT Traversal Mechanism for Peer-To-Peer Networks》一文種介紹了根據(jù)兩端不同的NAT類型對應(yīng)的四種NAT穿越方案。如下圖

這些解決方案都需要STUN（Simple Traversal of User Datagram Protocol through Network Address Translators (NATs)，NAT的UDP簡單穿越）協(xié)議幫助。STUN協(xié)議要求一臺具有公網(wǎng)IP的主機幫助一臺主機進行NAT類型的判斷。

上圖是STUN協(xié)議的流程，其主要的思想是通過STUN的回射來判斷主機的NAT類型。

除了直接連接，反向連接、打洞和依賴都需要第三臺主機的幫助。

在《Characterization and Measurement of TCP Traversal through NATs and Firewalls》一文中介紹了TCP穿越的方法。在STUNT#2方法中，第三臺主機和兩臺需要連接的主機都有長連接，當一方需要發(fā)起來連接時，向第三臺主機發(fā)請求，第三臺主機向被請求的主機發(fā)送邀請，此時需要連接的主機都向?qū)Ψ桨l(fā)送SYN包，此時雙方的防火墻都有了洞，只要有一方的SYN包到達對方主機，連接就會被建立。Relay方法需要耗費的代價太大，在P2P應(yīng)用中一般會消極的處理雙方都是對稱NAT的情況。

posted @ 2011-07-15 20:35 Range 閱讀(1829) | 評論 (2) | 編輯收藏

Initialization

Hello World！

posted @ 2011-07-15 20:31 Range 閱讀(415) | 評論 (0) | 編輯收藏

僅列出標題

導(dǎo)航

隨筆檔案

2012年7月23日

2012年7月1日

2011年10月9日

2011年8月26日

2011年7月15日

統(tǒng)計