轉自http://www.ibm.com/developerworks/cn/linux/l-ipc/part5/index2.html, 作者:鄭彥興
系統調用mmap()通過映射一個普通文件實現共享內存。系統V則是通過映射特殊文件系統shm中的文件實現進程間的共享內存通信。也就是說,每個共享內存區域對應特殊文件系統shm中的一個文件(這是通過shmid_kernel結構聯系起來的),后面還將闡述。
1、系統V共享內存原理
進程間需要共享的數據被放在一個叫做IPC共享內存區域的地方,所有需要訪問該共享區域的進程都要把該共享區域映射到本進程的地址空間 中去。系統V共享內存通過shmget獲得或創建一個IPC共享內存區域,并返回相應的標識符。內核在保證shmget獲得或創建一個共享內存區,初始化 該共享內存區相應的shmid_kernel結構注同時,還將在特殊文件系統shm中,創建并打開一個同名文件,并在內存中建立起該文件的相應 dentry及inode結構,新打開的文件不屬于任何一個進程(任何進程都可以訪問該共享內存區)。所有這一切都是系統調用shmget完成的。
注:每一個共享內存區都有一個控制結構struct shmid_kernel,shmid_kernel是共享內存區域中非常重要的一個數據結構,它是存儲管理和文件系統結合起來的橋梁,定義如下:
- struct shmid_kernel /* private to the kernel */
- {
- struct kern_ipc_perm shm_perm;
- struct file * shm_file;
- int id;
- unsigned long shm_nattch;
- unsigned long shm_segsz;
- time_t shm_atim;
- time_t shm_dtim;
- time_t shm_ctim;
- pid_t shm_cprid;
- pid_t shm_lprid;
- };
該結構中最重要的一個域應該是shm_file,它存儲了將被映射文件的地址。每個共享內存區對象都對應特殊文件系統shm中的一個文 件,一般情況下,特殊文件系統shm中的文件是不能用read()、write()等方法訪問的,當采取共享內存的方式把其中的文件映射到進程地址空間 后,可直接采用訪問內存的方式對其訪問。
這里我們采用[1]中的圖表給出與系統V共享內存相關數據結構:
正如消息隊列和信號燈一樣,內核通過數據結構struct ipc_ids shm_ids維護系統中的所有共享內存區域。上圖中的shm_ids.entries變量指向一個ipc_id結構數組,而每個ipc_id結構數組中 有個指向kern_ipc_perm結構的指針。到這里讀者應該很熟悉了,對于系統V共享內存區來說,kern_ipc_perm的宿主是 shmid_kernel結構,shmid_kernel是用來描述一個共享內存區域的,這樣內核就能夠控制系統中所有的共享區域。同時,在 shmid_kernel結構的file類型指針shm_file指向文件系統shm中相應的文件,這樣,共享內存區域就與shm文件系統中的文件對應起 來。
在創建了一個共享內存區域后,還要將它映射到進程地址空間,系統調用shmat()完成此項功能。由于在調用shmget()時,已經 創建了文件系統shm中的一個同名文件與共享內存區域相對應,因此,調用shmat()的過程相當于映射文件系統shm中的同名文件過程,原理與 mmap()大同小異。
2、系統V共享內存API
對于系統V共享內存,主要有以下幾個API:shmget()、shmat()、shmdt()及shmctl()。
- #include <sys/ipc.h>
- #include <sys/shm.h>
shmget()用來獲得共享內存區域的ID,如果不存在指定的共享區域就創建相應的區域。shmat()把共享內存區域映射到調用進 程的地址空間中去,這樣,進程就可以方便地對共享區域進行訪問操作。shmdt()調用用來解除進程對共享內存區域的映射。shmctl實現對共享內存區 域的控制操作。這里我們不對這些系統調用作具體的介紹,讀者可參考相應的手冊頁面,后面的范例中將給出它們的調用方法。
注:shmget的內部實現包含了許多重要的系統V共享內存機制;shmat在把共享內存區域映射到進程空間時,并不真正改變進程的頁 表。當進程第一次訪問內存映射區域訪問時,會因為沒有物理頁表的分配而導致一個缺頁異常,然后內核再根據相應的存儲管理機制為共享內存映射區域分配相應的 頁表。
3、系統V共享內存限制
在/proc/sys/kernel/目錄下,記錄著系統V共享內存的一下限制,如一個共享內存區的最大字節數shmmax,系統范圍內最大共享內存區標識符數shmmni等,可以手工對其調整,但不推薦這樣做。
在[2]中,給出了這些限制的測試方法,不再贅述。
4、系統V共享內存范例
本部分將給出系統V共享內存API的使用方法,并對比分析系統V共享內存機制與mmap()映射普通文件實現共享內存之間的差異,首先給出兩個進程通過系統V共享內存通信的范例:
- /***** testwrite.c *******/
- #include <sys/ipc.h>
- #include <sys/shm.h>
- #include <sys/types.h>
- #include <unistd.h>
- typedef struct{
- char name[4];
- int age;
- } people;
- main(int argc, char** argv)
- {
- int shm_id,i;
- key_t key;
- char temp;
- people *p_map;
- char* name = "/dev/shm/myshm2";
- key = ftok(name,0);
- if(key==-1)
- perror("ftok error");
- shm_id=shmget(key,4096,IPC_CREAT);
- if(shm_id==-1)
- {
- perror("shmget error");
- return;
- }
- p_map=(people*)shmat(shm_id,NULL,0);
- temp='a';
- for(i = 0;i<10;i++)
- {
- temp+=1;
- memcpy((*(p_map+i)).name,&temp,1);
- (*(p_map+i)).age=20+i;
- }
- if(shmdt(p_map)==-1)
- perror(" detach error ");
- }
- /********** testread.c ************/
- #include <sys/ipc.h>
- #include <sys/shm.h>
- #include <sys/types.h>
- #include <unistd.h>
- typedef struct{
- char name[4];
- int age;
- } people;
- main(int argc, char** argv)
- {
- int shm_id,i;
- key_t key;
- people *p_map;
- char* name = "/dev/shm/myshm2";
- key = ftok(name,0);
- if(key == -1)
- perror("ftok error");
- shm_id = shmget(key,4096,IPC_CREAT);
- if(shm_id == -1)
- {
- perror("shmget error");
- return;
- }
- p_map = (people*)shmat(shm_id,NULL,0);
- for(i = 0;i<10;i++)
- {
- printf( "name:%s\n",(*(p_map+i)).name );
- printf( "age %d\n",(*(p_map+i)).age );
- }
- if(shmdt(p_map) == -1)
- perror(" detach error ");
- }
testwrite.c創建一個系統V共享內存區,并在其中寫入格式化數據;testread.c訪問同一個系統V共享內存區,讀出其 中的格式化數據。分別把兩個程序編譯為testwrite及testread,先后執行./testwrite及./testread 則./testread輸出結果如下:
- name: b age 20; name: c age 21; name: d age 22; name: e age 23; name: f age 24;
- name: g age 25; name: h age 26; name: I age 27; name: j age 28; name: k age 29;
通過對試驗結果分析,對比系統V與mmap()映射普通文件實現共享內存通信,可以得出如下結論:
1、 系統V共享內存中的數據,從來不寫入到實際磁盤文件中去;而通過mmap()映射普通文件實現的共享內存通信可以指定何時將數據寫入磁盤文件中。 注:前面講到,系統V共享內存機制實際是通過映射特殊文件系統shm中的文件實現的,文件系統shm的安裝點在交換分區上,系統重新引導后,所有的內容都丟失。
2、 系統V共享內存是隨內核持續的,即使所有訪問共享內存的進程都已經正常終止,共享內存區仍然存在(除非顯式刪除共享內存),在內核重新引導之前,對該共享內存區域的任何改寫操作都將一直保留。
3、 通過調用mmap()映射普通文件進行進程間通信時,一定要注意考慮進程何時終止對通信的影響。而通過系統V共享內存實現通信的進程則不然。 注:這里沒有給出shmctl的使用范例,原理與消息隊列大同小異。
結論:
共享內存允許兩個或多個進程共享一給定的存儲區,因為數據不需要來回復制,所以是最快的一種進程間通信機制。共享內存可以通過 mmap()映射普通文件(特殊情況下還可以采用匿名映射)機制實現,也可以通過系統V共享內存機制實現。應用接口和原理很簡單,內部機制復雜。為了實現 更安全通信,往往還與信號燈等同步機制共同使用。
共享內存涉及到了存儲管理以及文件系統等方面的知識,深入理解其內部機制有一定的難度,關鍵還要緊緊抓住內核使用的重要數據結構。系統 V共享內存是以文件的形式組織在特殊文件系統shm中的。通過shmget可以創建或獲得共享內存的標識符。取得共享內存標識符后,要通過shmat將這 個內存區映射到本進程的虛擬地址空間。
參考資料
[1] Understanding the Linux Kernel, 2nd Edition, By Daniel P. Bovet, Marco Cesati , 對各主題闡述得重點突出,脈絡清晰。
[2] UNIX網絡編程第二卷:進程間通信,作者:W.Richard Stevens,譯者:楊繼張,清華大學出版社。對mmap()有詳細闡述。
[3] Linux內核源代碼情景分析(上),毛德操、胡希明著,浙江大學出版社,給出了mmap()相關的源代碼分析。
[4]shmget、shmat、shmctl、shmdt手冊