因?yàn)樾枰私獾讓釉O(shè)備訪問的原理，所以慣用高層應(yīng)用語言的我，需要了解一下Linux的設(shè)備訪問機(jī)制，尤其是處理一組非阻塞IO的原理方法，標(biāo)準(zhǔn)的術(shù)語好像是叫多路復(fù)用。以下文章部分句子有引用之處，恕沒有一一指出出處。
對(duì)于接觸過Linux內(nèi)核或設(shè)備驅(qū)動(dòng)開發(fā)的讀者，一定清楚poll和select系統(tǒng)調(diào)用，以及從2.5版本引入的epoll機(jī)制（epoll機(jī)制包含三個(gè)系統(tǒng)調(diào)用）。網(wǎng)上關(guān)于它們的文章，有說用法的，甚為詳細(xì)，更有分析源代碼的，又比較深入，且枝節(jié)頗多。經(jīng)過幾篇文章的閱讀，我把覺得比較核心的東西寫下來吧。我的用意是盡可能以簡(jiǎn)單的概念，比對(duì)他們?nèi)叩漠愅?/span>
幾經(jīng)查找我才確定下來，poll和select應(yīng)該被歸類為這樣的系統(tǒng)調(diào)用，它們可以阻塞地同時(shí)探測(cè)一組支持非阻塞的IO設(shè)備，是否有事件發(fā)生（如可讀，可寫，有高優(yōu)先級(jí)的錯(cuò)誤輸出，出現(xiàn)錯(cuò)誤等等），直至某一個(gè)設(shè)備觸發(fā)了事件或者超過了指定的等待時(shí)間——也就是它們的職責(zé)不是做IO，而是幫助調(diào)用者尋找當(dāng)前就緒的設(shè)備。同類型的產(chǎn)品是Windows的IOCP，它也是處理多路復(fù)用，只是把IO和探測(cè)封裝在了一起了。
準(zhǔn)備的知識(shí)有兩點(diǎn)：1、fd；2、op->poll。
在Linux里面，設(shè)備都被抽象為文件，一系列的設(shè)備文件就有自己獨(dú)立的虛擬文件系統(tǒng)，所以，設(shè)備在系統(tǒng)調(diào)用參數(shù)中的表示就是file description。fd其實(shí)就是一個(gè)整數(shù)（特別地，標(biāo)準(zhǔn)輸入，輸出，錯(cuò)誤輸出分別對(duì)應(yīng)的fd是0，1，2）。與內(nèi)核打交道的時(shí)候，傳遞整數(shù)的fd可以在自己的文件系統(tǒng)中作進(jìn)一步的檢查是否合法，如果只是返回指針就不能這樣操作了，畢竟指針是無差別無意義的。
通過fd訪問file，通過file可以訪問其fileOperator，這里面我們要關(guān)心的一個(gè)fileOp就是poll。因?yàn)橄到y(tǒng)調(diào)用poll和select，就是依靠這個(gè)文件操作poll實(shí)現(xiàn)的。poll文件操作有兩個(gè)參數(shù)，一個(gè)是文件本身，一個(gè)可以看做是當(dāng)設(shè)備尚未就緒時(shí)調(diào)用的回調(diào)函數(shù)，這個(gè)函數(shù)是把設(shè)備自己特有的等待隊(duì)列傳給內(nèi)核，讓內(nèi)核把當(dāng)前的進(jìn)程掛載到其中（因?yàn)楫?dāng)設(shè)備就緒時(shí)，設(shè)備就應(yīng)該去喚醒在自己特有等待隊(duì)列中的所有節(jié)點(diǎn)，這樣當(dāng)前進(jìn)程就獲取了完成的信號(hào)了）。poll文件操作返回的必須是一組標(biāo)準(zhǔn)的掩碼，其中的各個(gè)位指示當(dāng)前的不同的就緒狀態(tài)（全0為沒有任何事件觸發(fā)）。
再談?wù)勗缙诙嗦窂?fù)用的版本poll和select。
本質(zhì)而言，poll和select的共同點(diǎn)就是，對(duì)全部指定設(shè)備做一次poll，當(dāng)然這往往都是還沒有就緒的，那就會(huì)通過回調(diào)函數(shù)把當(dāng)前進(jìn)程注冊(cè)到設(shè)備的等待隊(duì)列，如果所有設(shè)備返回的掩碼都沒有顯示任何的事件觸發(fā)，就去掉回調(diào)函數(shù)的函數(shù)指針，進(jìn)入有限時(shí)的睡眠狀態(tài)，再恢復(fù)和不斷做poll，再作有限時(shí)的睡眠，直到其中一個(gè)設(shè)備有事件觸發(fā)為止。只要有事件觸發(fā)，系統(tǒng)調(diào)用返回，回到用戶態(tài)，用戶就可以對(duì)相關(guān)的fd作進(jìn)一步的讀或者寫操作了。當(dāng)然，這個(gè)時(shí)候還不是所有的設(shè)備都就緒的喔，那就得不斷地poll或者select了，而做一次這樣的系統(tǒng)調(diào)用都得輪詢所有的設(shè)備，次數(shù)是設(shè)備數(shù)*（睡眠次數(shù)-1），也就是時(shí)間復(fù)雜度是O（n），還得做幾次O（n）呢。可見，對(duì)于現(xiàn)在普遍的服務(wù)器程序，需要同時(shí)并發(fā)監(jiān)聽數(shù)千個(gè)連接，并且連接需要重復(fù)使用的情況，poll和select就存在這樣的性能瓶頸。另外，數(shù)千個(gè)設(shè)備fd在每次調(diào)用時(shí)，都需要將其從用戶空間復(fù)制到內(nèi)核空間，這里的開銷不可忽略。
poll和select放在一起，是因?yàn)槠錂C(jī)制一致，而參數(shù)和數(shù)據(jù)結(jié)構(gòu)就略有不同。select一次性傳入三組作用于不同信道的設(shè)備fd，分別是輸入，輸出和錯(cuò)誤異常。各組的fd期待各組所特有的，由代碼指定的一組事件，如輸入信道期待輸入就緒，輸入掛起和錯(cuò)誤等事件。 然后，select就挑選調(diào)用者關(guān)心的fd做poll文件操作，檢測(cè)返回的掩碼，看看是否有fd所屬信道感興趣的事件，比如看看這個(gè)屬于輸出信道的fd有沒有輸出就緒等一系列的事件發(fā)生，一樣地，如果有一個(gè)fd發(fā)生感興趣事件就返回調(diào)用了。select，為了同時(shí)處理三組使用不同的事件判斷規(guī)則的fd，采用了位圖的方式表示，一組一個(gè)位圖，位長(zhǎng)度是當(dāng)中最大的fd值，上限是1024，三組就是3072，而且這還只是傳入的位圖，還有一樣大小的傳出的位圖。當(dāng)fd數(shù)越來越多時(shí)，所需的存儲(chǔ)開銷比較大。
既然，一組fd處理起來比較粗放，那就各個(gè)fd自己準(zhǔn)備好了。poll()系統(tǒng)調(diào)用是System V的多元I/O解決方案。它有三個(gè)參數(shù)，第一個(gè)是pollfd結(jié)構(gòu)的數(shù)組指針，也就是指向一組fd及其相關(guān)信息的指針，因?yàn)檫@個(gè)結(jié)構(gòu)包含的除了fd，還有期待的事件掩碼和返回的事件掩碼，實(shí)質(zhì)上就是將select的中的fd，傳入和傳出參數(shù)歸到一個(gè)結(jié)構(gòu)之下，也不再把fd分為三組，也不再硬性規(guī)定fd感興趣的事件，這由調(diào)用者自己設(shè)定。這樣，不使用位圖來組織數(shù)據(jù)，也就不需要位圖的全部遍歷了。按照一般隊(duì)列地遍歷，每個(gè)fd做poll文件操作，檢查返回的掩碼是否有期待的事件，以及做是否有掛起和錯(cuò)誤的必要性檢查，如果有事件觸發(fā)，就可以返回調(diào)用了。
回到poll和select的共同點(diǎn)，面對(duì)高并發(fā)多連接的應(yīng)用情境，它們顯現(xiàn)出原來沒有考慮到的不足，雖然poll比起select又有所改進(jìn)了。除了上述的關(guān)于每次調(diào)用都需要做一次從用戶空間到內(nèi)核空間的拷貝，還有這樣的問題，就是當(dāng)處于這樣的應(yīng)用情境時(shí)，poll和select會(huì)不得不多次操作，并且每次操作都很有可能需要多次進(jìn)入睡眠狀態(tài)，也就是多次全部輪詢fd，我們應(yīng)該怎么處理一些會(huì)出現(xiàn)重復(fù)而無意義的操作。
這些重復(fù)而無意義的操作有：1、從用戶到內(nèi)核空間拷貝，既然長(zhǎng)期監(jiān)視這幾個(gè)fd，甚至連期待的事件也不會(huì)改變，那拷貝無疑就是重復(fù)而無意義的，我們可以讓內(nèi)核長(zhǎng)期保存所有需要監(jiān)視的fd甚至期待事件，或者可以再需要時(shí)對(duì)部分期待事件進(jìn)行修改；2、將當(dāng)前線程輪流加入到每個(gè)fd對(duì)應(yīng)設(shè)備的等待隊(duì)列，這樣做無非是哪一個(gè)設(shè)備就緒時(shí)能夠通知進(jìn)程退出調(diào)用，聰明的開發(fā)者想到，那就找個(gè)“代理”的回調(diào)函數(shù)，代替當(dāng)前進(jìn)程加入fd的等待隊(duì)列好了（這也是我后來才總結(jié)出來，Linux的等待隊(duì)列，實(shí)質(zhì)上是回調(diào)函數(shù)隊(duì)列吧，也可以使用宏來將當(dāng)前進(jìn)程“加入”等待隊(duì)列，其實(shí)就是將喚醒當(dāng)前進(jìn)程的回調(diào)函數(shù)加入隊(duì)列）。這樣，像poll系統(tǒng)調(diào)用一樣，做poll文件操作發(fā)現(xiàn)尚未就緒時(shí)，它就調(diào)用傳入的一個(gè)回調(diào)函數(shù)，這是epoll指定的回調(diào)函數(shù)，它不再像以前的poll系統(tǒng)調(diào)用指定的回調(diào)函數(shù)那樣，而是就將那個(gè)“代理”的回調(diào)函數(shù)加入設(shè)備的等待隊(duì)列就好了，這個(gè)代理的回調(diào)函數(shù)就自己乖乖地等待設(shè)備就緒時(shí)將它喚醒，然后它就把這個(gè)設(shè)備fd放到一個(gè)指定的地方，同時(shí)喚醒可能在等待的進(jìn)程，到這個(gè)指定的地方取fd就好了。我們把1和2結(jié)合起來就可以這樣做了，只拷貝一次fd，一旦確定了fd就可以做poll文件操作，如果有事件當(dāng)然好啦，馬上就把fd放到指定的地方，而通常都是沒有的，那就給這個(gè)fd的等待隊(duì)列加一個(gè)回調(diào)函數(shù)，有事件就自動(dòng)把fd放到指定的地方，當(dāng)前進(jìn)程不需要再一個(gè)個(gè)poll和睡眠等待了。
epoll機(jī)制就是這樣改進(jìn)的了。誠(chéng)然，fd少的時(shí)候，當(dāng)前進(jìn)程一個(gè)個(gè)地等問題不大，可是現(xiàn)在和尚多了，方丈就不好管了。以前設(shè)備事件觸發(fā)時(shí)，只負(fù)責(zé)喚醒當(dāng)前進(jìn)程就好了，而當(dāng)前進(jìn)程也只能傻傻地在poll里面等待或者循環(huán)，再來一次poll，也不知道這個(gè)由設(shè)備提供的poll性能如何，能不能檢查出當(dāng)前進(jìn)程已經(jīng)在等待了就立即返回，當(dāng)然，我也不明白為什么做了一遍的poll之后，去掉回調(diào)函數(shù)指針了，還得再做，不是說好了會(huì)去喚醒進(jìn)程的嗎？
現(xiàn)在就讓事件觸發(fā)回調(diào)函數(shù)多做一步。本來設(shè)備還沒就緒就調(diào)用一個(gè)回調(diào)函數(shù)了，現(xiàn)在再在這個(gè)回調(diào)函數(shù)里面做一個(gè)注冊(cè)另一個(gè)回調(diào)函數(shù)的操作，目的就是使得設(shè)備事件觸發(fā)多走一步，不僅僅是喚醒當(dāng)前進(jìn)程，還要把自己的fd放到指定的地方。就像收本子的班長(zhǎng)，以前得一個(gè)個(gè)學(xué)生地去問有沒有本子，如果沒有，它還得等待一段時(shí)間而后又繼續(xù)問，現(xiàn)在好了，只走一次，如果沒有本子，班長(zhǎng)就告訴大家去那里交本子，當(dāng)班長(zhǎng)想起要取本子，就去那里看看或者等待一定時(shí)間后離開，有本子到了就叫醒他，然后取走。這個(gè)道理很簡(jiǎn)單，就是老師和班干們常說的，大家多做一點(diǎn)工作，我的工作就輕松很多了，尤其是需要管理的東西越來越多時(shí)。
這種機(jī)制或者說模式，我想在Java的FutureTask里面應(yīng)該也會(huì)用到的，一堆在線程池里面跑著的線程（當(dāng)然這是任務(wù)，不是線程，接口是Callable<V>，不是Runnable.run，是Callable.call，它是可以返回結(jié)果的），誰先做好就應(yīng)該先處理呀，可是難道得一個(gè)個(gè)問嗎？干脆就誰好了，誰就按照既定的操作暴露自己，這樣FutureTask的get方法就可以馬上知道當(dāng)前最先完成的線程了，就可以取此線程返回結(jié)果了。
epoll由三個(gè)系統(tǒng)調(diào)用組成，分別是epoll_create，epoll_ctl和epoll_wait。epoll_create用于創(chuàng)建和初始化一些內(nèi)部使用的數(shù)據(jù)結(jié)構(gòu)；epoll_ctl用于添加，刪除或者修改指定的fd及其期待的事件，epoll_wait就是用于等待任何先前指定的fd事件。
關(guān)于epoll內(nèi)部的數(shù)據(jù)結(jié)構(gòu)，我就不能詳細(xì)了解了。