|
轉(zhuǎn)自：http://hi.baidu.com/galoisxin/item/1761410b29778990a3df43b8 作者的博客內(nèi)容很豐富很有價值：http://hi.baidu.com/new/galoisxin 互聯(lián)網(wǎng)時代，幾乎所有大型應用都或多或少與網(wǎng)絡有關，而I/O模型又是一切網(wǎng)絡編程的基礎。本文以筆者熟悉的Unix/Linux接口為例，著重介紹了幾種常用的I/O模型，希望能給各位服務器領域的同仁提供參考價值。
阻塞型的網(wǎng)絡編程接口
初學Socket編程，大家都是從 listen()、send()、recv() 等接口開始的。使用這些接口可以實現(xiàn)一個非常簡單的網(wǎng)絡通訊程序，如下圖所示。  在這個線程 / 時間圖例中，黑色的粗線代表線程的等待時間，或者說成是被阻塞的。我們注意到accept()、send()、recv()這幾個接口在調(diào)用時都發(fā)生了阻塞。實際上，在缺省狀態(tài)下，socket 接口都是阻塞型的。這意味著當一個socket調(diào)用不能立即完成時，進程或線程將進入睡眠狀態(tài)，等待操作完成。這給網(wǎng)絡編程帶來了一個很大的問題，如在調(diào)用 send() 的同時，線程將被阻塞，在此期間，線程將無法執(zhí)行任何運算或響應任何的網(wǎng)絡請求。這給多客戶機、多業(yè)務邏輯的網(wǎng)絡編程帶來了挑戰(zhàn)。要解決這個問題，我們自然而然的想到多線程。 多線程的服務器程序 應對多客戶機的網(wǎng)絡應用，最簡單的解決方式是在服務器端使用多線程（或多進程）。多線程（或多進程）的目的是讓每個連接都擁有獨立的線程（或進程），這樣任何一個連接的阻塞都不會影響其他的連接。 具體使用多進程還是多線程，并沒有一個特定的模式。傳統(tǒng)意義上，進程的開銷要遠遠大于線程，所以，如果需要同時為較多的客戶機提供服務，則不推薦使用多進程；如果單個服務執(zhí)行體需要消耗較多的 CPU 資源，譬如需要進行大規(guī)?；蜷L時間的數(shù)據(jù)運算或文件訪問，則進程較為安全。在Unix/Linux環(huán)境中，使用 pthread_create () 創(chuàng)建新線程，fork() 創(chuàng)建新進程。 我們假設對上述的服務器 / 客戶機模型，提出更高的要求，即讓服務器同時為多個客戶機提供一問一答的服務。于是有了如下的模型。  在上述的線程 / 時間圖例中，主線程持續(xù)等待客戶端的連接請求，如果有連接，則創(chuàng)建新線程，并在新線程中提供為前例同樣的問答服務。很多初學者可能不明白為何一個 socket 可以 accept 多次。實際上，socket 的設計者可能特意為多客戶機的情況留下了伏筆，讓 accept() 能夠返回一個新的 socket。下面是 accept 接口的原型： int accept(int s, struct sockaddr *addr, socklen_t *addrlen);輸入?yún)?shù) s 是從 socket()，bind() 和 listen() 中沿用下來的 socket 句柄值。執(zhí)行完 bind() 和 listen() 后，操作系統(tǒng)已經(jīng)開始在指定的端口處監(jiān)聽所有的連接請求，如果有請求，則將該連接請求加入請求隊列。調(diào)用 accept() 接口正是從 socket s 的請求隊列抽取第一個連接信息，創(chuàng)建一個與 s 同類的新的 socket 返回句柄。新的 socket 句柄即是后續(xù) read() 和 recv() 的輸入?yún)?shù)。如果請求隊列當前沒有請求，則 accept() 將進入阻塞狀態(tài)直到有請求進入隊列。 上述多線程的服務器模型似乎完美的解決了為多個客戶機提供問答服務的要求，但其實并不盡然。如果要同時響應成百上千路的連接請求，則無論多線程還是多進程都會嚴重占據(jù)系統(tǒng)資源，降低系統(tǒng)對外界響應效率，而線程與進程本身也更容易進入假死狀態(tài)。 很多程序員可能會考慮使用“線程池”或“連接池”。“線程池”旨在減少創(chuàng)建和銷毀線程的頻率，其維持一定合理數(shù)量的線程，并讓空閑的線程重新承擔新的執(zhí)行任務?！斑B接池”維持連接的緩存池，盡量重用已有的連接、減少創(chuàng)建和關閉連接的頻率。這兩種技術(shù)都可以很好的降低系統(tǒng)開銷，都被廣泛應用很多大型系統(tǒng)，如 websphere、tomcat 和各種數(shù)據(jù)庫等。 但是，“線程池”和“連接池”技術(shù)也只是在一定程度上緩解了頻繁調(diào)用 IO 接口帶來的資源占用。而且，所謂“池”始終有其上限，當請求大大超過上限時，“池”構(gòu)成的系統(tǒng)對外界的響應并不比沒有池的時候效果好多少。所以使用“池”必須考慮其面臨的響應規(guī)模，并根據(jù)響應規(guī)模調(diào)整“池”的大小。 對應上例中的所面臨的可能同時出現(xiàn)的上千甚至上萬次的客戶端請求，“線程池”或“連接池”或許可以緩解部分壓力，但是不能解決所有問題。 總之，多線程模型可以方便高效的解決小規(guī)模的服務請求，但面對大規(guī)模的服務請求，多線程模型并不是最佳方案。 附：一個簡單的多進程并發(fā)服務器demo
/* ========================================================================== Purpose: * Fork模型 TCP并發(fā)服務器 Demo Notes: * 采用TCP短連接,服務器將接收到從不同客戶端傳來的消息并打印到終端 * 編譯: gcc fork.c -o fork Author: * Shelley Date: * 23th December 2010 Updates: * ========================================================================== */
#include <netinet/in.h> // for sockaddr_in #include <sys/types.h> // for socket #include <sys/socket.h> // for socket #include <stdio.h> // for printf #include <stdlib.h> // for exit #include <string.h> // for bzero #include <unistd.h> // for fork #include <sys/signal.h> // for signal #include <sys/wait.h> // for wait
#define HELLO_WORLD_SERVER_PORT 8888 #define LENGTH_OF_LISTEN_QUEUE 20 #define BUFFER_SIZE 1024 void reaper(int sig) { int status; //調(diào)用wait3讀取子進程的返回值,使zombie狀態(tài)的子進程徹底釋放 while(wait3(&status,WNOHANG,(struct rusage*)0) >=0) ; } int main(int argc, char **argv) { //設置一個socket地址結(jié)構(gòu)server_addr,代表服務器internet地址, 端口 struct sockaddr_in server_addr; bzero(&server_addr,sizeof(server_addr)); //把一段內(nèi)存區(qū)的內(nèi)容全部設置為0 server_addr.sin_family = AF_INET; server_addr.sin_addr.s_addr = htons(INADDR_ANY); server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT);
//創(chuàng)建用于internet的流協(xié)議(TCP)socket,用server_socket代表服務器socket int server_socket = socket(AF_INET,SOCK_STREAM,0); if( server_socket < 0) { printf("Create Socket Failed!"); exit(1); }
//把socket和socket地址結(jié)構(gòu)聯(lián)系起來 if( bind(server_socket,(struct sockaddr*)&server_addr,sizeof(server_addr))) { printf("Server Bind Port : %d Failed!", HELLO_WORLD_SERVER_PORT); exit(1); }
//server_socket用于監(jiān)聽 if ( listen(server_socket, LENGTH_OF_LISTEN_QUEUE) ) { printf("Server Listen Failed!"); exit(1); } //通知操作系統(tǒng),當收到子進程的退出信號(SIGCHLD)時,執(zhí)行reaper函數(shù),釋放zombie狀態(tài)的進程 (void)signal(SIGCHLD,reaper);
while (1) //服務器端要一直運行 { //定義客戶端的socket地址結(jié)構(gòu)client_addr struct sockaddr_in client_addr; socklen_t length = sizeof(client_addr);
int new_server_socket;
//接受一個到server_socket代表的socket的一個連接 //如果沒有連接請求,就等待到有連接請求--這是accept函數(shù)的特性 //accept函數(shù)返回一個新的socket,這個socket(new_server_socket)用于同連接到的客戶的通信 //new_server_socket代表了服務器和客戶端之間的一個通信通道 //accept函數(shù)把連接到的客戶端信息填寫到客戶端的socket地址結(jié)構(gòu)client_addr中
new_server_socket = accept(server_socket,(struct sockaddr*)&client_addr,&length); if ( new_server_socket < 0) { printf("Server Accept Failed!\n"); break; }
int child_process_pid = fork(); //fork()后,子進程是主進程的拷貝 //在主進程和子進程中的區(qū)別是fork()的返回值不同. if(child_process_pid == 0 )//如果當前進程是子進程,就執(zhí)行與客戶端的交互 { close(server_socket); //子進程中不需要被復制過來的server_socket char buffer[BUFFER_SIZE]; bzero(buffer, BUFFER_SIZE); strcpy(buffer,"Hello,World! 從服務器來！"); strcat(buffer,"\n"); //C語言字符串連接 //發(fā)送buffer中的字符串到new_server_socket,實際是給客戶端 send(new_server_socket,buffer,BUFFER_SIZE,0);
bzero(buffer,BUFFER_SIZE); //接收客戶端發(fā)送來的信息到buffer中 length = recv(new_server_socket,buffer,BUFFER_SIZE,0); if (length < 0) { printf("Server Recieve Data Failed!\n"); exit(1); } printf("\n%s",buffer); //關閉與客戶端的連接 close(new_server_socket);//TCP短連接 exit(0); } else if(child_process_pid > 0) //如果當前進程是主進程 close(new_server_socket); //主進程中不需要用于同客戶端交互的new_server_socket } //關閉監(jiān)聽用的socket close(server_socket); return 0; } 非阻塞的服務器程序
以上面臨的很多問題，一定程度是 IO 接口的阻塞特性導致的。多線程是一個解決方案，還一個方案就是使用非阻塞的接口。非阻塞的接口相比于阻塞型接口的顯著差異在于，在被調(diào)用之后立即返回。使用如下的函數(shù)可以將某句柄 fd 設為非阻塞狀態(tài)。 fcntl( fd, F_SETFL, O_NONBLOCK );下面將給出只用一個線程，但能夠同時從多個連接中檢測數(shù)據(jù)是否送達，并且接受數(shù)據(jù)。  在非阻塞狀態(tài)下，recv() 接口在被調(diào)用后立即返回，返回值代表了不同的含義。如在本例中，recv() 返回值大于 0，表示接受數(shù)據(jù)完畢，返回值即是接受到的字節(jié)數(shù)；recv() 返回 0，表示連接已經(jīng)正常斷開；recv() 返回 -1，且 errno 等于 EAGAIN，表示 recv 操作還沒執(zhí)行完成；recv() 返回 -1，且 errno 不等于 EAGAIN，表示 recv 操作遇到系統(tǒng)錯誤 errno。 可以看到服務器線程可以通過循環(huán)調(diào)用 recv() 接口，可以在單個線程內(nèi)實現(xiàn)對所有連接的數(shù)據(jù)接收工作。 但是上述模型絕不被推薦。因為，循環(huán)調(diào)用 recv() 將大幅度推高 CPU 占用率；此外，在這個方案中，recv() 更多的是起到檢測“操作是否完成”的作用，實際操作系統(tǒng)提供了更為高效的檢測“操作是否完成“作用的接口，例如 select()。 使用 select() 接口的基于事件驅(qū)動的服務器模型 大部分 Unix/Linux 都支持 select 函數(shù)，該函數(shù)用于探測多個文件句柄的狀態(tài)變化。下面給出 select 接口的原型： FD_ZERO(int fd, fd_set* fds) FD_SET(int fd, fd_set* fds) FD_ISSET(int fd, fd_set* fds) FD_CLR(int fd, fd_set* fds) int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout) 這里，fd_set 類型可以簡單的理解為按 bit 位標記句柄的隊列，例如要在某 fd_set 中標記一個值為 16 的句柄，則該 fd_set 的第 16 個 bit 位被標記為 1。具體的置位、驗證可使用 FD_SET、FD_ISSET 等宏實現(xiàn)。在 select() 函數(shù)中，readfds、writefds 和 exceptfds 同時作為輸入?yún)?shù)和輸出參數(shù)。如果輸入的 readfds 標記了 16 號句柄，則 select() 將檢測 16 號句柄是否可讀。在 select() 返回后，可以通過檢查 readfds 有否標記 16 號句柄，來判斷該“可讀”事件是否發(fā)生。另外，用戶可以設置 timeout 時間。 下面將重新模擬上例中從多個客戶端接收數(shù)據(jù)的模型。  上述模型只是描述了使用 select() 接口同時從多個客戶端接收數(shù)據(jù)的過程；由于 select() 接口可以同時對多個句柄進行讀狀態(tài)、寫狀態(tài)和錯誤狀態(tài)的探測，所以可以很容易構(gòu)建為多個客戶端提供獨立問答服務的服務器系統(tǒng)。  這里需要指出的是，客戶端的一個 connect() 操作，將在服務器端激發(fā)一個“可讀事件”，所以 select() 也能探測來自客戶端的 connect() 行為。 上述模型中，最關鍵的地方是如何動態(tài)維護 select() 的三個參數(shù) readfds、writefds 和 exceptfds。作為輸入?yún)?shù)，readfds 應該標記所有的需要探測的“可讀事件”的句柄，其中永遠包括那個探測 connect() 的那個“母”句柄；同時，writefds 和 exceptfds 應該標記所有需要探測的“可寫事件”和“錯誤事件”的句柄 ( 使用 FD_SET() 標記 )。 作為輸出參數(shù)，readfds、writefds 和 exceptfds 中的保存了 select() 捕捉到的所有事件的句柄值。程序員需要檢查的所有的標記位 ( 使用 FD_ISSET() 檢查 )，以確定到底哪些句柄發(fā)生了事件。 上述模型主要模擬的是“一問一答”的服務流程，所以，如果 select() 發(fā)現(xiàn)某句柄捕捉到了“可讀事件”，服務器程序應及時做 recv() 操作，并根據(jù)接收到的數(shù)據(jù)準備好待發(fā)送數(shù)據(jù)，并將對應的句柄值加入 writefds，準備下一次的“可寫事件”的 select() 探測。同樣，如果 select() 發(fā)現(xiàn)某句柄捕捉到“可寫事件”，則程序應及時做 send() 操作，并準備好下一次的“可讀事件”探測準備。下圖描述的是上述模型中的一個執(zhí)行周期。  這種模型的特征在于每一個執(zhí)行周期都會探測一次或一組事件，一個特定的事件會觸發(fā)某個特定的響應。我們可以將這種模型歸類為“事件驅(qū)動模型”。 相比其他模型，使用 select() 的事件驅(qū)動模型只用單線程（進程）執(zhí)行，占用資源少，不消耗太多 CPU，同時能夠為多客戶端提供服務。如果試圖建立一個簡單的事件驅(qū)動的服務器程序，這個模型有一定的參考價值。 但這個模型依舊有著很多問題。 首先，select() 接口并不是實現(xiàn)“事件驅(qū)動”的最好選擇。因為當需要探測的句柄值較大時，select() 接口本身需要消耗大量時間去輪詢各個句柄。很多操作系統(tǒng)提供了更為高效的接口，如 linux 提供了 epoll，BSD 提供了 kqueue，Solaris 提供了 /dev/poll …。如果需要實現(xiàn)更高效的服務器程序，類似 epoll 這樣的接口更被推薦。遺憾的是不同的操作系統(tǒng)特供的 epoll 接口有很大差異，所以使用類似于 epoll 的接口實現(xiàn)具有較好跨平臺能力的服務器會比較困難。 其次，該模型將事件探測和事件響應夾雜在一起，一旦事件響應的執(zhí)行體龐大，則對整個模型是災難性的。如下例，龐大的執(zhí)行體 1 的將直接導致響應事件 2 的執(zhí)行體遲遲得不到執(zhí)行，并在很大程度上降低了事件探測的及時性。 圖 7. 龐大的執(zhí)行體對使用 select() 的事件驅(qū)動模型的影響  幸運的是，有很多高效的事件驅(qū)動庫可以屏蔽上述的困難，常見的事件驅(qū)動庫有 libevent 庫，還有作為 libevent 替代者的 libev 庫。這些庫會根據(jù)操作系統(tǒng)的特點選擇最合適的事件探測接口，并且加入了信號 (signal) 等技術(shù)以支持異步響應，這使得這些庫成為構(gòu)建事件驅(qū)動模型的不二選擇。下章將介紹如何使用 libev 庫替換 select 或 epoll 接口，實現(xiàn)高效穩(wěn)定的服務器模型。 Libev 是一種高性能事件循環(huán) / 事件驅(qū)動庫。作為 libevent 的替代作品，其第一個版本發(fā)布與 2007 年 11 月。Libev 的設計者聲稱 libev 擁有更快的速度，更小的體積，更多功能等優(yōu)勢，這些優(yōu)勢在很多測評中得到了證明。正因為其良好的性能，很多系統(tǒng)開始使用 libev 庫。本章將介紹如何使用 Libev 實現(xiàn)提供問答服務的服務器。 （事實上，現(xiàn)存的事件循環(huán) / 事件驅(qū)動庫有很多，作者也無意推薦讀者一定使用 libev 庫，而只是為了說明事件驅(qū)動模型給網(wǎng)絡服務器編程帶來的便利和好處。大部分的事件驅(qū)動庫都有著與 libev 庫相類似的接口，只要明白大致的原理，即可靈活挑選合適的庫。） 與前章的模型類似，libev 同樣需要循環(huán)探測事件是否產(chǎn)生。Libev 的循環(huán)體用 ev_loop 結(jié)構(gòu)來表達，并用 ev_loop( ) 來啟動。 void ev_loop( ev_loop* loop, int flags )Libev 支持八種事件類型，其中包括 IO 事件。一個 IO 事件用 ev_io 來表征，并用 ev_io_init() 函數(shù)來初始化： void ev_io_init(ev_io *io, callback, int fd, int events)初始化內(nèi)容包括回調(diào)函數(shù) callback，被探測的句柄 fd 和需要探測的事件，EV_READ 表“可讀事件”，EV_WRITE 表“可寫事件”。 現(xiàn)在，用戶需要做的僅僅是在合適的時候，將某些 ev_io 從 ev_loop 加入或剔除。一旦加入，下個循環(huán)即會檢查 ev_io 所指定的事件有否發(fā)生；如果該事件被探測到，則 ev_loop 會自動執(zhí)行 ev_io 的回調(diào)函數(shù) callback()；如果 ev_io 被注銷，則不再檢測對應事件。 無論某 ev_loop 啟動與否，都可以對其添加或刪除一個或多個 ev_io，添加刪除的接口是 ev_io_start() 和 ev_io_stop()。 void ev_io_start( ev_loop *loop, ev_io* io ) void ev_io_stop( EV_A_* )由此，我們可以容易得出如下的“一問一答”的服務器模型。由于沒有考慮服務器端主動終止連接機制，所以各個連接可以維持任意時間，客戶端可以自由選擇退出時機。 圖 8. 使用 libev 庫的服務器模型  上述模型可以接受任意多個連接，且為各個連接提供完全獨立的問答服務。借助 libev 提供的事件循環(huán) / 事件驅(qū)動接口，上述模型有機會具備其他模型不能提供的高效率、低資源占用、穩(wěn)定性好和編寫簡單等特點。 由于傳統(tǒng)的 web 服務器，ftp 服務器及其他網(wǎng)絡應用程序都具有“一問一答”的通訊邏輯，所以上述使用 libev 庫的“一問一答”模型對構(gòu)建類似的服務器程序具有參考價值；另外，對于需要實現(xiàn)遠程監(jiān)視或遠程遙控的應用程序，上述模型同樣提供了一個可行的實現(xiàn)方案。 查看評論
|
|
|
