.NET 環(huán)境中使用RabbitMQ

偷樂圖書管 2015-06-17

展開全文

在企業(yè)應(yīng)用系統(tǒng)領(lǐng)域，會面對不同系統(tǒng)之間的通信、集成與整合，尤其當面臨異構(gòu)系統(tǒng)時，這種分布式的調(diào)用與通信變得越發(fā)重要。其次，系統(tǒng)中一般會有很多對實時性要求不高的但是執(zhí)行起來比較較耗時的地方，比如發(fā)送短信，郵件提醒，更新文章閱讀計數(shù)，記錄用戶操作日志等等，如果實時處理的話，在用戶訪問量比較大的情況下，對系統(tǒng)壓力比較大。

面對這些問題，我們一般會將這些請求，放在消息隊列中處理；異構(gòu)系統(tǒng)之間使用消息進行通訊。消息傳遞相較文件傳遞與遠程過程調(diào)用（RPC）而言，似乎更勝一籌，因為它具有更好的平臺無關(guān)性，并能夠很好地支持并發(fā)與異步調(diào)用。所以如果系統(tǒng)中出現(xiàn)了如下情況:

對操作的實時性要求不高，而需要執(zhí)行的任務(wù)極為耗時；
存在異構(gòu)系統(tǒng)間的整合；

一般的可以考慮引入消息隊列。對于第一種情況，常常會選擇消息隊列來處理執(zhí)行時間較長的任務(wù)。引入的消息隊列就成了消息處理的緩沖區(qū)。消息隊列引入的異步通信機制，使得發(fā)送方和接收方都不用等待對方返回成功消息，就可以繼續(xù)執(zhí)行下面的代碼，從而提高了數(shù)據(jù)處理的能力。尤其是當訪問量和數(shù)據(jù)流量較大的情況下，就可以結(jié)合消息隊列與后臺任務(wù)，通過避開高峰期對大數(shù)據(jù)進行處理，就可以有效降低數(shù)據(jù)庫處理數(shù)據(jù)的負荷。

在前面的一篇講解CQRS模式的文章中，所有的對系統(tǒng)的狀態(tài)的更改都是通過事件來完成，一般的將事件存儲到消息隊列中，然后進行統(tǒng)一的處理。

本文簡單介紹在RabbitMQ這一消息代理工具，以及在.NET中如何使用RabbitMQ.

一環(huán)境搭建

首先，由于RabbitMQ使用Erlang編寫的，需要運行在Erlang運行時環(huán)境上，所以在安裝RabbitMQ Server之前需要安裝Erlang 運行時環(huán)境，可以到Erlang官網(wǎng)下載對應(yīng)平臺的安裝文件。如果沒有安裝運行時環(huán)境，安裝RabbitMQ Server的時候，會提示需要先安裝Erlang環(huán)境。安裝完成之后，確保已經(jīng)將Erlang的安裝路徑注冊到系統(tǒng)的環(huán)境變量中。安裝完Erlang之后，這個環(huán)境會自動設(shè)置，如果沒有，在administrator環(huán)境下在控制臺下面輸入，也可以設(shè)置：

Setx  ERLANG_HOME “D:\Program Files (x86)\erl6.3″

然后，去RabbitMQ官網(wǎng)下載RabbitMQ Server服務(wù)端程序，選擇合適的平臺版本下載。安裝完成之后，就可以開始使用了。

現(xiàn)在就可以對RabbitMQ Server進行配置了。

首先，切換到RabbitMQ Server的安裝目錄：

在sbin下面有很多batch文件，用來控制RabbitMQ Server，當然您也可以直接在安裝開始菜單中來執(zhí)行相應(yīng)的操作：

最簡單的方式是使RabbitMQ以Windows Service的方式在后臺運行，所以我們需要以管理員權(quán)限打開cmd，然后切換到sbin目錄下，執(zhí)行這三條命令即可：

rabbitmq-service install
rabbitmq-service enable
rabbitmq-service start

Start RabbitMQ Service

現(xiàn)在RabbitMQ的服務(wù)端已經(jīng)啟動起來了。

下面可以使用sbin目錄下面的rabbitmqctl.bat這個腳本來查看和控制服務(wù)端狀態(tài)的，在cmd中直接運行rabbitmqctl status。如果看到以下結(jié)果：

顯示node沒有連接上，需要到C:\Windows目錄下，將.erlang.cookie文件，拷貝到用戶目錄下 C:\Users\{用戶名}，這是Erlang的Cookie文件，允許與Erlang進行交互，現(xiàn)在重復(fù)運行剛才的命令就會得到如下信息：

RabbitMQ Server上面也有用戶概念，安裝好之后，使用rabbitmqctl list_users命令，可以看到上面目前的用戶：

可以看到，現(xiàn)在只有一個角色為administrator的名為guest的用戶，這個是RabbitMQ默認為我們創(chuàng)建的，他有RabbitMQ的所有權(quán)限，一般的，我們需要新建一個我們自己的用戶，設(shè)置密碼，并授予權(quán)限，并將其設(shè)置為管理員，可以使用下面的命令來執(zhí)行這一操作：

rabbitmqctl  add_user  yy  hello!
rabbitmqctl  set_permissions  yy  ".*"  ".*"  ".*"
rabbitmqctl  set_user_tags yy administrator

上面的一條命令添加了一個名為yy的用戶，并設(shè)置了密碼hello！，下面的命令為用戶yy分別授予對所有消息隊列的配置、讀和寫的權(quán)限。

現(xiàn)在我們可以將默認的guest用戶刪掉，使用下面的命令即可：

rabbitmqctl delete_user guest

如果要修改密碼，可以使用下面的命令：

rabbitmqctl change_password {username}  {newpassowrd}

二開始使用

在.NET中使用RabbitMQ需要下載RabbitMQ的客戶端程序集，可以到官網(wǎng)下載，下載解壓后就可以得到RabbitMQ.Client.dll，這就是RabbitMQ的客戶端。

在使用RabitMQ之前，需要對下面的幾個基本概念說明一下：

RabbitMQ是一個消息代理。他從消息生產(chǎn)者(producers)那里接收消息，然后把消息送給消息消費者（consumer）在發(fā)送和接受之間，他能夠根據(jù)設(shè)置的規(guī)則進行路由，緩存和持久化。

一般提到RabbitMQ和消息，都用到一些專有名詞。

生產(chǎn)(Producing)意思就是發(fā)送。發(fā)送消息的程序就是一個生產(chǎn)者(producer)。我們一般用"P"來表示：

隊列(queue)就是郵箱的名稱。消息通過你的應(yīng)用程序和RabbitMQ進行傳輸，它們只能存儲在隊列（queue）中。隊列（queue）容量沒有限制，你要存儲多少消息都可以——基本上是一個無限的緩沖區(qū)。多個生產(chǎn)者（producers）能夠把消息發(fā)送給同一個隊列，同樣，多個消費者（consumers）也能從同一個隊列（queue）中獲取數(shù)據(jù)。隊列可以畫成這樣（圖上是隊列的名稱）：

消費（Consuming）和獲取消息是一樣的意思。一個消費者（consumer）就是一個等待獲取消息的程序。我們把它畫作"C"：

通常，消息生產(chǎn)者，消息消費者和消息代理不在同一臺機器上。

2.1 Hello World

為了展示RabbitMQ的基本使用，我們發(fā)送一個HelloWorld消息，然后接收并處理。

首先創(chuàng)建一個控制臺程序，用來將消息發(fā)送到RabbitMQ的消息隊列中，代碼如下：

    static void Main(string[] args)
    {
        var factory = new ConnectionFactory();
        factory.HostName = "localhost";
        factory.UserName = "yy";
        factory.Password = "hello!";

        using (var connection = factory.CreateConnection())
        {
            using (var channel = connection.CreateModel())
            {
                channel.QueueDeclare("hello", false, false, false, null);
                string message = "Hello World";
                var body = Encoding.UTF8.GetBytes(message);
                channel.BasicPublish("", "hello", null, body);
                Console.WriteLine(" set {0}", message);
            }
        }
    }

首先，需要創(chuàng)建一個ConnectionFactory，設(shè)置目標，由于是在本機，所以設(shè)置為localhost，如果RabbitMQ不在本機，只需要設(shè)置目標機器的IP地址或者機器名稱即可，然后設(shè)置前面創(chuàng)建的用戶名yy和密碼hello！。

緊接著要創(chuàng)建一個Channel，如果要發(fā)送消息，需要創(chuàng)建一個隊列，然后將消息發(fā)布到這個隊列中。在創(chuàng)建隊列的時候，只有RabbitMQ上該隊列不存在，才會去創(chuàng)建。消息是以二進制數(shù)組的形式傳輸?shù)?，所以如果消息是實體對象的話，需要序列化和然后轉(zhuǎn)化為二進制數(shù)組。

現(xiàn)在客戶端發(fā)送代碼已經(jīng)寫好了，運行之后，消息會發(fā)布到RabbitMQ的消息隊列中，現(xiàn)在需要編寫服務(wù)端的代碼連接到RabbitMQ上去獲取這些消息。

同樣，創(chuàng)建一個名為Receive的服務(wù)端控制臺應(yīng)用程序，服務(wù)端代碼如下：

static void Main(string[] args)
{
    var factory = new ConnectionFactory();
    factory.HostName = "localhost";
    factory.UserName = "yy";
    factory.Password = "hello!";

    using (var connection = factory.CreateConnection())
    {
        using (var channel = connection.CreateModel())
        {
            channel.QueueDeclare("hello", false, false, false, null);

            var consumer = new QueueingBasicConsumer(channel);
            channel.BasicConsume("hello", true, consumer);

            Console.WriteLine(" waiting for message.");
            while (true)
            {
                var ea = (BasicDeliverEventArgs)consumer.Queue.Dequeue();

                var body = ea.Body;
                var message = Encoding.UTF8.GetString(body);
                Console.WriteLine("Received {0}", message);

            }
        }
    }
}

和發(fā)送一樣，首先需要定義連接，然后聲明消息隊列。要接收消息，需要定義一個Consume，然后從消息隊列中不斷Dequeue消息，然后處理。

現(xiàn)在發(fā)送端和接收端的代碼都寫好了，運行發(fā)送端，發(fā)送消息：

現(xiàn)在，名為hello的消息隊列中，發(fā)送了一條消息。這條消息存儲到了RabbitMQ的服務(wù)器上了。使用rabbitmqctl 的list_queues可以查看所有的消息隊列，以及里面的消息個數(shù)，可以看到，目前Rabbitmq上只有一個消息隊列，里面只有一條消息：

D:\Program Files\RabbitMQ Server\rabbitmq_server-3.4.2\sbin>rabbitmqctl list_queues
Listing queues ...
hello   1

現(xiàn)在運行接收端程序，如下：

可以看到，已經(jīng)接受到了客戶端發(fā)送的Hello World，現(xiàn)在再來看RabitMQ上的消息隊列信息：

D:\Program Files\RabbitMQ Server\rabbitmq_server-3.4.2\sbin>rabbitmqctl list_queues
Listing queues ...
hello   0

可以看到，hello這個隊列中的消息隊列個數(shù)為0，這表示，當接收端，接收到消息之后，RabbitMQ上就把這個消息刪掉了。

2.2 工作隊列

前面的例子展示了如何往一個指定的消息隊列中發(fā)送和收取消息。現(xiàn)在我們創(chuàng)建一個工作隊列（work queue）來將一些耗時的任務(wù)分發(fā)給多個工作者（workers）：

工作隊列（work queues, 又稱任務(wù)隊列Task Queues）的主要思想是為了避免立即執(zhí)行并等待一些占用大量資源、時間的操作完成。而是把任務(wù)（Task）當作消息發(fā)送到隊列中，稍后處理。一個運行在后臺的工作者（worker）進程就會取出任務(wù)然后處理。當運行多個工作者（workers）時，任務(wù)會在它們之間共享。

這個在網(wǎng)絡(luò)應(yīng)用中非常有用，它可以在短暫的HTTP請求中處理一些復(fù)雜的任務(wù)。在一些實時性要求不太高的地方，我們可以處理完主要操作之后，以消息的方式來處理其他的不緊要的操作，比如寫日志等等。

準備

在第一部分，發(fā)送了一個包含“Hello World!”的字符串消息。現(xiàn)在發(fā)送一些字符串，把這些字符串當作復(fù)雜的任務(wù)。這里使用time.sleep()函數(shù)來模擬耗時的任務(wù)。在字符串中加上點號（.）來表示任務(wù)的復(fù)雜程度，一個點（.）將會耗時1秒鐘。比如"Hello..."就會耗時3秒鐘。

對之前示例的send.cs做些簡單的調(diào)整，以便可以發(fā)送隨意的消息。這個程序會按照計劃發(fā)送任務(wù)到我們的工作隊列中。

static void Main(string[] args)
{
    var factory = new ConnectionFactory();
    factory.HostName = "localhost";
    factory.UserName = "yy";
    factory.Password = "hello!";

    using (var connection = factory.CreateConnection())
    {
        using (var channel = connection.CreateModel())
        {
            channel.QueueDeclare("hello", false, false, false, null);
            string message = GetMessage(args);
            var properties = channel.CreateBasicProperties();
            properties.DeliveryMode = 2;

            var body = Encoding.UTF8.GetBytes(message);
            channel.BasicPublish("", "hello", properties, body);
            Console.WriteLine(" set {0}", message);
        }
    }

    Console.ReadKey();
}

private static string GetMessage(string[] args)
{
    return ((args.Length > 0) ? string.Join(" ", args) : "Hello World!");
}

加粗部分是經(jīng)過修改過了的。

接著我們修改接收端，讓他根據(jù)消息中的逗點的個數(shù)來Sleep對應(yīng)的秒數(shù)：

static void Main(string[] args)
{
    var factory = new ConnectionFactory();
    factory.HostName = "localhost";
    factory.UserName = "yy";
    factory.Password = "hello!";

    using (var connection = factory.CreateConnection())
    {
        using (var channel = connection.CreateModel())
        {
            channel.QueueDeclare("hello", false, false, false, null);

            var consumer = new QueueingBasicConsumer(channel);
            channel.BasicConsume("hello", true, consumer);

            while (true)
            {
                var ea = (BasicDeliverEventArgs)consumer.Queue.Dequeue();

                var body = ea.Body;
                var message = Encoding.UTF8.GetString(body);

                int dots = message.Split('.').Length - 1;
                Thread.Sleep(dots * 1000);
                        
                Console.WriteLine("Received {0}", message);
                Console.WriteLine("Done");
            }
        }
    }
}

輪詢分發(fā)

使用工作隊列的一個好處就是它能夠并行的處理隊列。如果堆積了很多任務(wù)，我們只需要添加更多的工作者（workers）就可以了，擴展很簡單。

現(xiàn)在，我們先啟動兩個接收端，等待接受消息，然后啟動一個發(fā)送端開始發(fā)送消息。

在cmd條件下，發(fā)送了5條消息，每條消息后面的逗點表示該消息需要執(zhí)行的時長，來模擬耗時的操作。

然后可以看到，兩個接收端依次接收到了發(fā)出的消息：

默認，RabbitMQ會將每個消息按照順序依次分發(fā)給下一個消費者。所以每個消費者接收到的消息個數(shù)大致是平均的。這種消息分發(fā)的方式稱之為輪詢（round-robin）。

2.3 消息響應(yīng)

當處理一個比較耗時得任務(wù)的時候，也許想知道消費者（consumers）是否運行到一半就掛掉。在當前的代碼中，當RabbitMQ將消息發(fā)送給消費者（consumers）之后，馬上就會將該消息從隊列中移除。此時，如果把處理這個消息的工作者（worker）停掉，正在處理的這條消息就會丟失。同時，所有發(fā)送到這個工作者的還沒有處理的消息都會丟失。

我們不想丟失任何任務(wù)消息。如果一個工作者（worker）掛掉了，我們希望該消息會重新發(fā)送給其他的工作者（worker）。

為了防止消息丟失，RabbitMQ提供了消息響應(yīng)（acknowledgments）機制。消費者會通過一個ack（響應(yīng)），告訴RabbitMQ已經(jīng)收到并處理了某條消息，然后RabbitMQ才會釋放并刪除這條消息。

如果消費者（consumer）掛掉了，沒有發(fā)送響應(yīng)，RabbitMQ就會認為消息沒有被完全處理，然后重新發(fā)送給其他消費者（consumer）。這樣，即使工作者（workers）偶爾的掛掉，也不會丟失消息。

消息是沒有超時這個概念的；當工作者與它斷開連的時候，RabbitMQ會重新發(fā)送消息。這樣在處理一個耗時非常長的消息任務(wù)的時候就不會出問題了。

消息響應(yīng)默認是開啟的。在之前的例子中使用了no_ack=True標識把它關(guān)閉。是時候移除這個標識了，當工作者（worker）完成了任務(wù)，就發(fā)送一個響應(yīng)。

channel.BasicConsume("hello", false, consumer);

while (true)
{
    var ea = (BasicDeliverEventArgs)consumer.Queue.Dequeue();

    var body = ea.Body;
    var message = Encoding.UTF8.GetString(body);

    int dots = message.Split('.').Length - 1;
    Thread.Sleep(dots * 1000);

    Console.WriteLine("Received {0}", message);
    Console.WriteLine("Done");

    channel.BasicAck(ea.DeliveryTag, false);
}

現(xiàn)在,可以保證,即使正在處理消息的工作者被停掉,這些消息也不會丟失,所有沒有被應(yīng)答的消息會被重新發(fā)送給其他工作者.

一個很常見的錯誤就是忘掉了BasicAck這個方法,這個錯誤很常見,但是后果很嚴重. 當客戶端退出時,待處理的消息就會被重新分發(fā),但是RabitMQ會消耗越來越多的內(nèi)存,因為這些沒有被應(yīng)答的消息不能夠被釋放。調(diào)試這種case，可以使用rabbitmqct打印messages_unacknoledged字段。

rabbitmqctl list_queues name messages_ready messages_unacknowledged
Listing queues ...
hello    0       0
...done.

2.4 消息持久化

前面已經(jīng)搞定了即使消費者down掉，任務(wù)也不會丟失，但是，如果RabbitMQ Server停掉了，那么這些消息還是會丟失。

當RabbitMQ Server 關(guān)閉或者崩潰，那么里面存儲的隊列和消息默認是不會保存下來的。如果要讓RabbitMQ保存住消息，需要在兩個地方同時設(shè)置：需要保證隊列和消息都是持久化的。

首先，要保證RabbitMQ不會丟失隊列，所以要做如下設(shè)置：

bool durable = true;
channel.QueueDeclare("hello", durable, false, false, null);

雖然在語法上是正確的，但是在目前階段是不正確的，因為我們之前已經(jīng)定義了一個非持久化的hello隊列。RabbitMQ不允許我們使用不同的參數(shù)重新定義一個已經(jīng)存在的同名隊列，如果這樣做就會報錯?，F(xiàn)在，定義另外一個不同名稱的隊列：

bool durable = true;
channel.queueDeclare("task_queue", durable, false, false, null);

queueDeclare 這個改動需要在發(fā)送端和接收端同時設(shè)置。

現(xiàn)在保證了task_queue這個消息隊列即使在RabbitMQ Server重啟之后，隊列也不會丟失。然后需要保證消息也是持久化的，這可以通過設(shè)置IBasicProperties.SetPersistent 為true來實現(xiàn)：

var properties = channel.CreateBasicProperties();
properties.SetPersistent(true);

需要注意的是，將消息設(shè)置為持久化并不能完全保證消息不丟失。雖然他告訴RabbitMQ將消息保存到磁盤上，但是在RabbitMQ接收到消息和將其保存到磁盤上這之間仍然有一個小的時間窗口。 RabbitMQ 可能只是將消息保存到了緩存中，并沒有將其寫入到磁盤上。持久化是不能夠一定保證的，但是對于一個簡單任務(wù)隊列來說已經(jīng)足夠。如果需要消息隊列持久化的強保證，可以使用publisher confirms

2.5 公平分發(fā)

你可能會注意到，消息的分發(fā)可能并沒有如我們想要的那樣公平分配。比如，對于兩個工作者。當奇數(shù)個消息的任務(wù)比較重，但是偶數(shù)個消息任務(wù)比較輕時，奇數(shù)個工作者始終處理忙碌狀態(tài)，而偶數(shù)個工作者始終處理空閑狀態(tài)。但是RabbitMQ并不知道這些，他仍然會平均依次的分發(fā)消息。

為了改變這一狀態(tài)，我們可以使用basicQos方法，設(shè)置perfetchCount=1 。這樣就告訴RabbitMQ 不要在同一時間給一個工作者發(fā)送多于1個的消息，或者換句話說。在一個工作者還在處理消息，并且沒有響應(yīng)消息之前，不要給他分發(fā)新的消息。相反，將這條新的消息發(fā)送給下一個不那么忙碌的工作者。

channel.BasicQos(0, 1, false);

2.6 完整實例

現(xiàn)在將所有這些放在一起：

發(fā)送端代碼如下：

static void Main(string[] args)
{
    var factory = new ConnectionFactory();
    factory.HostName = "localhost";
    factory.UserName = "yy";
    factory.Password = "hello!";

    using (var connection = factory.CreateConnection())
    {
        using (var channel = connection.CreateModel())
        {
                   
            bool durable = true;
            channel.QueueDeclare("task_queue", durable, false, false, null);
                    
            string message = GetMessage(args);
            var properties = channel.CreateBasicProperties();
            properties.SetPersistent(true);
                  

            var body = Encoding.UTF8.GetBytes(message);
            channel.BasicPublish("", "task_queue", properties, body);
            Console.WriteLine(" set {0}", message);
        }
    }

    Console.ReadKey();
}

private static string GetMessage(string[] args)
{
    return ((args.Length > 0) ? string.Join(" ", args) : "Hello World!");
}

接收端代碼如下：

static void Main(string[] args)
{
    var factory = new ConnectionFactory();
    factory.HostName = "localhost";
    factory.UserName = "yy";
    factory.Password = "hello!";

    using (var connection = factory.CreateConnection())
    {
        using (var channel = connection.CreateModel())
        {
            bool durable = true;
            channel.QueueDeclare("task_queue", durable, false, false, null);
            channel.BasicQos(0, 1, false);

            var consumer = new QueueingBasicConsumer(channel);
            channel.BasicConsume("task_queue", false, consumer);

            while (true)
            {
                var ea = (BasicDeliverEventArgs)consumer.Queue.Dequeue();

                var body = ea.Body;
                var message = Encoding.UTF8.GetString(body);

                int dots = message.Split('.').Length - 1;
                Thread.Sleep(dots * 1000);

                Console.WriteLine("Received {0}", message);
                Console.WriteLine("Done");

                channel.BasicAck(ea.DeliveryTag, false);
            }
        }
    }
}

三管理界面

RabbitMQ還有一個管理界面，通過該界面可以查看RabbitMQ Server 當前的狀態(tài)，該界面是以插件形式提供的，并且在安裝RabbitMQ的時候已經(jīng)自帶了該插件。需要做的是在RabbitMQ控制臺界面中啟用該插件，命令如下：

rabbitmq-plugins enable rabbitmq_management

現(xiàn)在，在瀏覽器中輸入 http://server-name:15672/ server-name換成機器地址或者域名，如果是本地的，直接用localhost（RabbitMQ 3.0之前版本端口號為55672）在輸入之后，彈出登錄界面，使用我們之前創(chuàng)建的用戶登錄。

.

在該界面上可以看到當前RabbitMQServer的所有狀態(tài)。

四總結(jié)

本文簡單介紹了消息隊列的相關(guān)概念，并介紹了RabbitMQ消息代理的基本原理以及在Windows 上如何安裝RabbitMQ和在.NET中如何使用RabbitMQ。消息隊列在構(gòu)建分布式系統(tǒng)和提高系統(tǒng)的可擴展性和響應(yīng)性方面有著很重要的作用，希望本文對您了解消息隊列以及如何使用RabbitMQ有所幫助。

五參考文獻

本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點擊一鍵舉報。

小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看