高效使用微软Azure服务总线的消息功能
无论是应用系统之间，或者分布式系统的不同组件之间，通常需要一种快速、安全、可靠的方式来彼此通信。以前，你会想到基于MSMQ或RabbitMQ之类消息中间件来实现，自己搭建和维护的同时，确保可用性、扩展性和性能等符合系统设计要求。\u0026#xD;\u0026#xD;Windows Azure服务总线（Service Bus）提供了一套安全且高可用的基于云服务的托管消息传递基础设施，以实现广泛通信
无论是应用系统之间，或者分布式系统的不同组件之间，通常需要一种快速、安全、可靠的方式来彼此通信。以前，你会想到基于MSMQ或RabbitMQ之类消息中间件来实现，自己搭建和维护的同时，确保可用性、扩展性和性能等符合系统设计要求。
\u0026#xD;\u0026#xD;Windows Azure服务总线（Service Bus）提供了一套安全且高可用的基于云服务的托管消息传递基础设施，以实现广泛通信、大范围事件分布、命名和服务发布。这篇文章会介绍Azure服务总线消息功能的基本概念、适用场景、以及一些实践经验。
\u0026#xD;\u0026#xD;Azure服务总线中的队列和主题/订阅
\u0026#xD;\u0026#xD;Windows Azure支持两种可靠的处理异步消息的队列机制：
\u0026#xD;\u0026#xD;- 队列（Queue）：一种简单有保障的先进先出（FIFO）消息传递方式。也就是说，消息通常按其加入队列的临时顺序由接收方接收和处理，并且每条消息只能由一个消息使用者接收和处理。\u0026#xD;\t
- 主题/订阅(Topic/Subscriptions)：提供一对多的通信形式，将消息传递到多个订阅。订阅上可以设置筛选规则来限制要接收的消息。先将消息发送到主题，消息可能被多个订阅接收，然后，接收方在订阅上接收消息。也就是说，消息可能被多个订阅上的不同接收方接收。\u0026#xD;
解决的问题和适用场景
\u0026#xD;\u0026#xD;假设这样一个场景：系统/组件A（简称A）向系统/组件B（简称B ）发送消息。但如果B由于设备或网络原因而无法访问时，对A会造成什么影响呢？显然，在下图所显示的直连模式下（A调用B的服务接口），A功能会因为B不可用而无法正常提供服务。
\u0026#xD;\u0026#xD;为了降低B不可用对A造成的影响，可能你会考虑通过增加B的实例数，以提高B的可用性。而且，实际情况中往往A也是多实例的。
\u0026#xD;\u0026#xD;显然，你会不希望看到上图的情况发生在自己的系统设计中，因为这种紧耦合的方式并不宜于系统的维护和扩展。因此，可以考虑在A和B的实例间使用负载均衡来解决，这样一来，无论B有多少实例，对A来说只需要配置一个访问地址。
\u0026#xD;\u0026#xD;虽然负载均衡提高了A和B之间的松耦合性，但新的问题来了。当A在遭遇到流量高峰时，高流量带来的压力也会传递到B上来。如果B的处理能力不足，B的响应速度会变慢，甚至瘫痪。可见，负载均衡并未提供到百分百的松耦合。
\u0026#xD;\u0026#xD;如果你也遇到了上述类似的问题，那不妨在应用设计中考虑使用Azure服务总线的队列或主题/订阅（如下图所示）。
\u0026#xD;\u0026#xD;在基于队列或主题/订阅的异步消息处理机制下，系统会具备如下特点：
\u0026#xD;\u0026#xD;- 消息的持久化: A发送的消息会保持在队列中，即使B不可用，消息不会丢失。\u0026#xD;\t
- 负载平衡：无论A的负载如何变化，只会影响队列中消息的数量，B始终按照自己的处理能力处理消息。\u0026#xD;\t
- 负载均衡：通过监控队列中消息数量，可更有效的控制A和B的实例数。比如，消息数量累计较多，意味B的处理能力不够，可以通过增加B实例的方式提供消息的处理能力。反之，可减少A或B的实例数。\u0026#xD;
Windows Azure服务总线的队列或主题/订阅的适用场景其实很多，主要包括两类：
\u0026#xD;\u0026#xD;- 系统组件间的异步消息传递，将耗时的过程分离出来。例如，视频网站接收到视频文件后，需要编码以支持不同终端设备播放，而编码过程通常比较慢，这时，接收模块和编码模块间可以考虑使用队列来实现异步处理。\u0026#xD;\t
- 系统间的异步消息传递，将耦合降到最低。例如，一个微信平台，接收用户的输入，从第三方系统接收结果，再发送给用户。微信后台系统接收到用户输入后，可以将消息通过主题/订阅发送给第三方系统(通过设置订阅上的筛选规则来过滤哪些消息发送给哪些订阅)；第三方系统从绑定的订阅中获取消息并处理，然后将结果发送到一个新的队列中；微信后台系统从队列中接收结果，再返回给用户。\u0026#xD;\t
- 设备与系统间的消息传递，起到物联网网关作用。例如，智能家居中的智能设备（空气净化器、烟雾传感器等）不断将设备状态发送到云端，用户通过手机上的应用可以远程控制设备。队列、主题/订阅在设备与云端系统间担当网关，采集设备状态，分发控制指令等。\u0026#xD;
一些经验分享
\u0026#xD;\u0026#xD;- 了解Azure存储队列和服务总线消息的区别\u0026#xD;\t
Azure存储队列: 提供了可靠的异步消息传递和简单的REST接口。但不提供排序保障，不支持复杂的消息功能和传递模式。
\u0026#xD;\u0026#xD;\tAzure服务总线消息: 相比于存储队列，基于更广泛的“中转消息传送”基础结构而构建，支持REST/AMQP协议，保障排序（先进先出），提供多种消息功能（例如，去重/事务/会话等），支持不同的消息传递模式（例如，主题/订阅、自动转发等）。
\u0026#xD;\u0026#xD;\t关于详细的对比分析，可以参考微软MSDN上的文章“Azure 队列和 Service Bus 队列 - 比较与对照”。一些常见功能的对照如下图所示：
\u0026#xD;\u0026#xD;\t
\u0026#xD;\t\u0026#xD;\t\t\t\t 功能
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 存储队列
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 服务总线消息
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 协议
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t REST
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t REST, AMQP
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 消息序列化
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 字符串
\u0026#xD;\u0026#xD;\t\t\t\t字节数组
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 可序列化对象
\u0026#xD;\u0026#xD;\t\t\t\t流
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 最大消息大小
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 64 KB
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 256 KB
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 最大消息生存期
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 7天
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 无限
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 接收模式
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t Get and Delete
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t Receive and Delete
\u0026#xD;\u0026#xD;\t\t\t\tPeak-Lock
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 发布-订阅 （主题）
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 支持
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 邮件到期时间
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 支持
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 支持
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 死信队列
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 支持
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 会话
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 支持
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 消息延迟
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 支持
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 重复检测
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 支持
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 事务
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 支持
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 计费
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 存储、 事务数
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 消息吞吐量、连接数
\u0026#xD;\t\t\t\t - 留意Azure服务总线的天花板在哪\u0026#xD;\t
支持多租户的云服务不可能为单一租户提供无尽的资源。为了确保单一租户在使用资源时不影响其他租户，Azure服务总线为消息传递设置了配额，如下图所示：
\u0026#xD;\u0026#xD;\t\u0026#xD;\t\t\t\t 每个订阅下的最大命名空间数量
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 100
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 队列/主题的最大大小
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 5 GB。
\u0026#xD;\u0026#xD;\t\t\t\t如果启动分片（Partition），80GB
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 每个命名空间的最大队列/主题数量
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 10000
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 每个主题的最大订阅数量
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 2000
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 每个主题的SQL 筛选器最大数量
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 2000
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 每个主题的相关性筛选器最大数量
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 100000
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 每个命名空间的最大并发连接数
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t NetMessaging: 1,000
\u0026#xD;\u0026#xD;\t\t\t\tAMQP: 5,000
\u0026#xD;\u0026#xD;\t\t\t\tREST操作不计入
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 队列/主题/订阅实体上的最大并发连接数
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 依赖于上值
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 队列/主题/订阅实体上的最大并发接收请求数
\u0026#xD;\t\t\t\t\u0026#xD;\t\t\t\t 5000
\u0026#xD;\t\t\t\t当系统的设计要求超过单一队列/主题/订阅实体、或者单一命名空间、甚至单个订阅时，可以采用组合方式来解决。
\u0026#xD;\u0026#xD;\t上述阈值将来可能会发生变化，请参考MSDN上的文章“服务总线配额”，获取最新信息。
\u0026#xD;\t\u0026#xD;\t - 清楚如何选择队列还是主题/订阅\u0026#xD;\t
队列和主题/订阅最大的区别在于：队列中的消息只能被一个接受方接收；而主题/订阅允许消息被多个接受方接收。也就是说，主题/订阅具有队列全部的功能，但支持具有过滤规则的订阅功能。
\u0026#xD;\u0026#xD;\t至少一次（At-least-one）的消息传递
\u0026#xD;\u0026#xD;\t由于网络问题或其他不可预知的短暂性异常出现，在发送消息到队列或主题的过程中，可能出现失败。为应对这一问题，建议在消息发送方采用重试（Retry）机制。C#示例代码如下：
\u0026#xD;\u0026#xD;\t\u0026#xD;public static async Task SendWithRetryAsyn(\u0026#xD; Func\u0026lt;BrokeredMessage, AsyncCallback, object, IAsyncResult\u0026gt; beginSend,\u0026#xD; Action\u0026lt;IAsyncResult\u0026gt; endSend,\u0026#xD; Func\u0026lt;BrokeredMessage\u0026gt; getMessage,\u0026#xD; Action\u0026lt;BrokeredMessage\u0026gt; setProperties = null,\u0026#xD; int maxRetries = DefaultMaxRetries,\u0026#xD; int retryBackoff = DefaultRetryBackoff)\u0026#xD; {\u0026#xD; int retries = 0;\u0026#xD; if (maxRetries \u0026lt; 0)\u0026#xD; {\u0026#xD; maxRetries = DefaultMaxRetries;\u0026#xD; }\u0026#xD; if (retryBackoff \u0026lt; 0)\u0026#xD; {\u0026#xD; retryBackoff = DefaultRetryBackoff;\u0026#xD; }\u0026#xD; bool sent = false;\u0026#xD; while (!sent)\u0026#xD; {\u0026#xD; try\u0026#xD; {\u0026#xD; // acquire the message from the delegate\u0026#xD; var brokeredMessage = getMessage();\u0026#xD; if (setProperties != null)\u0026#xD; {\u0026#xD; // call the delegate to overrid ethe properties\u0026#xD; setProperties(brokeredMessage);\u0026#xD; }\u0026#xD; // send the message\u0026#xD; await Task.Factory.FromAsync(beginSend, endSend, brokeredMessage, null, TaskCreationOptions.None);\u0026#xD; sent = true;\u0026#xD; }\u0026#xD; catch (MessagingException exception)\u0026#xD; {\u0026#xD; // for transient errors go to the Retry backoff wait\u0026#xD; if (exception.IsTransient)\u0026#xD; {\u0026#xD; if (++retries \u0026gt; maxRetries)\u0026#xD; {\u0026#xD; throw;\u0026#xD; }\u0026#xD; goto Retry;\u0026#xD; }\u0026#xD; // otherwise throw out\u0026#xD; throw;\u0026#xD; }\u0026#xD; continue;\u0026#xD; Retry:\u0026#xD; // wait for 3^retries * retryBackoff and then retry\u0026#xD; await Task.Delay((int) Math.Pow(3, retries)*retryBackoff);\u0026#xD; continue;\u0026#xD; }\u0026#xD; }\u0026#xD;\t\u0026#xD;\t - 最多一次（At-most-one）的消息传递\u0026#xD;\t
消息发送方如果处理不当，可能会将同一消息向同一个队列/主题中发送多次。你可以启动重复检测（Duplicate Detection）,让队列/主题自动将重复的消息删除。
\u0026#xD;\u0026#xD;\t1) 队列/主题的重复检测检测的是消息中的MessageId 属性。当发现有重复的MessageId 出现时，会被认为是重复消息。所以，你可以利用MessageId存储一些有意义的信息，比如订单号。
\u0026#xD;\u0026#xD;\t2) 谨慎设置队列/主题上的DuplicateDetectionHistoryTimeWindow属性。默认是10 分钟，不超过7天。该属性决定了队列/主题从多久的时间范围内所接收的消息中排查重复。时间设置的越久，意味着队列/主题需要更多的存储空间存储MessageId，这将占用正常的存储空间。
\u0026#xD;\t\u0026#xD;\t - 认清消息接收方式Receive and Delete和Peak-Lock的区别\u0026#xD;\t
如果消息接收方使用Receive and Delete方式获取消息，那意味着接收端接收到消息的同时，消息会马上从队列/主题上删除。但可能会造成消息的丢失，比如消息被接收后，在还没有处理完时系统宕机了。
\u0026#xD;\u0026#xD;\t为了避免消息丢失，建议采用Peak-Lock方式。但Peek-Lock有可能让消息被处理多次。例如，消息接收方收到一个消息后，需要较长时间来处理消息，超过了Lock Timeout时间（默认是60秒）还未向队列/主题发送完成（Complete）指令。这种情况下，消息会被解锁，其它消息接收方可以再次看到该消息，重复接收并处理。
\u0026#xD;\u0026#xD;\t消息接收方在设计时应该充分考虑如何避免重复处理。例如，合理设置Lock Timeout时间(大于消息处理平均时间)；利用数据库或存储，记录消息处理状态，每次消息处理前，检查其状态，以避免重复处理。
\u0026#xD;\t\u0026#xD;\t - 一组消息，仅由一个消息接收方处理\u0026#xD;\t
由于队列/主题的消息大小限制（256K），有时候需要将一个大的消息拆分成若干的小的消息。而为了能够完整的处理大消息，这些小的消息需要能够被同一个消息接收方接收，而后拼装成大消息。
\u0026#xD;\u0026#xD;\t队列/主题的会话功能可以实现一组消息仅被一个消息接收方接收。
\u0026#xD;\t\u0026#xD;\t - 请求/响应的消息交换模式\u0026#xD;\t
队列/主题普遍运用在单向（One way）的消息交换模式，但是否支持请求/响应模式呢？是的，可以利用启动了会话功能的两个队列/订阅来实现。
\u0026#xD;\u0026#xD;\t
\u0026#xD;\u0026#xD;\t基本的工作流程是：
\u0026#xD;\u0026#xD;\t1) A将一个设置了ReplyToSessionID属性的消息发给Request队列，并且等待从Response队列中接收SessionID等于ReplyToSessionID的消息；
\u0026#xD;\u0026#xD;\t2) B接收到Request队列中的请求消息，然后处理；
\u0026#xD;\u0026#xD;\t3) B处理完成后，生成一个新的响应消息，并将其SessionID属性的值设为请求消息中ReplyToSessionID属性的值。 然后，将响应消息发送到Response队列中；
\u0026#xD;\u0026#xD;\t4) 最后，A从Response队列中获得响应消息。完成。
\u0026#xD;\t\u0026#xD;\t - 横向扩展，增加消息吞吐量\u0026#xD;\t
1) 自定义路由规则连接多个队列或订阅
\u0026#xD;\u0026#xD;\t如前面所提到的，当吞吐量超出单一队列/主题的配额时，可以创建多个队列/主题，通过自定义的路由机制转发消息到不同的队列/主题中。
\u0026#xD;\u0026#xD;\t
\u0026#xD;\u0026#xD;\t2) 利用自动转发（Auto-forwarding）连接多个队列或订阅
\u0026#xD;\u0026#xD;\t
\u0026#xD;\u0026#xD;\t队列/订阅的自动转发（Auto-forwarding）功能允许你将队列或订阅中的消息自动转发到同一个命名空间下的另外一个队列或主题中。利用这种技术，可以扩展单一队列或订阅，改善吞吐量。
\u0026#xD;\t\u0026#xD;\t - 重用消息工厂（MessageFactory）\u0026#xD;\t
C#中，每实例化一个MessageFactory 类，都会建立一个与Azure服务总线的TCP连接。在同一个消息发送方或接收方，建议采用单例模式，可以有效的减少与服务总线的并发连接数，并节省每次创建MessageFactory实例带来的性能开销。
\u0026#xD;\t\u0026#xD;\t - 一个不错的Azure服务总线管理工具，叫ServiceBusExplorer\u0026#xD;\t
来自微软的Paolo Salvatori开发了这一工具，下载地址是MSDN。通过ServiceBusExplorer工具，开发者或运维人员可以方便的管理、监控和测试服务总线命名空间下的队列、主题和订阅。Paolo SalvatoriPaolo SalvatoriPaolo Salvatori
\u0026#xD;\t\u0026#xD;\t - 中国Azure和国外Azure的服务总线命名空间的后缀地址是不同的\u0026#xD;\t
中国Azure的后缀地址是.servicebus.chinacloudapi.cn
\u0026#xD;\u0026#xD;\t国外Azure的后缀地址是.servicebus.windows.net
\u0026#xD;\t\u0026#xD;\t - 监控消息吞吐量\u0026#xD;\t
在消息发送方或接收方，可以在代码中自定义性能计数器来记录每秒消息的发送/接收数，可以利用Perfmon 工具实时查看。记录消息接收数的示例代码如下：
\u0026#xD;\u0026#xD;\t\u0026#xD;private static void OnMessageArrived(BrokeredMessage message)\u0026#xD; {\u0026#xD; var custmsg = message.GetBody\u0026lt;CustomMessage\u0026gt;();\u0026#xD;\u0026#xD; System.Diagnostics.PerformanceCounter perfCounterReceived =\u0026#xD; new System.Diagnostics.PerformanceCounter(\"SBMulticastDemo\
XuperChain
更多推荐
0
0- 0
已为社区贡献54条内容
所有评论(0)