RPC 处事器之【多历程描写符转达】高阶模子

本日先生要给各人先容一个较量出格的 RPC 处事器模子，这个模子差异于 Nginx、差异于 Redis、差异于 Apache、差异于 Tornado、差异于 Netty，它的原型是 Node Cluster 的多历程并发模子。

Nginx 并发模子

我们知道 Nginx 的并发模子是一个多历程并发模子，它的 Master 历程在绑定监听地点端口后 fork 出了多个 Slave 历程配合竞争处理赏罚这个处事端套接字吸取到的许多客户端毗连。

这多个 Slave 历程会共享统一个处于操纵体系内核态的套接字行列，操纵体系的收集模块在处理赏罚完三次握手后就会将套接字塞进这个行列。这是一个出产者斲丧者模子，出产者是操纵体系的收集模块，斲丧者是多个 Slave 历程，行列中的工具是客户端套接字。

这种模子在负载平衡上有一个弱点，那就是套接字分派不匀称，形成了相同于贫富分化的排场，也就是「闲者愈闲，忙者愈忙」的状态。这是由于当多个历程竞争统一个套接字行列时，操纵体系回收了 LIFO 的计策，最后一个来 accept 的历程最优先拿到 套接字。越是忙碌的历程越是有更多的机遇挪用 accept，它能拿到的套接字也就越多。

Node Cluster 并发模子

Node Cluster 为了办理负载平衡题目，它回收了差异的计策。它也是多历程并发模子，Master 历程会 fork 出多个子历程来处理赏罚客户端套接字。可是不存在竞争题目，由于认真 accept 套接字的只能是 Master 历程，Slave 历程只认真处理赏罚客户端套接字哀求。那就存在一个题目，Master 历程拿到的客户端套接字怎样转达给 Slave 历程。

这时，神奇的 sendmsg 登场了。它是操纵体系提供的体系挪用，可以在差异的历程之间转达文件描写符。sendmsg 会搭乘一个非凡的「管道」将 Master 历程的套接字描写符转达到 Slave 历程，Slave 历程通过 recvmsg 体系挪用从这个「管道」中将描写符取出来。这个「管道」较量非凡，它是 Unix 域套接字。平凡的套接字可以跨呆板传输动静，Unix 域套接字只能在统一个呆板的差异历程之间转达动静。同管道一样，Unix 域套接字也分为著名套接字和无名套接字，著名套接字会在文件体系指定一个路径名，无关历程之间都可以通过这个路径来会见 Unix 域套接字。而无名套接字一样平常用于父子历程之间，父历程会通过 socketpair 挪用来建设套接字，然后 fork 出来子历程，这样子历程也会同时持有这个套接字的引用。后续父子历程就可以通过这个套接字相互通讯。

留意这里的转达描写符，本质上不是转达，而是复制。父历程的描写符并不会在 sendmsg 自动封锁自动消散，子历程收到的描写符和父历程的描写符也不是统一个整数值。可是父子历程的描写符城市指向统一个内核套接字工具。

有了描写符的转达手段，父历程就可以将 accept 到的客户端套接字轮传播递给多个 Slave 历程，负载平衡的方针就可以顺遂实现了。

接下来我们就是用 Python 代码来撸一遍 Node Cluster 的并发模子。由于 sendmsg 和 recvmsg 要领到了 Python3.5 才内置进来，以是下面的代码必要行使 Python3.5+才可以运行。

我们看 sendmsg 要领的界说

socket.sendmsg(buffers[, ancdata[, flags[, address]]]) 

我们只必要体谅第二个参数 ancdata，描写符是通过ancdata 参数转达的，它的意思是 「帮助数据」，而 buffers 暗示必要转达的动静内容，由于动静内容这里没故意义，以是这个字段可以恣意填写，可是必必要有内容，假如没有内容，sendmsg 要领就是一个空挪用。

import socket, structdef send_fds(sock, fd): return sock.sendmsg([b'x'], [(socket.SOL_SOCKET, socket.SCM_RIGHTS, struct.pack("i", fd))])# ancdata 参数是一个三元组的列表，三元组的第一个参数暗示收集协议栈级别 level，第二个参数暗示帮助数据的范例 type，第三个参数才是携带的数据，level=SOL_SOCKET 暗示转达的数据处于 TCP 协议层级，type=SCM_RIGHTS 就暗示携带的数据是文件描写符。我们转达的描写符 fd 是一个整数，必要行使 struct 包将它序列化成二进制。 

再看 recvmsg 要领的界说

msg, ancdata, flags, addr = socket.recvmsg(bufsize[, ancbufsize[, flags]]) 

同样，我们只必要体谅返回的 ancdata 数据，它内里包括了我们必要的文件描写符。可是必要提供动静体的长度和帮助数据的长度参数。帮助数据的长度较量非凡，必要行使 CMSG_LEN 要领来计较，由于帮助数据内里尚有我们看不到的特另外头部信息。

bufsize = 1  # 动静内容的长度 
ancbufsize = socket.CMSG_LEN(struct.calcsize('i'))  # 帮助数据的长度 
msg, ancdata, flags, addr = socket.recvmsg(bufsize, ancbufsize) # 收打动静 
level, type, fd_bytes = ancdata[0] # 取第一个元祖，留意发送动静时我们转达的是一个三元组的列表 
fd = struct.unpack('i', fd_bytes) # 反序列化 

代码实现

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!