沙巴真人百家乐博彩平台用户协议_

[[437200]]

本文转载自微信公众号「极客新生」，作家极客新生。转载本文请算计极客新生公众号。

hi ，大众好，今天分享一篇后台做事器性能优化之采集性能优化，但愿大众对Linux采集有更深的泄露。

曾几何时，一切都是那么毛糙。网卡很慢，唯有一个队伍。当数据包到达时，网卡通过DMA复制数据包并发送中断，Linux内核网罗这些数据包并完成中断处理。跟着网卡越来越快，基于中断的模子可能会因多数传入数据包而导致 IRQ 风暴。这将破费大部分 CPU 功率并冻结系统。

为了科罚这个问题，NAPI(中断+轮询)被漠视。当内核收到来自网卡的中断时，它运转轮询建设并尽快网罗队伍中的数据包。NAPI 不错很好地与当今常见的 1 Gbps 网卡配合使用。然则，关于10Gbps、20Gbps甚而40Gbps的网卡，NAPI可能还不够。如果咱们仍然使用一个 CPU 和一个队伍来接受数据包，这些卡将需要更快的 CPU。

侥幸的是，当今多核 CPU 很流行，那么为什么不并行处理数据包呢?

RSS：接受端缩放

Receive Side Scaling(RSS)是所述机构具有多个RX / TX队伍进程的数据包。当带有RSS 的网卡接受到数据包时，它会对数据包应用过滤器并将数据包分发到RX 队伍。过滤器无为是一个哈希函数，不错通过“ethtool -X”进行设立。如果你想在前 3 个队伍中均匀散播流量：

# 宝马会体育ethtool -X eth0 equal 3 

或者，如果你发现一个十分有用的魔法哈希键：

 

威尼斯人棋牌

# ethtool -X eth0 hkey <magic hash key> 

关于低延迟采集，除了过滤器以外，CPU 亲和性也很进攻。最好缔造是分派一个 CPU 专用于一个队伍。率先通过查验/proc/interrupt找出IRQ号，然后将CPU位掩码缔造为/proc/irq//smp_affinity来分派专用CPU。为幸免缔造被掩饰，必须禁用看守程度irqbalance。请细心，把柄内核文档，超线程对中断处理莫得任何克己，因此最好将队伍数与物理 CPU 内核数相匹配。

RPS：接受数据包章程

同花顺数据显示，截至7月23日收盘，与商品金属镍相关的A股方面走势不一，其中青岛中程、兴业矿业、西部矿业、宁波联合、杉杉股份走低；康强电子涨停，ST银亿亦走高。

一次虚拟的体育赛事在皇冠体育上进行，许多赌徒疯狂下注，最终赢家居然是一位名不见经传的新手。

百度将於今日开始招股，下周三(3月17日)截止，预计3月23日主板挂牌上市。公司指1股美国存托股代表8股A类普通股。

RSS提供硬件队伍，一个称为软件队伍机制Receive Packet Steering (RPS)在Linux内核杀青。

当驱动措施接受到数据包时，它会将数据包包装在套接字缓冲区 ( sk_buff ) 中，其中包含数据包的u32哈希值。散列是所谓的第 4 层散列(l4 散列)，它基于源 IP、源端口、贪图 IP 和贪图端口，由网卡或__skb_set_sw_hash() 狡计。由于调换 TCP/UDP 贯穿(流)的每个数据包分享调换的哈希值，因此使用调换的 CPU 处理它们是合理的。

RPS 的基本想想是把柄每个队伍的 rps_map 将兼并流的数据包发送到特定的 CPU。这是 rps_map 的结构：映射把柄 CPU 位掩码动态转换为/sys/class/net//queues/rx-/rps_cpus。比如咱们要让队伍使用前3个CPU，在8个CPU的系统中，咱们先构造位掩码，0 0 0 0 0 1 1 1，到0x7，然后

#echo 7 > /sys/class/net /eth0/queues/rx-0/rps_cpus 

这将保证从 eth0 中队伍 0 接受的数据包插足 CPU 1~3。驱动措施在 sk_buff 中包装一个数据包后，它将到达netif_rx_internal()或netif_receive_skb_internal()，然后到达 get_rps_cpu()

struct rps_map { unsigned int len; struct rcu_head rcu;     u16 cpus[0]; }; 

将被调用以将哈希映射到 rps_map 中的条款，即 CPU id。得到CPU id后，enqueue_to_backlog()将sk_buff放到特定的CPU队伍中进行进一步处理。每个 CPU 的队伍在 per-cpu 变量softnet_data 等分派。

使用RPS的克己是不错在 CPU 之间摊派数据包处理的负载。然则，如果RSS 可用，则可能莫得必要，因为网卡照旧对每个队伍/CPU 的数据包进行了排序。然则，如果队伍中的CPU数更多，RPS 仍然不错发达作用。在这种情况下，每个队伍不错与多个 CPU关联联并在它们之间分发数据包。

RFS: Receive Flow Steering

皇冠客服飞机：@seo3687

皇冠体育

尽管 RPS 基于流分发数据包，但它莫得谈判用户空间应用措施。应用措施可能在 CPU A 上运行，而内核将数据包放入 CPU B 的队伍中。由于 CPU A 只可使用我方的缓存，因此 CPU B 中缓存的数据包变得无谓。Receive Flow Steering(RFS)进一步蔓延为RPS的应用措施。

代替每个队伍的哈希至CPU舆图，RFS调遣全局flow-to-CPU的表，rps_sock_flow_table：该掩模用于将散列值映射成所述表的索引。由于表大小将四舍五入到 2 的幂，因此掩码缔造为table_size - 1。

struct rps_sock_flow_table {     u32 mask;     u32 ents[0]; }; 

况兼很容易找到索引：a sk_buff与hash & scok_table->mask。

该条款由 rps_cpu_mask分手为流 id 和 CPU id。低位用于CPU id，而高位用于流id。当应用措施对套接字进行操作时(inet_recvmsg()、inet_sendmsg()、inet_sendpage()、tcp_splice_read())，将调用sock_rps_record_flow()来更新sock 流表。

当数据包到来时，将调用get_rps_cpu()来决定使用哪个 CPU 队伍。底下是get_rps_cpu()何如决定数据包的 CPU

ident = sock_flow_table->ents[hash & sock_flow_table->mask]; if ((ident ^ hash) & ~rps_cpu_mask)      goto try_rps; next_cpu = ident & rps_cpu_mask; 

使用流表掩码找到条贪图索引，并查验散列的高位是否与条款匹配。如果是，它会从条款中检索 CPU id 并为数据包分派该 CPU。如果散列不匹配任何条款，它会回退到使用 RPS 映射。

不错通过rps_sock_flow_entries和洽 sock 流表的大小。举例，如果咱们要将表大小缔造为 32768：

沙巴真人百家乐

#echo 32768 > /proc/sys/net/core/rps_sock_flow_entries 

sock流表天然提高了应用的局部性，但也带来了一个问题。当调度器将应用措施挪动到新 CPU 时，旧 CPU 队伍中剩余的数据包变得未完成，应用措施可能会得到乱序的数据包。为了科罚这个问题，RFS 使用每个队伍的rps_dev_flow_table来追踪未完成的数据包。

底下是该结构rps_dev_flow_table：到袜子流表中，访佛的rps_dev_flow_table也使用table_size - 1手脚掩模而表的大小也必须被朝上舍入到2的幂当流量分组被入队，last_qtail被更新

struct rps_dev_flow {     u16 cpu;     u16 filter; /* For aRFS */ unsigned int last_qtail; }; struct rps_dev_flow_table { unsigned int mask; struct rcu_head rcu; struct rps_dev_flow flows[0]; }; 

到 CPU 队伍的尾部。如果应用措施挪动到新 CPU，则 sock 流表将反应转换，况兼get_rps_cpu()将为流缔造新 CPU。在缔造新 CPU 之前，get_rps_cpu() 会查验现时队伍的头部是否照旧通过 last_qtail。如果是这样，这意味着队伍中莫得更多未完成的数据包，况兼不错安全地转换 CPU。不然，get_rps_cpu()仍将使用rps_dev_flow->cpu 中纪录的旧 CPU 。

每个队伍的流表(rps_dev_flow_table)的大小不错通过 sysfs 接口进行设立：

皇冠现金官网网站

/sys/class/net/<dev>/queues/rx-<n>/rps_flow_cnt 

建议将rps_flow_cnt缔造为 ( rps_sock_flow_entries / N) 而 N 是 RX 队伍的数目(假定流在队伍中均匀散播)。

ARFS：加速接受流量转向

Accelerated Receive Flow Steering(aRFS)进一步蔓延RFS为RX队伍硬件过滤。要启用 aRFS，它需要具有可编程元组过滤器和驱动措施相沿的网卡。要启用ntuple 过滤器。

# ethtool -K eth0 ntuple on 

要使驱动措施相沿aRFS，它必须杀青ndo_rx_flow_steer以匡助set_rps_cpu()设立硬件过滤器。当get_rps_cpu()决定为流分派一个新 CPU 时，它会调用set_rps_cpu()。set_rps_cpu()率先查验网卡是否相沿 ntuple 过滤器。如果是，它将查询rx_cpu_rmap为流找到合适的 RX 队伍。

rx_cpu_rmap是驱动调遣的独特映射。该映射用于查找哪个 RX 队伍相宜 CPU。它不错是与给定 CPU 径直关联的队伍，也不错是处理 CPU 在缓存位置最接近的队伍。获取 RX 队伍索引后，set_rps_cpu()调用ndo_rx_flow_steer()以见告驱动措施为给定的流创建新过滤器。ndo_rx_flow_steer()将复返过滤器 id，过滤器 id 将存储在每个队伍的流表中。

除了杀青ndo_rx_flow_steer() 外，驱动措施还必须调用rps_may_expire_flow() 按时查验过滤器是否仍然有用并删除逾期的过滤器。

SO_REUSEPORT

linux man文档中一段翰墨态状其作用：

The new socket option allows multiple sockets on the same host to bind to the same port, and is intended to improve the performance of multithreaded network server applications running on top of multicore systems.

毛糙说，欧博平台SO_REUSEPORT相沿多个程度或者线程绑定到兼并端口，用以提高做事器措施的性能。咱们想了解为什么这个特色这样火(无为被大厂口试官问到)，到底是科罚什么问题。

Linux系统上后台应用措施，为了诈欺多核的上风，一般使用以下比拟典型的多程度/多线程做事器模子：

单线程listen/accept，多个使命线程接受任务分发，虽CPU的使命负载不再是问题，但会存在：

1. 单线程listener，在处理高速度海量贯穿时，相通会成为瓶颈;

2. CPU缓存行失效(丢失套接字结构socket structure)景观严重;

通盘使命线程都accept()在兼并个做事器套接字上呢，相通存在问题：

1. 多线程走访server socket锁竞争严重;

2. 高负载下，线程之间处理不平衡，就怕高达3:1不平衡比例;

博彩英文

3. 导致CPU缓存行卓著(cache line bouncing);

4. 在坚苦CPU上存在较大延迟;

上头模子天然不错作念到线程和CPU核绑定，但都会存在以下问题：

单一listener使命线程在高速的贯穿接入处理时会成为瓶颈 缓存行卓著 很难作念到CPU之间的负载平衡 跟着核数的扩张，性能并莫得跟着普及

SO_REUSEPORT相沿多个程度或者线程绑定到兼并端口：

允很多个套接字 bind()/listen() 兼并个TCP/UDP端口

1.每一个线程领有我方的做事器套接字。

2.在做事器套接字上莫得了锁的竞争。

内核层面杀青负载平衡。 安全层面，监听兼并个端口的套接字只可位于兼并个用户底下。

其中枢的杀青主要有三点：

扩张socket option，增多

SO_REUSEPORT选项，用来缔造 reuseport。

修改 bind 系统调用杀青，以便相沿不错绑定到调换的 IP 和端口。 修改处理新建贯穿的杀青，查找 listener 的时刻，约略相沿在监听调换 IP 和端口的多个 sock 之间平衡遴荐 带来真谛 CPU之间平衡处理，水平扩张，模子毛糙，调遣便捷了，程度的照顾和应用逻辑解耦，程度的照顾水平扩张权限下放给措施员/照顾员，不错把柄实质进行章程程度启动/关闭，增多了机动性。这带来了一个较为微不雅的水平扩张想路，线程若干是否合适，景况是否存在分享，裁减单个程度的资源依赖，针对无景况的做事器架构最为相宜。 针对对客户端而言，名义上感受不到其变动，因为这些使命王人备在做事器端进行。 做事器无缝重启/切换，热更新，提供新的可能性。咱们迭代了一版块，需要部署到线上，为之启动一个新的程度后，稍后关闭旧版块程度措施，做事一直在运行中接续交，需要平衡过度。这就像Erlang说念话层面所提供的热更新相通。 SO_REUSEPORT已知问题 SO_REUSEPORT分为两种口头，即热备份口头和负载平衡口头，在早期的内核版块中，即就是加入对reuseport选项的相沿，也只是为热备份口头，而在3.9内核之后，则一起改为了负载平衡口头，两种口头莫得共存，天然我一直都但愿它们不错共存。 SO_REUSEPORT把柄数据包的四元组{src ip, src port, dst ip, dst port}和现时绑定兼并个端口的做事器套接字数目进行数据包分发。若做事器套接字数目产生变化，内核会把本该上一个做事器套接字所处理的客户端贯穿所发送的数据包(比如三次合手手技术的半贯穿，以及照旧完成合手手但在队伍中列队的贯穿)分发到其它的做事器套接字上头，可能会导致客户端央求失败。

何如留意以上已知问题，一般科罚想路：

博彩平台用户协议

1.使用固定的做事器套接字数目，不要在负载坚苦技术猖狂变化。

转型

2.允很多个做事器套接字分享TCP央求表(Tcp request table)。

3.不使用四元组手脚Hash值进行遴荐腹地套接字处理，比如遴荐 会话ID或者程度ID，挑选附庸于兼并个CPU的套接字。

4. 使用一致性hash算法。

与其他特色关系 1. SO_REUSEADDR：主淌若地址复用

1.1 让处于time_wait景况的socket不错快速复用原ip+port

皇冠分红

1.2 使得0.0.0.0(ipv4通配符地址)与其他地址(127.0.0.1和10.0.0.x)不打破

1.3 SO_REUSEADDR 的流毒在于，莫得安全范畴，而且无法保证通盘贯穿均匀分派。

2.与RFS/RPS/XPS-mq讨好，不错得回进一步的性能

2.1.做事器线程绑定到CPUs

2.2.RPS分发TCP SYN包到对应CPU核上

2.3.TCP贯穿被已绑定到CPU上的线程accept()

2.4. XPS-mq(Transmit Packet Steering for multiqueue)，传输队伍和CPU绑定，发送 数据

2.5. RFS/RPS保证兼并个贯穿后续数据包都会被分发到兼并个CPU上，网卡接受队伍 照旧绑定到CPU，则RFS/RPS则无须缔造，需要细心硬件相沿与否，贪图是数据包的软硬中断、接受、处理等在一个CPU核上，并行化处理，尽可能作念到资源诈欺最大化。

SO_REUSEPORT的演进 3.9之前内核，约略让多个socket同期绑定王人备调换的ip+port，但不可杀青负载平衡，杀青是热备。 Linux 3.9之后，约略让多个socket同期绑定王人备调换的ip+port，不错杀青负载平衡。 Linux4.5版块后，内核引入了reuseport groups，它将绑定到兼并个IP和Port，况兼缔造了SO_REUSEPORT选项的socket组织到一个group里面。贪图是加速socket查询。 归来

Linux采集堆栈所存在问题

TCP处理&多核 一个好意思满的TCP贯穿，中断发生在一个CPU核上，但应用数据处理可能会在另外一个核上 不同CPU中枢处理，带来了锁竞争和CPU Cache Miss(波动抗击衡) 多个程度监听一个TCP套接字，分享一个listen queue队伍 用于贯穿照顾全局哈希表格，存在资源竞争 epoll IO模子多程度的惊群景观 Linux VFS的同步损耗严重 Socket被VFS照顾 VFS对文献节点Inode和目次Dentry有同步需求 SOCKET只需要在内存中存在即可，非严格真谛上文献系统，不需要Inode和Dentry 代码层面略过不必须的老例锁，但又保持了实足的兼容性

RSS、RPS、RFS 和 aRFS，这些机制是在 Linux 3.0 之前引入的，SO_REUSEPORT选项在Linux 3.9被引入内核，因此大多数刊行版照旧包含并启用了它们。深切了解它们，以便为咱们的做事器系统找到最好性能设立。

性能优化朦胧限，咱们下期再延续分享!

扩张与参考

https://garycplin.blogspot.com/2017/06/linux-network-scaling-receives-packets.html?m=1

https://jamal-jiang.github.io/2017/02/03/TCP-SO-REUSEPORT/

 

http://www.blogjava.net/yongboy/archive/2015/02/05/422760.html

 

---