tcpcopy压力测试工具_tcpcopy压力测试_tcpcopy

tcpcopy压力测试工具_tcpcopy压力测试_tcpcopy

tcpcopy简介

tcpcopy是一种请求复制(所有基于tcp的packets)压力测试工具,其应用领域较广,我们曾经应用于网易的广告投放系统,urs系统,nginx hmux协议等系统,避免了上线带来的很多问题。

我们即将应用tcpcopy于membase替换现有mecached系统的任务中。由于membase还不够

成熟,不适合直接上线,利用tcpcopy程序,可以把访问memcached的系统流量复制一份到

membase系统中去。对于membase来说,这份流量就是访问membase的,跟直接上线

membase效果一样,就可以做各种试验,查看membase的各种特性。

tcpcopy六大功能:

1)分布式压力测试工具,利用在线数据,可以测试系统能够承受的压力大小(远比ab压力测

试工具真实地多),也可以提前发现一些bug

2)如果后端的连接是短连接并且请求体不大,请求丢失率一般都非常低(1/10万),可以应用于热备份

3)普通上线测试,可以发现新系统是否稳定,提前发现上线过程中会出现的诸多问题,让开

发者有信心上线

4)对比试验,同样请求,针对不同或不同版本程序,可以做性能对比等试验

5)利用级联tcpcopy或者利用代理进行多份复制,可以构造无限在线压力,满足中小网站压力

测试要求

6)实战演习(架构师必备)

特点:

1)实时

2)效果真实

3)低负载,不影响在线

4)操作简单

5)分布式

6)意义非凡

使用方法:

TCPCOPY分为TCPCOPY client和TCPCOPY server。

其中TCPCOPY client运行在在线服务器上面,用来捕获在线请求数据包;TCPCOPY server

(监听端口为36524)运行在测试机器上面,在测试服务器的响应包丢弃之前截获测试服务器

的响应包,并通过TCPCOPY client和TCPCOPY server之间的tcp连接传递响应包的tcp和ip

头部信息给TCPCOPY client,以完成TCP交互。

使用方法如下:

TCPCOPY server (root用户执行)

1)启动内核模块ip_queue (modprobe ip_queue)

2)设置要截获的端口,并且设置对output截获

iptables -I OUTPUT -p tcp --sport port -j QUEUE

3)./interception

注意(如果已经启动ip_queue和已经设置iptables,只需要运行第3项;测试完以后要记得iptables -F)

TCPCOPY client (root用户执行)

./tcpcopy 本地ip地址1[:本地ip地址2:…] 本地port 远程ip地址远程port

注意(本地ip地址列表其实就是客户端所认为的服务器ip地址,如果前面有lvs,一般就是lvs的虚拟ip地址)

测试举例:

假设13,14是在线应用服务器,148是测试服务器(148配置和13差不多),

本地端口和远程端口都是12321(端口12321是我们的一个应用,类似于memcached应用)。

我们的目的就是为了确认目前在线服务器能否承受目前两倍的压力。

我们利用tcpcopy进行测试:

目标测试服务器(148)

# modprobe ip_queue (if not run up)

# iptables -I OUTPUT -p tcp --sport 12321 -j QUEUE (if not set)

# ./interception

在线服务器(13):

# ./tcpcopy xx.xx.xx.13 12321 xx.xx.xx.148 12321

在线服务器(14):

# ./tcpcopy xx.xx.xx.14 12321 xx.xx.xx.148 12321

13 cpu:

11124 adrun 150193m146m744 S 18.67.3495:31.56 asyn_server

11281 root 1506514440m1076 S 12.32.00:47.89 tcpcopy

14 cpu:

16855 adrun 15098.7m55m744 S 21.62.7487:49.51 asyn_server

16429 root 1504115617m1076 S 14.00.90:33.63 tcpcopy

148 cpu :

25609 root 1507689259m764 S 49.62.963:03.14 asyn_server

20184 root 15056244232292 S 17.00.20:52.82 interception

13记录: grep 'Tue 11:08' access_0913_11.log |wc -l :89316,每秒处理1489次请求

14记录: grep 'Tue 11:08' access_0913_11.log |wc -l :89309,每秒处理1488次请求

148记录: grep 'Tue 11:08' access_0913_11.log |wc -l :178175,每秒处理2969次请求

请求丢失率为:(89316+89309-178175)/(89316+89309)=0.25%

从上面可以看出一台在线服务器能够承受目前压力的两倍。

我们来看负载情况:

TCPCOPY client自身负载占到12.3%和14%,TCPCOPY server占到17%,从负载来看,均不高。

内存也占得不多。

注意事项:

 

1)Linux平台,内核2.6+

2)TCPCOPY类似于UDP,所以会丢包,进而丢失请求

3)本系统不支持域名,只支持ip地址

4)LocalRequests,请设置lo MTU不超过1500,并且在配置文件中不要设置127.0.0.1地址,

要设置内网或者外网地址

5)TCPCOPY server有可能会成为性能瓶颈

6)丢失请求率跟网络状况有关,最好在内网内复制请求

7)TCPCOPY中的tcpcopy和interception程序运行需要root权限

8)TCPCOPY只与ip、tcp层的数据有关,如果请求验证与tcp层以上的协议有关,则系统不能正常运行。

例如:mysql连接协议,由于权限认证与tcp层上面的mysql协议有关,所以复制过去的请求会被目

标测试服务器认为非法请求,这个时候需要针对mysql协议作具体针对性的处理,tcpcopy程序才能正常运行

9)目前追求的是功能,性能优化和代码重构会在稳定以后进行

10)针对长请求(比如上传文件),本系统不是很支持,

因为传递packets到目标测试服务器的时候,没有重传机制的支持(0.4版本会支持重传)

11)如果有问题,请注意error.log文件提示的错误信息(email:163.beijing@gmail.com)

12)源代码已经转到github

13)测试环境最好和在线环境一致,比如连接都保持keepalive

14)客户端ip地址为内网ip地址,一般情况下其应用请求是无法复制到外网测试机器上面去的。

15)tcpcopy client需要连接测试服务器的36524端口,所以要对外开放36524端口

16)为了避免不必要的麻烦,关闭的时候先关闭tcpcopy,然后再关闭interception

17)需要注意TCP segmentation offloading相关问题

如果tcpcopy所抓的数据包大小超过MTU,那么由于raw socket output的原因,需要你

改变在线设置,比如:ethtool -K eth1 tso off ; ethtool -K eth1 gro off

18)如果你想多重复制在线流量,见如下文档(0.3.5+版本)

http://blog.csdn.net/wangbin579/article/details/7476413

19)在测试过程中,如果你还想访问测试服务器的服务(0.3.5+版本),见如下文档

http://blog.csdn.net/wangbin579/article/details/7476477

20)多层架构环境下,测试系统一定要独立,与在线系统没有业务关联,否则会影响在线

21)如果请求丢失率比较高,可以在log.h中设置#define DEBUG_TCPCOPY 1(0.3.2+版本),

重新编译,运行,输出若干分钟的log,发送给我。

22)由于更新比较快,高版本针对某些应用,请求丢失率反而有可能会下降,由于需要回归的测试太多,请谅解

23)更多文档和实战,请访问 http://blog.csdn.net/wangbin579/article/category/926096

24)个人微博:http://weibo.com/tcpcopy

您可以选择一种方式赞助本站

支付宝转账赞助

支付宝扫一扫赞助

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

图片 表情