今天早上一上班,有同事就反映公司好几个网站都打不开,登陆数据库
服务器(windows),发现很卡,于是重启了下服务器,进入系统后,没过一会问题依旧,查看了下系统进程,发现mysql占用率达到99%,可以肯定的是mysql连接出现问题:
netstat -an 192.168.12.13:3306 192.168.12.12:30443 TIME_WAIT 192.168.12.13:3306 192.168.12.12:30444 TIME_WAIT 192.168.12.13:3306 192.168.12.12:30445 TIME_WAIT 192.168.12.13:3306 192.168.12.12:30446 TIME_WAIT 192.168.12.13:3306 192.168.12.12:30447 TIME_WAIT 192.168.12.13:3306 192.168.12.12:30448 TIME_WAIT 192.168.12.13:3306 192.168.12.12:30449 TIME_WAIT 192.168.12.13:3306 192.168.12.12:30450 TIME_WAIT 192.168.12.13:3306 192.168.12.12:30451 TIME_WAIT 192.168.12.13:3306 192.168.12.12:30452 TIME_WAIT ... ...
根据TCP协议定义的3次握手断开连接规定,发起socket主动关闭的一方 socket将进入TIME_WAIT状态,TIME_WAIT状态将持续2个MSL(Max Segment Lifetime),在Windows下默认为4分钟,即240秒,TIME_WAIT状态下的socket不能被回收使用. 具体现象是对于一个处理大量短连接的服务器,如果是由服务器主动关闭客户端的连接,将导致服务器端存在大量的处于TIME_WAIT状态的socket, 甚至比处于Established状态下的socket多的多,严重影响服务器的处理能力,甚至耗尽可用的socket,停止服务. TIME_WAIT是TCP协议用以保证被重新分配的socket不会受到之前残留的延迟重发报文影响的机制,是必要的逻辑保证.
在HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters,添加名为TcpTimedWaitDelay的
DWORD键,设置为60,以缩短TIME_WAIT的等待时间
登陆到web服务器(linux):
netstat -ae |grep mysql tcp 0 0 aaaa:53045 192.168.12.13:mysql TIME_WAIT root 0 tcp 0 0 aaaa:53044 192.168.12.13:mysql TIME_WAIT root 0 tcp 0 0 aaaa:53051 192.168.12.13:mysql TIME_WAIT root 0 tcp 0 0 aaaa:53050 192.168.12.13:mysql TIME_WAIT root 0 tcp 0 0 aaaa:53049 192.168.12.13:mysql TIME_WAIT root 0 tcp 0 0 aaaa:53048 192.168.12.13:mysql TIME_WAIT root 0 tcp 0 0 aaaa:53055 192.168.12.13:mysql TIME_WAIT root 0 tcp 0 0 aaaa:53054 192.168.12.13:mysql TIME_WAIT root 0 tcp 0 0 aaaa:53053 192.168.12.13:mysql TIME_WAIT root 0 tcp 0 0 aaaa:53052 192.168.12.13:mysql TIME_WAIT root 0 tcp 0 0 aaaa:53059 192.168.12.13:mysql TIME_WAIT root 0
发现系统存在大量TIME_WAIT状态的连接,通过调整内核参数解决,
vi /etc/sysctl.conf
编辑文件,加入以下内容:
net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 30
然后执行 /sbin/sysctl -p 让参数生效。
net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭;
net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭;
net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。
net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间
修改之后,再用
netstat -ae|grep mysql tcp 0 0 aaaa:50408 192.168.12.13:mysql ESTABLISHED nobody 3224651 tcp 0 0 aaaa:50417 192.168.12.13:mysql ESTABLISHED nobody 3224673 tcp 0 0 aaaa:50419 192.168.12.13:mysql ESTABLISHED nobody 3224675
发现大量的TIME_WAIT 已不存在,mysql进程的占用率很快就降下来的,各网站访问正常!!
以上只是暂时的解决方法,最后仔细巡查发现是前天新上线的一个系统,程序代码中没有使用mysql.colse(),才导致大量的mysql TIME_WAIT
相关推荐
近期服务器出现大量time_wait的TCP连接造成服务器连接数过多而最终导致tomcat假死状态。连接服务器查看连接数的时候提示如下。 [root@test apache-tomcat-7.0.53]# netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a...
解决TIME_WAIT过多造成的问题
减少Linux服务器过多的TIME_WAIT TIME_WAIT状态的意义: 客户端与服务器端建立TCP/IP连接后关闭SOCKET后,服务器端连接的端口 状态为TIME_WAIT 是不是所有执行主动关闭的socket都会进入TIME_WAIT状态呢? 有...
linux 服务器大量TIME_WAIT解决方法
解决mysql出现大量TIME_WAIT
Windows Server 2008 R2系统BUG导致windows缓冲区已满(no buffer space),Windows核心套接字泄露问题导致操作系统套接字资源被耗尽,导致服务器与数据库无法正常对接。windows 2008 R2解决socket连接不释放补丁包_time...
解决TIME_WAIT过多造成的问题1
LINUX 大量TIME_WAIT状态的连接解决方法
Linux大量TIME_WAIT解决办法.docx
linux c 网络编程 测试tcp连接的TIME_WAIT状态 非常适合于初学者
详细描述TCP的各个状态,初学者可以快速理解掌握tcp状态图
NULL 博文链接:https://bert82503.iteye.com/blog/2147899
关于释放time_wait连接多的方案,方法很有效!
以下是对pthread_cond_wait的用法进行了详细的分析介绍,需要的朋友可以过来参考下
问题描述:在Linux系统中高并发的Squid服务器,TCP TIME_WAIT套接字数量经常达到两、三万,服务器很容易被拖死。解决方法:通过修改Linux内核参数,可以减少linux服务器的IME_WAIT套接字数量。vi /etc/sysctl.conf...
关于系统端口出现CLOSE_WAIT状态的解决方案,讲解明确清晰,值得参考
摘要视图订阅01.02.03.04.05.06.162149次第9644名99篇1篇0篇30条【Linux网络编程笔记】TCP短连接产生大量TIME_WAIT导
netstat显示 TIME_WAIT 的原因及解决办法 netstat显示TCP连接进入TIME_WAIT状态的原因及解决办法
减少 TIME_WAIT 超时时间:TIME_WAIT 状态是为了保证数据传输的完整性,因此在服务器端可以通过调整系统参数来减少 TIME_WAIT 超时时间。 使用负载均衡转发连接:如果服务器端的连接数过多,可以使用负载均衡转发...