[問題] tomcat 某天開始對外流量暴增

看板Linux作者fantasy15 (隨風漂流的雲)時間12年前 (2014/03/03 10:44)推噓0(0推 0噓 7→)

留言7則, 4人參與討論串1/1

監控到，從某一天開始，IDC機房router撈到的統計資料 http://fantasy15.myweb.hinet.net/tomcat/route.png

從某一天開始對外流量瞬間暴增四倍以上，第一個反應，被hack了，馬上清查所有的code、policy、各種log 用 JavaMelody monitor出來有異狀的三個log圖表 http://fantasy15.myweb.hinet.net/tomcat/http_hit.png

http://fantasy15.myweb.hinet.net/tomcat/jsp_use.png

http://fantasy15.myweb.hinet.net/tomcat/bytes_send.png

http://fantasy15.myweb.hinet.net/tomcat/nbfile.png

其他圖表都很正常，跟那一天以前一樣都沒有特別的起伏發現之後馬上開啟iptable紀錄確定都是80port出去的分析httpd(apache)跟tomcat的log發現並沒有特殊的連線，同時log在那天以前跟以後都一樣沒有特殊連線、port、需求、同時數量跟大小也沒有變特別多(緩慢成長1%-5%這樣) 對該server安裝iftop全天候監控發現對外輸出都變很大，對外部單一IP不少都破mb，也都是走http 與log比對跟一些特殊方法求證得知可以確認那些ip都是一般user，並非入侵或惡意下載，因為那天以前沒有裝iftop所以無法得知之前與之後的差異向組內的coder們確認過，那天並沒有程式改版或是說那個禮拜都沒有動程式！ httpd跟tomcat各conf也確認過都沒有變更也都嘗試重啟過，或做一些java優化也沒效而且很恐怖的是連半夜都持續在對外送出10-20Mb/s左右的流量到今天已經快兩個禮拜了，所有想到的方法都嘗試過了，就是找不到原因。那台server OracleLinux5.8x64 只有裝apache 2.0，tomcat 6.0，java jdk16045 跟一些內部區網(到file server)的backup crontab 同時跟db的傳輸交換也是走內部區網的另一張網卡有人碰過類似的狀況嗎...現在已經是熱鍋上的螞蟻了很害怕是hack或漏洞被入侵了 -- 山重重水重重無奈情已深種﹀終日凝眸盼白頭欲語卻還休 ˍ▂▃▄▅▄▂ˍ ● ˍ▂▄▇▆▄▁ ﹍﹀天悠悠地悠悠怎奈情深緣薄即使世界已盡頭▁▂▃▄▆▄▃▂▁ 我依然期待相逢 ▁▂▂▂▃▃▄▄▅▅▆▆▇▇████████████▇▇▅▅▃▃▂▁在夢中 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 220.130.141.226