情况描述
今天上班,甲方爸爸在微信里叫“设备直播无法播放”,登录到zabbix发现,播放模块的服务器的zabbix-agent
已经脱落,而且这个服务器可以ping通但是不能ssh通。
让机房的人去重启了一下服务器,登录之后发现里面有一个很奇怪的进程watchbog
:
这个进程不应该出现的,同时查看crontab -l
的内容也已经变了:
我登录了一下https://pastebin.com
,发现这个是一个提供类似便签记事的网站,黑客应该就是现在这个网站里输入了远程的脚本,然后让这台肉鸡去curl这个网站的网页达到下载脚本然后启动了watchbog进程的目的。
于是我就find / -name \* -type f -print | xargs grep "pastebin"
,看一下系统里都有哪些文件里含有pastebin
这个关键词。于是乎先发现/usr/bin
里有几个不应该存在的命令:
然后顺藤的发现几乎所有的crontab文件都已经被污染了:
把以上所有被污染的文件全部删光内容,将watchbog进程彻底杀死。观察了一会,貌似没有复现问题。
后续解决方案
- 在zabbix监控上添加对watchbog进程的监控,如果出现直接通知负责人;
- 将ssh的22端口更改成33664端口,规定只有堡垒机可以登录;
- 与开发商议,确认此服务器的外网权限可以撤掉,于是撤掉外网IP;
PS. http://www.4usky.com/ https://www.shutterstock.com/zh/ 这俩是很不错的壁纸网站~