我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜蜘蛛（YisouSpider）（最新补充：宜搜蜘蛛已被UC神马搜索收购！所以本文已去掉宜搜蜘蛛的禁封！==>相关文章)。最近发现nginx日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法

防火墙列表firewall-cmd --list-all添加防火墙策略firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.10.5" port protocol="tcp" port="10050" accept'删除防火墙策略firewall-cmd --pe

rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1518) [generator=3.0.9]

现象：zabbix邮件报警，故障PROBLEM,服务 Free disk space isless than 20% on volume :xxx.xxx.xxx.xxx发生:/data故障!　　分析过程及解决方案：通常出现这种问题都应该磁盘剩余空间过低，使用df –lh检查，发现磁盘空间已使用82%。再进一步通过du –sh对可以的目录进行检查，发现是mysql的binlog占用空间过大。清

yum install net-tools

Linux IDE RedHat 防火墙活动 .cat tail -f日 志 文 件 说    明 /var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一 /var/log/secure 与安全相关的日志信息 /var/log/maillog 与邮件相关的日志信息 /var/log/cron 与定时任务相关的日志

1、总结系统限制有：/proc/sys/kernel/pid_max #查系统支持的最大线程数，一般会很大，相当于理论值/proc/sys/kernel/thread-maxmax_user_process（ulimit -u） #系统限制某用户下最多可以运行多少进程或线程/proc/sys/vm/max_map_count硬件内存大小2、Java虚拟机本身限制：-Xm