简介Scrapyd作为守护进程，运行scrapy爬虫的服务程序，它支持以http/json命令方式发布、删除、启动、停止爬虫程序。scrapyd可以管理多个project，并且每个project可以有多个版本，但是只有最新版本被用来运行spider。Scrapyd-client是一个专门用来发布scrapy爬虫的工具，虽然也具有部分管理功能，但是不如scrapyd齐全，因此建议只用来发布。注意：

简介对于信息类网站，总是会被各种不同目的的爬虫、采集器等不断的抓取或恶意访问，这些会让网站不堪重负，导致页面无法正常访问，极大的影响用户体验。针对此种情况，我们就需要对所有的访问来进行访问控制。此时Web应用防火墙（Web Application Firewall，简称 WAF）就可以助我们一臂之力，它可以为网站提供一站式安全防护。WAF可以有效识别Web业务流量的恶意特征，在对流量进行清洗和过滤

codis是豌豆荚开源的分布式服务器，目前处于稳定阶段。原文地址：https://github.com/wandoulabs/codis/blob/master/doc/tutorial_zh.mdCodis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可

背景FastNetMon+Influxdb+Grafana+GoBGP可搭建一套基于 NetFLOW / sFLOW 的流量统计报告系统，其中：FastNetMon 是一个基于多种抓包引擎（NetFlow, IPFIX, sFLOW, netmap, PF_RING, PCAP）的DoS/DDoS攻击高效分析工具，可以探测和分析网络中的异常流量情况，同时可以通过外部脚本通知或阻断攻击；Influx

简介Prometheus+Grafana作为监控K8S的解决方案，大都是在K8S集群内部部署，这样可以直接调用集群内的cert及各种监控url，但是增加了集群的资源开销。因此在资源有限的情况下，我更倾向于K8S集群外独立部署Prometheus+Grafana。虽然Prometheus+Grafana独立部署，但是收集不同维度监控指标的exporter需要部署在集群内，主要有以下三种：维度工具监控

需求k8s集群中的node节点要升级内存，以应对服务迁入、pod扩缩容导致的资源短缺，需要对node节点进行停机维护，那么此时node节点上的pod应该如何处理呢？下面我们来看一下。默认迁移当node节点关机后，k8s集群并没有立刻发生任何自动迁移动作，如果该node节点上的副本数为1，则会出现服务中断的情况。其实事实并非如此，k8s在等待5分钟后，会自动将停机node节点上的pod自动迁移到其他

Percona Monitoring and Management是一个用于管理和监视MySQL、MongoDB、PostgreSQL和MariaDB性能的开源平台，我们可以在自己的环境中运行该插件，以实现最大的安全性和可靠性。它为数据库服务器提供了基于时间的全面分析，以确保您的数据尽可能高效地工作。PMM可以说是同类最佳的开源数据库监视解决方案。它可以帮助您降低关键业务数据库环境的复杂性，优化性

在添加magent代理后，做memcached测试的发现，如果并发很高，数据库的连接数居高不下，按理讲随着将key存入缓存中，连接数应该慢慢降下来才对，但是当并发低的时候却很正常。由于在启动memcached时，加入了-vvv参数打印内部状态信息，查看日志：29: going from conn_parse_cmd to conn_write29: going from conn_wri

在添加magent代理后，做memcached测试的发现，如果并发很高，数据库的连接数居高不下，按理讲随着将key存入缓存中，连接数应该慢慢降下来才对，但是当并发低的时候却很正常。由于在启动memcached时，加入了-vvv参数打印内部状态信息，查看日志：29: going from conn_parse_cmd to conn_write29: going from conn_wri

memcached虽然能够通过分布式缓存，实现其中memcached宕掉不会丢失全部缓存数据，但部分数据还是难逃一劫。我们可以利用magent代理memcached实现主从备份来保证缓存数据完好无损，而且magent还可以作为从继续使用，但大体工作原理如下：1.magent每次写数据都会写到主memcached和从memcached上，并且向主从memcached写的算法一样；2.当主