logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

java 开发用到网络爬虫,抓取汽车之家网站全部数据经历

经历了两个礼拜的折腾,某某知名网站的数据终于到手了。犯罪没被发现这种心情感觉很爽。说一下我的犯罪经历,之前公司总是抓取某某网站数据,可能是被发现了。某某网站改变了策略。通过各种技术终止了我们的行为,导致我们的抓取功能报错,逐步跟踪,发现我们之前是在人家的网站,通过Webharvest网络爬虫拿到页面的一个javascript 的变量 var config 的值 (变量值中包含想要的数据)配置如..

#爬虫#java#javascript
为什么不应该使用ZooKeeper做服务发现

本文作者通过ZooKeeper与Eureka作为Service发现服务(注:WebServices 体系中的UDDI就是个发现服务)的优劣对比,分享了Knewton在云计算平台部署服务的经验。本文虽然略显偏激,但是看得出Knewton在云平台方 面是非常有经验的,这篇文章从实践角度出发分别从云平台特点、CAP原理以及运维三个方面对比了ZooKeeper与Eureka两个系统作为发布服务的 优...

#大数据#运维#java
到底了