logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Docker 部署Scrapy

假设我们要在10台Ubuntu 部署爬虫如何搞之?用传统的方法会吐血的,除非你记录下来每个步骤,然后步骤之间的次序还完全一样,这样才行。但是这样还是累啊,个别软件下载又需要时间。所以Docker出现了。Docker把系统,各种需要的应用,还有设置编译成一个image,然后 run一下就可以了。跟虚拟机的区别是不需要而外的物理支持,共用的。1. 部署步骤1.1 上传本地scrapy爬虫代码除了set

Docker ubuntu 安装 chrome chromedriver

RUN apt-get -y install xvfb gtk2-engines-pixbufRUN apt-get -y install xfonts-cyrillic xfonts-100dpi xfonts-75dpi xfonts-base xfonts-scalableRUN apt-get -y install imagemagick x11-appsRUN Xvfb -ac :...

用Scrapy Splash 来抓取渲染后的html页面

很多复杂的网页都是用javascript来对网页进行填充,这样用request的body和在浏览器中看到的不一样啊。这个时候splash就可以使用了,它是提供一个轻量级的api,传给它网址,它返回网页内容。这样就OK了1.安装splash要先安装dockerdocker pull registry.docker-cn.com/scrapinghub/splash#从docker镜像中拉取sp...

qt5 解析Json文件

/* test.json */{"appDesc": {"description": "SomeDescription","message": "SomeMessage"},"appName": {"description": "Home","message": "Welcome","imp":["aw

Android Jni 例子,ndk

1.Android JNI介绍Jni(Java Native Interface)是sun提供的java与系统中的原生方法交互的技术(在windows\linux系统中,实现java与native method互调)。目前只能由c/c++实现。Android 底层是LInux,C,C++。有时候我们APK应用里也会调用C,C++的方法,虽然这种方式用的不多,我们还是要看下如何实现的。估

cocos2d 制作fnt 批量缩放png ios 批量制作图标 gamedevkit 支持windows, mac

0.制作了一个简单软件这个软件有4个功能:批量缩放png图片根据美术给的数字小图等,制作fnt字体文件供cocos2d使用批量制作ios 图标和android 图标(只需传入一张图片)截图制作,传入5张IPhone6+的截图,生成IPhone5,IPhone6的截图(这个功能没什么用,不过当你个人开发制作20+个游戏的时候,就能省点力)下面是具体功能介绍。。。当然这个软件暂定为收费。1. coco

到底了