logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Scrapy基于scrapy_redis实现分布式爬虫部署

准备工作1.安装scrapy_redis包,打开cmd工具,执行命令pip install scrapy_redis2.准备好一个没有BUG,没有报错的爬虫项目3.准备好redis主服务器还有跟程序相关的mysql数据库前提mysql数据库要打开允许远程连接,因为mysql安装后root用户默认只允许本地连接,详情请看此文章部署过程1.修改爬虫项目的settings文件在下载的scrapy_red

#redis
Pandas扩展包的基本上使用

1.Pandas的介绍        Pandas 是基于 NumPy 的一个非常好用的库,正如名字一样,人见人爱。之所以如此,就在于不论是读取、处理数据,用它都非常简单。        Pandas 有两种自己独有的基本数据结构。读者应该注意的是,它固然有着两种数据结构,因为它依然是 Python 的一个库,所以,Python 中有的数据类型在这里依然适用,也同样还可以使用类自己定义数据类型。只

#pandas
Python在Windows系统下安装虚拟环境

准备工作:1.下载需要的python版本附上python版本链接:python2.7: https://pan.baidu.com/s/1IJBxFnEWBng0IwGIsS77gg 密码:dmmjpython3.6: https://pan.baidu.com/s/14KEiOhkyPbqd7X9QCHISrQ 密码:enxl2.分别安装各个版本的环境,如果我全部安装在D盘3.添加其中一个版本(

#python#windows
VMware安装Ubuntu16.04.3 系统

1.准备工作安装好的VMware虚拟机【下载地址】Ubuntu16.04.3系统镜像【下载地址】2.建立虚拟机这里新建虚拟机,没有直接安装ubuntu系统镜像,而是先建立了空白虚拟机,就和买了一台电脑,但是没有安装操作系统一个道理。打开VMware选择文件选择新建虚拟机新手推荐使用典型安装,选择下一步选择稍后安装操作系统选择操作系统之后,再选择...

Python基于Elasticsearch实现搜索引擎

        ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful Web接口.Elasticsearch是用Java开发的,并作为Apache许可条款的开放源码发布,是当前流行的企业级搜索引擎设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。1.准备...

#elasticsearch
Redis实现windows系统下主从复制

准备工作1.至少需要两台电脑,没有的话使用虚拟机或者云服务器(PS:我这里使用一台云服务器)2.redis安装包    官方地址:https://redis.io/(需要梯子应该)    百度网盘:https://pan.baidu.com/s/1dwuW_A7Ln0NnrbLfQ6T1Bw 密码:t9293.redis可视化工具    百度网盘:https://pan.baidu.com/s/1

到底了