logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

java的基础算法题

这里将会写几个学习java中遇到的题或在力扣上的经典算法题, 也算是记录java学习的历程了吧。

文章图片
#java
pycharm: 将输出结果自动换行

有时在pycharm中输出打印结果时,输出的内容太长,看起来不方便,在pycharm有几种方式可以解决这个问题:不自动换行之前:方法一:对当前文件输出进行换行操作方法二:编辑时自动换行,对所有文件进行操作File -> Setting -> Editor -> General -> Soft-wrap files...

java的基础算法题

这里将会写几个学习java中遇到的题或在力扣上的经典算法题, 也算是记录java学习的历程了吧。

文章图片
#java
分布式爬虫的房天下实战(终章)

这里我用自己的虚拟机配合这自己的windows进行分布式爬虫,先开启redis服务器,进入安装redis的环境目录,输入redis-server.exe redis.windows.conf即可开启。2.利用xshell链接到虚拟机,接下来就是步骤。编写一个scrapy_redis分布式爬虫:要将一个scrapy项目编程一个scrapy_redis项目只需要修改以下三点就可以了:1. ...

计算机中的数据存储规则

计算机存储规则

文章图片
【反爬虫】Scrapy设置随机请求头

随机User-Agent的构建在这里给大家推荐一个包含全球所有的user-agent的网站:网站地址效果图如下:这里我随机选了几个关于谷歌和火狐浏览器中的UA,然后再scrapy框架中的middlewares.py中新增加一个类,在里面构建了一个user-agent的列表,效果如下:```pythonclass UserAgentDownloadMiddleware(object...

#scrapy
python保存文件的几种方式

当我们获取到一些数据时,例如使用爬虫将网上的数据抓取下来时,应该怎么把数据保存为不同格式的文件呢?下面会分别介绍用python保存为 txt、csv、excel甚至保存到mongodb数据库中文件的方法。保存为txt文件首先我们模拟数据是使用爬虫抓取下来的, 抓取的下来的数据大致就是这样的下面使用代码保存为txt文件import requestsfrom lxml import etr...

#python#mongodb
到底了