全部学习汇总: https://github.com/GreyZhang/g_spider

    长时间的显示器使用感觉眼睛十分不舒服,有想法看看把网页处理成离线的文件这样在一些墨水屏的终端中看应该会好一些。自然,简单的复制粘贴以及截图等似乎都可以实现这样的目标,但是这个尝试毕竟不算优雅。更加有点极客味儿的或许是使用网络爬虫,这个也一直是我之前想了解没了解的,正好这次了解一下。

    这部分信息是来自于pyspider的官方网站的信息,做了一个简答的截取。从上面的信息看,基本的处理就是python加上一系列的数据库。但是对于消息的处理似乎有一些其他的组件,之前没有接触过这方面的信息学习。

    接下来尝试在我的WSL中进行安装。

    安装碰壁,pip工具缺失。这台电脑的使用时间有点短,内容还不是很齐备。WSL使用的是ubuntu,pip安装也简单:sudo apt-get install pip

    之后,再次尝试pyspider的安装:

    安装其实还是很简单的,在开发以及服务环境的搭建方便linux的确是有便捷优势。

    这次遇到了新的问题,没有一个明确的思路,感觉是有一个程序缺失。网络上查了一下,大部分说是curl版本不同,主要是版本过低导致的。也有说是缺少了curl想的lib导致的。在我的机器上尝试抄作业失败后,查看了现在可以安装的软件包中有一个python3绑定的curl,安装后这个问题解决。

     sudo apt-get install python3-pycurl

    之后的安装基本成功,但是又遇到了2个版本不兼容的软件。接下来升级相应的软件版本:

        sudo pip install Jinja2==3.0

        sudo pip install click==8.0

    这两个软件包的安装有一个先后的关系。升级完成后,pyspider重新安装提示已经成功。

    这次只是做一个简单的安装尝试,后续类似的折腾感觉都可以转移到树莓派上去。这样,无人值守随时待命的使用体验可能会更好一些。

Logo

瓜分20万奖金 获得内推名额 丰厚实物奖励 易参与易上手

更多推荐