
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
如果我们用了anaconda,这个是虚拟环境可以使用多个python版本,每个版本的依赖包都是隔离的。那么在安装使用pip的时候,需要先切换环境,默认是base。默认情况下pip使用的是国外的镜像,在下载的时候速度非常慢,所以需要将pip的官方软件源服务器换成国内的镜像服务器,从而提升Python软件包安装效率和成功率。在linux和macos,配置文件为:$HOME/.pip/pip.conf。

sourceTree 是一款git 管理工具,功能强大

XPATH(XML Path Language),它可以在 XML 和 HTML文档中对元素和属性进行查找和遍历。XPath 使用路径表达式来选取 XML 文档中的节点或节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常类似。使用chrome 插件选择标签时候,选中时,选中的标签会添加属性class=“xh-highlight”

这是基于 thinkphp 调用腾讯云的图形验证码的接口示例,前端是自己用 jquery 实现有点陋

在我们的程序执行过程中,IO 是我们最大的瓶颈。在示例1中只是两个协程任务,如果写任务有N个,那么这样子就不方便了,所以我们可以将多个任务放进任务列表,就像最上面的那个事件循环中的伪代码一样,可以将上面的示例1进行改造。asyncio.wait 方法,则返回的是一个元祖,有两个返回值,done是已经完成的任务,pending 表示还未完成的任务,这两个都是集合类型。但如果是 I/O 密集型的,协程

声明以下的例子,只是来作为测试学习,并不作为真正的爬虫我们在浏览一些网站时,有不少内容是通过 JavaScript动态渲染的,或是 AJAX 请求后端加载数据,这其中涉及到了不少加密参数如 token,sign,难以找规律,较为复杂。像前面的百度贴吧的一个评论的回复,百度翻译等,都是经过ajax动态 加载得到。为了解决这些问题,我们可以直接模拟浏览器运行,然后爬取数据,这样就可以实现在浏览器中看到

在 Mongodb5.0以后,像 insert(),update(),remove(),count()等重要方法被废弃,替换成其他的方法,具体看如下的修改记录。

OrbStack 是一个可以在 macOS 上快速运行 Docker 容器,和 Linux 虚拟机的工具,资源占用率低,高效,快速。macOS 上的Docker Desktop比较好资源,慢、重、资源消耗巨大。开起来就占用了好几个G的内存,OrbStack 的出现就是为了解决这个问题。OrbStack 主要有两个作用:替代 Docker Desktop、替代 Linux 虚拟机。目前0.17版本刚

OrbStack 是一个可以在 macOS 上快速运行 Docker 容器,和 Linux 虚拟机的工具,资源占用率低,高效,快速。macOS 上的Docker Desktop比较好资源,慢、重、资源消耗巨大。开起来就占用了好几个G的内存,OrbStack 的出现就是为了解决这个问题。OrbStack 主要有两个作用:替代 Docker Desktop、替代 Linux 虚拟机。目前0.17版本刚

前面学习了requests模块的基础学习后,接下来做一个实战应用,会涉及到requests的post 请求,请求头headers的设置,利用sesson保持 cookie状态等这是拿 github 模拟登录来对 requests模块的get, post方法,以及登录状态保持做的一个应用,主要是为了巩固知识点。它的登录机制还算是比较简单的,因为大部分值都是固定的可以获取到,像真正项目过程中,post
