logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

网站防御爬虫攻击的几种方式

最近研究一个小软件,但遇到对方服务器有反爬机制,有点尴尬。那就只好先了解看看网站防御爬虫都有哪些方式,好知己知彼反爬机制主要有两大策略:01—控制IP访问频率最常见的基本都会使用代理IP来进行访问,但是对于一般人来说,几万ip差不多是极限了,所以一个ip还是可能多次请求。意味着爬虫需要付出更多的成本投入在IP资源上,IP越多,爬取的成本越高,自然容易劝退一部分人。02—控制爬取策略 ...

#爬虫#搜索引擎
【Python】青龙备份环境变量及定时任务

还是说在前面,这个受益的是低版本的青龙面板,例如我自己在用的v2.10.13。其他高版本自带备份功能,至于多少版本号开始有,我也不清楚了。理论上这些变量、定时任务及其他一些文件在本地目录里都找得到的,有root那随便整。如果有人也用的v2.10.13,大概率是免Root的恢复包,那这些目录是你可望不可即的喽。之前有搜索过青龙备份方法,没找到啥有用的,可能大家都是高版本没这需求。偶然机会用到了CSD

【Python】夸克网盘通用一键转存工具

结合上一篇,用python做了个转存工具。今天又更新了700+部,自己要弄收费群、卖资源就看个人操作了。喜欢看短剧的有福了,近2000部热播短剧全集分享界面朴实无华,转存一步到位。使用方法:1.打开夸克网盘网页版https://pan.quark.cn/s/1ad7f586743a2.按F12,切换到网络选项卡,刷新页面,随便找个链接点进去3.找到cookies,复制(很长的一段),只复制ck的值

Fiddler抓包数据转Python代码

抓包完写代码的时候经常有很多协议头或提交信息需要处理,很烦人。所以写了这个小工具,纯绿色版。

文章图片
#fiddler#前端#测试工具 +1
【Python】获取期货实时数据

上个月开始玩的期货,虽然手机和电脑都有客户端可以查看,但上班时间总有那么点不方便,红红绿绿的忽闪忽闪的。对于韭菜投机来说,只需要看个数字就够了。所以呢,整出了大概图片这样一个东西。一切以简单为主,能省则省,告别红红绿绿。可同时获取多品种的实时数据,至少我觉得数据还是比较实时的,误差不会超过2秒。2秒钟对于韭菜来说也不影响啥,客户端的网络延时都得5秒起步。至于要多品种,只需要获取到品种对于的id(口

【更新】京东获取CK,一键提交上车

六一儿童节快乐。不了解这东西的朋友,请先查看往期文章《京东、美团、饿了么获取cookies》上次根据大佬们的反馈在推送增加了备注,这次又有大佬们对app提了点建议:本次更新内容:一键提交;为了让大家不用切换到网页去提交,让大家越来越懒,因此增加了这个功能。本来我想写个接口或者在本地写入个文件去判断你们各种可能的骚操作。思来想去,还是干干净净的吧,不给你们手机增加垃圾文件了,所以就我只管你们能一键提

【分享】国家标准下载插件及网站

以前我写过一个下载国家标准的小工具,受到很多人的好评。后面小工具失效了,就收集了一些标准网站方便大家查找资料,这次文后会继续分享一大波网站。主要最近不断有粉丝在后台回复关于标准下载的需求,但目前已没有比较简便的方式可以快速下载了。为了满足这部分需求,这里分享一个油猴的插件:Wenku Doc Downloader。它是目前比较靠谱的下载工具了,它的工作原理:对文档截图,合并为纯图片PDF。预览多少

没有青龙面板跑脚本咋办?零成本搞定它~

之前的文章很多都是关于青龙面板的,但还是有同学没有青龙面板又想跑脚本怎么办?今天就来个白嫖的——豆包MarsCode跑脚本没问题,跑加密本更合适了,我对加密本真的是情有独钟啊,啥都拿加密本开刀哈哈。01—准备工作1. 注册豆包MarsCode并登录,注册地址:https://www.marscode.cn/2. 创建并导入项目(运行python脚本,创建python项目;运行JavaScript脚

青龙面板内网穿透——FRP

W最近用着之前的的免费内网穿透有点受气,不时连不上。于是研究了一番frp内网穿透,效果还不错,速度很快。因为我有个Windows服务器,所以本文写的是Windows+安卓的方式,其他方式也可参考。01—准备工具Windows服务器(Linux也行,有些步骤变通下)安卓手机ZeroTermux02—frp服务端及配置下面地址下载自己服务器对应版本frp服务端https://gitcode....

Python出现No module named “Crypto” 解决方案

之前看过这问题,没引起注意,今天自己用到了,翻车了。整活了半天,记录一下。有时候需要用到Crypto库,但当用pip install Crypto安装后仍提示:No module named ‘Crypto’。在PyCharm安装pycryptodome库也依旧不行(pycryptodome是crypto的延伸版本,用法和crypto是一模一样的,可以完全替代crypto)。尝试卸载再安装:pip

文章图片
#python#开发语言#pycharm +1
    共 14 条
  • 1
  • 2
  • 请选择