一、前言前几天有个粉丝找我获取基金信息，这里拿出来分享一下，感兴趣的小伙伴们，也可以积极尝试。二、数据获取这里我们的目标网站是某基金官网，需要抓取的数据如下图所示。可以看到上图中基金代码那一列，有不同的数字，随机点击一个，可以进入到基金详情页，链接也非常有规律，以基金代码作为标志的。其实这个网站倒是不难，数据什么的，都没有加密，网页上的信息，在源码中都可以直接看到。这样就降低了抓取难度了。通过浏览

2023 年，向量数据库的风在 AI 圈吹得一浪高过一浪，好几个初创公司拿到了巨额投资。媒体挟向量数据库狂轰滥炸，一种技术同时在技术圈和投资圈如此受青睐的情况实属罕见。传统的数据库技术疲于应对向量数据在高维度、高精度和大规模场景下带来的巨大挑战，而 ChatGPT 等基于生成式 AI 模型处理的正是此类数据。向量数据库“AI 大基建的”的位置基本做实，向量数据库的先行者们也已经真刀真枪地练起来，但

大家好，在我们使用 scrapy 进行网站数据采集的时，会遇到多个 spider 同时运行或者单个 spider 运行的情况，一般采取的是 shell 命令去运行，在分析 scrapy 的源码实现时，发现可以定制化启动，本篇文章我将分享启动代码和依靠启动代码分析部分 scrapy 的启动流程，希望能给读者朋友们带来帮助。特别声明：本公众号文章只作为学术研究，不作为其他不法用途；如有侵权请联系作者删

这是「进击的Coder」的第 866篇技术分享作者：星安果来源：AirPython“ 阅读本文大概需要 7 分钟。 ”一些复杂的网站针对参数是层层加密，如果选择硬刚，去扣代码、补环境，耗时耗力的同时，不一定能获取完整的加密逻辑在 JS 逆向中，我们可以通过 RPC 通信，直接调用浏览器的方法生成加密参数，这样可以省去扣代码的时间本篇文章将介绍 Sekiro RPC进行 JS 逆向的完整流程目标..

大家好，我是TheWeiJun。很高兴又和大家见面了，国庆假期马上就要结束了，在国庆假期里小编看了下colly框架，故这篇文章中将提到colly的使用及分析；欢迎各位读者多多阅读与交流！特别声明：本公众号文章只作为学术研究，不作为其它不法用途；如有侵权请联系作者删除。这是「进击的Coder」的第728篇技术分享作者：TheWeiJun来源：逆向与爬虫的故事目录一、colly框架简介...

大家好！先说个冷知识，现在业界对 Python 爬虫技术服务的需求量正在暴涨，当下早已供不应求，且有愈演愈烈的趋势。极不平衡的供需关系，使爬虫服务的价格变得极高。几乎所有的 Python 圈内人，都在利用爬虫技术接私活赚钱。近期爬虫私活接单记录，大家随意感受一下????爬虫之所以会大受欢迎，是因为在这个万物互联的时代，人们在网络世界中的行为产生了大量数据，这些数据有着极大的商业价值！而爬虫作为最好

这是「进击的Coder」的第 652篇技术分享作者：Python 进阶者来源：Python 爬虫与数据挖掘“ 阅读本文大概需要13 分钟。 ”PS：本教程只用于学习探讨，不允许任何人使用技术进行违法操作，阅读教程即表示同意为什么要学习加密算法在搞逆向进行抓包的时候，可以经常发现一些莫名其妙的字符串，可能是81dc9bdb52d04dc20036dbd8313ed055...

这是「进击的Coder」的第 592篇技术分享作者：崔庆才“注：本文来自《Python3网络爬虫开发实战（第二版）》一书。”现在越来越多的网站也已经应用了这些技术对其数据接口进行了保护，...

这是「进击的Coder」的第 523篇技术分享作者：崔庆才Playwright 是微软在 2020 年初开源的新一代自动化测试工具，它的功能类似于 Selenium、Pyppeteer ...

这是「进击的Coder」的第 507篇技术分享作者：K小哥来源：K哥爬虫“ 阅读本文大概需要 7 分钟。 ”【01x00】 简介国密即国家密码局认定的国产加密算法，爬虫工程师在做 JS ...