热点板块页面：https://xuangubao.cn/dingpan/redian一、首先分析板块名对应的标签二、根据板块名在excel文件中创建对应的sheet，excel的操作这儿就不细说了，主要使用xlwt、xlrd和openpyxl三个库。因为每天的热点板块有可能相同，所以相同的板块就不用再新建sheet，只需要添加数据即可。三、根据板块代码，读取板块的龙头信息。板块龙头...

从页面读取数据每次都需要定位HTML标签，那么有没有更简洁的办法呢？当然有，那就是找到页面数据的来源，分析哪些数据是我们想要的，直接通过WebAPI来获得数据。我使用的是360极速浏览器，按F12后，再点“NetWork”，就可以看到页面加载的相关数据来源。通过不断的更改日期，对比发现，上面两张图中红框部分就是页面数据产生变化的来源。逐个点击红框中的链接，观察右侧返回的数据，判...

今天在测试下载本月（5月）数据时发现，只有6号、7号、9号和15号有数据，其他日期的数据都是完全相同的。如何解决这个问题？通过观察发现，没有数据或数据读取很慢时，页面上会出现这样的进度条：所以修改代码，加了数据验证判断，进度条这个DIV出现时，就每隔1秒再读一次，10秒后如果还没有得到数据则跳过。# ——————判断是否加载完毕——————def is_l...

在淘股吧发现有位大牛每天都有数据整理，地址：湖南人的博客所以直接下载他的博客文章即可。分析发现，他复盘的数据都是使用的图片，所以只需要把博客文章里面的图片下载到本地。第一步：分析首页数据：通过blogs = self.browser.find_elements_by_css_selector(".article_tittle")，可以得到首页的文章列表，点击超链接跳转到内容页...

修改后的结构如下图所示：common目录下是通用文件，test目录下是功能文件，test目录下的agudata用于保存A股每月的数据一、xgb_data.py，用于保存xgb网站需要的个人信息，如登录的账号密码，第二次使用的COOKIE信息等二、mysql_oper.py 对mysql数据库的操作，连接数据库，查询和增删改三、datetime_oper.py 将指...

使用Python操作CSV文件非常方便，三行代码搞定。一、向文件中追加数据import csv# 将数据写入文件with open("d:\\data.csv", "a", newline="") as cf:w = csv.writer(cf)w.writerow([1001, "北京"])w.writerow([1002, "上海"])w...

现在很多页面上的数据都是动态加载，所以使用scrapy来爬取页面，只能得到页面HTML的布局代码，而不能获得数据。而且对于新手，上路就使用scrapy爬动态数据比较困难，所以使用selenium来打开浏览器，再加载页面获得数据。需求：统计每天大盘收盘后的汇总数据。找到了一个网站https://xuangubao.cn/dingpan，每天收盘后的数据都在该页面上。下...

通义灵码是一款由阿里云出品的智能编码辅助工具。它基于通义大模型，可以提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码注释生成、代码解释、研发智能问答、异常报错排查等能力。它支持Java、Python、Go、C/C++、JavaScript、TypeScript、PHP、Ruby、Rust、Scala等主流编程语言。对于初次接触编程的同学来说，通义灵码可以帮助你在编写代码的过程中实时提

通义灵码是一款由阿里云出品的智能编码辅助工具。它基于通义大模型，可以提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码注释生成、代码解释、研发智能问答、异常报错排查等能力。它支持Java、Python、Go、C/C++、JavaScript、TypeScript、PHP、Ruby、Rust、Scala等主流编程语言。对于初次接触编程的同学来说，通义灵码可以帮助你在编写代码的过程中实时提