logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

爬虫进阶篇:反爬虫突破和Scrapy框架

Cookie 是由网站生成并存储在浏览器中的一小段文本数据。它的作用是让网站在用户下一次访问时能够“记住”用户,提供定制化的用户体验。例如:登录网站时,用户的登录状态会通过 Cookie 保持;即便关闭浏览器,购物车中的商品仍然存在,Cookie 在后台默默起作用。方法一次只能吃“一口”(一个字典)。你的那段代码,虽然看起来只写了一次,但由于它在for循环里面,所以它实际上执行了20 多次。每次传

#爬虫#scrapy
爬虫进阶篇:动态爬取、多线程与自动化

本文摘要:本文系统介绍了网络爬虫技术中的静态网页与动态网页识别方法,以及多线程爬取和Selenium自动化控制浏览器的实践技巧。主要内容包括:1.静态网页与动态网页的识别方法:通过查看页面源代码和网络请求分析数据加载方式;2.动态网页爬取技术:使用API请求获取结构化数据,分析网络请求和响应格式;3.多线程爬虫实现:通过threading模块和线程池提高爬取效率,解决线程竞争问题;4.Seleni

文章图片
#爬虫#自动化#python
AI大模型应用开发工具与Jupyter Notebook课程笔记

│ AI大模型应用开发环境 ││ ├── Anaconda/Miniconda(环境管理) ││ ├── Jupyter Notebook(开发工具) ││ └── 必要Python库 │📝 支持代码、文本、图表混合编写▶️ 代码分块(Cell)执行,便于调试📊 直接在浏览器中显示图表和可视化结果💾 保存为.ipynb文件,可分享和复现│ Jupyter Notebook 界面 ││ 📁

#人工智能#jupyter
国产大模型 API 基础 —— 课程笔记

国产大模型API调用指南:DeepSeek与通义千问实操对比 摘要:本文介绍了国产大模型API的使用方法,重点对比了DeepSeek和阿里云通义千问的调用流程。主要内容包括: API基础概念:国产大模型API普遍兼容OpenAI接口规范,可使用相同SDK调用; DeepSeek调用:通过官网获取API Key,支持deepseek-chat和带思维链的推理模型; 通义千问调用:在阿里云灵积平台获取

#python
AI编程训练营vibe coding学习笔记

MVP(最小可用版本)不是半成品,也不是简陋版,而是用最少的功能验证一件事:这个产品是否真的能帮用户完成一个明确任务。从0到1,不是把产品做大,而是先把一条最短闭环跑通不要把MVP做成"想象中的大产品",先做一个小到能上线、小到能测试、小到能卖出去的版本真正的产品能力,是在一轮轮真实反馈里长出来的AI编程不是"随便让AI写代码",而是把需求、上下文、约束、验收标准和反馈循环组织清楚。

文章图片
#学习
AI大模型应用开发工具与Jupyter Notebook课程笔记

│ AI大模型应用开发环境 ││ ├── Anaconda/Miniconda(环境管理) ││ ├── Jupyter Notebook(开发工具) ││ └── 必要Python库 │📝 支持代码、文本、图表混合编写▶️ 代码分块(Cell)执行,便于调试📊 直接在浏览器中显示图表和可视化结果💾 保存为.ipynb文件,可分享和复现│ Jupyter Notebook 界面 ││ 📁

#人工智能#jupyter
国产大模型 API 基础 —— 课程笔记

国产大模型API调用指南:DeepSeek与通义千问实操对比 摘要:本文介绍了国产大模型API的使用方法,重点对比了DeepSeek和阿里云通义千问的调用流程。主要内容包括: API基础概念:国产大模型API普遍兼容OpenAI接口规范,可使用相同SDK调用; DeepSeek调用:通过官网获取API Key,支持deepseek-chat和带思维链的推理模型; 通义千问调用:在阿里云灵积平台获取

#python
AI大模型应用开发工具与Jupyter Notebook课程笔记

│ AI大模型应用开发环境 ││ ├── Anaconda/Miniconda(环境管理) ││ ├── Jupyter Notebook(开发工具) ││ └── 必要Python库 │📝 支持代码、文本、图表混合编写▶️ 代码分块(Cell)执行,便于调试📊 直接在浏览器中显示图表和可视化结果💾 保存为.ipynb文件,可分享和复现│ Jupyter Notebook 界面 ││ 📁

#人工智能#jupyter
【数据处理、AI大模型、爬虫】python基础部分

本文介绍了Python编程基础语法要点,包括:1. 基本输入输出:print函数用法、格式化字符串、变量赋值规则;2. 数据类型:字符串、整数、浮点数、布尔值的操作;3. 流程控制:条件判断、循环语句(for/while);4. 数据结构:列表、字典的定义和使用;5. 函数定义与调用:参数传递、返回值处理;6. 面向对象:类定义、继承和方法重写;7. 文件操作:读写文本文件的不同方法;8. 异常处

文章图片
#python#开发语言#爬虫
【数据处理、AI大模型、爬虫】python基础部分

本文介绍了Python编程基础语法要点,包括:1. 基本输入输出:print函数用法、格式化字符串、变量赋值规则;2. 数据类型:字符串、整数、浮点数、布尔值的操作;3. 流程控制:条件判断、循环语句(for/while);4. 数据结构:列表、字典的定义和使用;5. 函数定义与调用:参数传递、返回值处理;6. 面向对象:类定义、继承和方法重写;7. 文件操作:读写文本文件的不同方法;8. 异常处

文章图片
#python#开发语言#爬虫
到底了