logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

python爬虫实战:爬取豆瓣电影 Top250,生成可视化分析报告

本文介绍了基于Python的豆瓣电影Top250数据爬取与分析项目。通过使用requests和BeautifulSoup库爬取电影名称、评分、导演等关键信息,并利用pandas进行数据处理,matplotlib和seaborn进行可视化分析。研究发现:Top250电影评分集中在8.5-9.0分;2010年代电影数量最多,但1990年代平均分最高;剧情片占比超30%;美国电影数量最多,意大利电影评分

#python#爬虫#信息可视化 +1
微服务架构下的高可用设计实践:从理论到落地的全链路解决方案

📝《微服务高可用架构设计与实践》摘要:本文系统阐述了微服务架构下的高可用设计方法论。首先量化了99.9%-99.999%不同可用性级别对应的允许宕机时间,提出故障隔离、冗余设计、快速恢复和容量弹性四大黄金原则。重点解析了服务注册中心集群、熔断降级限流三位一体方案、数据多副本存储等核心技术,并介绍了全链路压测、混沌工程故障注入等工程实践。最后指出高可用建设应遵循基础保障→主动防护→智能运维→自愈四

文章图片
#架构#微服务#php
企业级容器安全体系:从镜像防护到运行时防御的全生命周期方案

摘要:随着Kubernetes成为容器编排主流标准,企业容器化部署已覆盖90%以上业务场景。但容器特性带来全新安全挑战,37%企业遭遇过容器安全事件,平均损失超200万元。本文系统分析容器全生命周期五大阶段(构建-存储-部署-运行-销毁)的核心风险点,提出覆盖镜像、仓库、集群、运行时的四层防御技术方案,包括镜像漏洞扫描、K8s RBAC权限控制、运行时异常监控等。建议企业分三阶段(基础-进阶-智能

文章图片
#安全
Python 爬虫抓包进阶:Charles+mitmproxy 中间人代理抓 HTTPS 数据包实战

HTTPS 采用 SSL/TLS 加密传输,常规 Fiddler、浏览器开发者工具只能查看前端请求,无法直接拿到 APP / 小程序加密接口原始报文;mitmproxy 实现中间人劫持 SSL 证书解密 HTTPS 流量,自动捕获请求头、加密参数、Cookie、接口密文,是 APP 逆向、小程序爬虫抓包核心工具。本章落地 mitmdump 脚本二次开发、证书部署、移动端 / 模拟器抓包、请求实时篡

#python#爬虫#https
Python 爬虫实战进阶:自定义请求头 UA 伪装浏览器访问网页

在 Python 爬虫开发过程中,服务器对爬虫程序的识别与拦截是开发者必须解决的核心问题之一。多数网站会通过检测 HTTP 请求头中的 User-Agent(简称 UA)字段,判断访问来源是否为合法浏览器,非浏览器 UA 会直接被拒绝访问或返回异常数据。因此,UA 伪装是爬虫入门到进阶的必备技能,也是实现稳定、合规数据爬取的基础保障。

#python#爬虫#开发语言
Python 爬虫项目:协程异步 aiohttp 高性能爬虫实战

传统多线程爬虫依托操作系统线程调度实现并发,虽然相比串行爬虫效率显著提升,但线程存在系统资源开销、线程数量上限、线程切换损耗等短板。当面对上千条链接批量采集、海量图片下载场景,多线程依旧存在性能天花板。协程(Coroutine)基于用户态实现并发,由程序自身调度任务,无需操作系统切换线程,内存占用极低、可同时维持数千并发连接,是当前 IO 密集型爬虫最优高性能方案。Python 生态中aiohtt

#python#爬虫#服务器
深入浅出 Python 列表:从基础操作到高级技巧

本文全面介绍了Python列表的使用技巧,从基础到进阶。主要内容包括:列表的定义与特性、增删改查操作、常用方法(排序、查找、列表推导式)、高级应用(多维列表、函数参数、性能考量)以及常见错误和最佳实践。文章强调列表是Python中最常用的可变数据结构之一,掌握其灵活使用能极大提升编程效率,同时提醒注意性能优化和类型一致性。最后鼓励读者通过实践应用这些技巧,充分发挥列表在数据处理中的强大功能。

文章图片
#spring boot#kafka#后端
第 3 天:初识 Python 交互环境 ——IDLE 与 PyCharm 的基础使用技巧

本文系统介绍了Python开发环境的使用方法,重点讲解了IDLE和PyCharm两款工具的核心功能与操作技巧。文章从Python交互模式的基本概念入手,详细展示了IDLE的交互窗口功能、编辑器使用方法和个性化设置,并通过编写计算器程序的实例演示完整开发流程。针对PyCharm,文章全面介绍了项目管理、代码编辑、智能补全、调试技巧等核心功能,并以学生成绩管理系统为例展示其开发优势。最后,文章对比了两

文章图片
#python#交互#pycharm +1
【Python 爬虫入门实战】:爬取豆瓣 Top250 电影数据并可视化分析

摘要:本文介绍了一个Python爬虫实战项目,用于爬取豆瓣电影Top250榜单数据并进行可视化分析。项目通过requests和BeautifulSoup获取数据,使用pandas处理和存储,最后通过matplotlib生成评分分布、类型统计和年份趋势等可视化图表。文章详细讲解了爬虫原理、代码实现步骤和数据分析方法,并提供了环境准备、反爬策略和项目优化建议。该项目适合Python初学者学习网络爬虫基

文章图片
#python#爬虫#开发语言
Python 爬虫项目实战:开源技术社区公开帖子标题采集

在互联网信息爆炸的时代,开源技术社区汇聚了海量优质的技术干货、项目分享与经验交流内容,精准采集社区公开帖子标题,能够帮助开发者快速梳理技术热点、筛选优质学习资源、构建技术资讯数据库,是入门 Python 爬虫最经典、最实用的实战场景之一。本文将以开源技术社区公开帖子标题采集为核心实战项目,从零开始搭建爬虫程序,完整覆盖环境配置、网页分析、请求发送、数据解析、数据存储、异常处理、反爬规避等全流程知识

#python#爬虫#开源
    共 103 条
  • 1
  • 2
  • 3
  • 11
  • 请选择