logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Python爬虫实战:高效稳定的文件下载模块设计与实现

本文介绍了Python中三种文件下载方法,并展示了如何构建一个生产级文件下载模块。主要内容包括: 三种基础下载方法: urllib.request.urlretrieve:最简单的一行代码实现 urllib.request.urlopen+分块读取:灵活控制下载过程 requests库:工业级首选方案,API简洁优雅 生产级下载模块特性: 自动创建目录和文件存在检查 伪装User-Agent绕过反

#python#爬虫#开发语言
python积累--for循环--自增for循环--无限循环--控制步长

本文深入解析Python中for循环的进阶用法,包括自增循环(通过range()的步长参数)、无限循环(结合while)和动态步长控制。重点展示了分页处理、生产者-消费者模式等实际应用场景,并提供了反向遍历、动态调整步长等技巧。文章还对比了不同循环类型的适用场景,强调异常处理和性能优化的重要性,如使用生成器节省内存。这些技巧能显著提升循环结构的灵活性和效率,适用于数据处理、网络爬虫等重复任务场景。

#python#开发语言
python积累--多线程的使用实例

本文介绍了Python多线程编程的核心概念与使用方法。首先对比了Python2的thread模块和Python3的_thread模块的基本用法,重点推荐使用更高级的threading模块。通过继承threading.Thread类并重写run()方法可以更灵活地创建线程,join()方法可确保线程同步。文章还给出了一个实战案例,展示如何使用多线程加速爬虫数据处理,通过启动多个线程并行处理不同数据段

#python#开发语言#linux
python项目实现多环境配置

本文介绍了一种Python项目中基于env目录结构和pyhocon库的多环境配置管理方案。通过规范化目录结构,将不同环境(dev/sit/online等)的配置分离存放,利用环境变量X_ENV实现环境切换。核心实现settings.py自动加载对应环境的配置文件,支持config、log等模块化配置。方案优势包括配置与代码分离、环境隔离、灵活切换等特点,同时强调了配置文件必须使用双引号的注意事项。

文章图片
#python#开发语言
Python时间处理-深入理解 datetime 模块

本文系统介绍了Python中datetime模块的核心功能与进阶用法。主要内容包括:1) 模块核心组件(date/time/datetime/timedelta等类);2) 基础时间操作(获取/创建时间);3) 时间运算(timedelta的加减应用);4) 时间格式化与解析(strftime/strptime);5) 重点难点时区处理(朴素时间与感知时间的区别,timezone与pytz的使用)

#python#javascript#服务器
python实现http post四种请求体详解

本文介绍了HTTP POST请求中四种常见的数据编码格式及其Python实现方法。内容涵盖表单编码(x-www-form-urlencoded)、文件上传(multipart/form-data)、JSON数据(application/json)和XML数据(text/xml),对比了传统urllib与现代requests库的使用差异。重点展示了requests库简化处理不同POST格式的优势,并

#python#http#qt
Kubernetes---gitlab的ci/cd发布基于k8s的项目示例参考

本文展示了一个完整的Python项目部署方案,包含项目结构、Docker容器化和Kubernetes编排配置。项目采用标准Python应用结构,包含CI/CD配置、Docker多阶段构建(优化镜像大小并提升安全性)以及完整的Kubernetes部署文件(Deployment、Service、Ingress)。部署配置涵盖了滚动更新策略、资源限制、健康检查、安全上下文、Pod反亲和性等生产级特性,并

#kubernetes#gitlab#ci/cd
Kubernetes--k8s中部署redis数据库服务

本文介绍了在Kubernetes中部署Redis的多种方案。针对不同场景需求,提供了单实例、主从复制、Redis Cluster集群和企业级Operator四种核心部署方式。详细说明了每种方案的实现方法,包括原生YAML配置、Helm Chart快速部署以及企业级Operator管理。同时给出了Spring Boot应用连接不同Redis部署模式的配置示例,并针对开发测试、常规生产、大数据量等场景

#redis#kubernetes
Kubernetes--在k8s中安装和使用kafka

Apache Kafka 作为当今最流行的分布式流处理平台之一,已被广泛应用于实时数据管道、事件驱动架构和流分析等场景。随着云原生技术的普及,在 Kubernetes 上运行 Kafka 已成为主流选择。本文将详细介绍在 2026 年 Kubernetes 环境中部署和管理 Kafka 集群的方案。

#kubernetes#kafka#容器
Spring Boot集成Kafka完整版

spring boot集成kafka的应用方式。

#spring boot#kafka#linq
    共 109 条
  • 1
  • 2
  • 3
  • 11
  • 请选择