logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从零到英雄:使用 Playwright 实现高效网页数据爬取与自动化测试

Playwright 的出现,让动态网页爬取和自动化测试变得前所未有的简单。无论是数据采集、UI 测试还是 RPA(机器人流程自动化),它都能胜任。如果你还在为复杂的反爬机制或浏览器兼容性烦恼,不妨试试这个工具,相信它会成为你技术栈中的“秘密武器”!

文章图片
#爬虫#python
分布式链路追踪实战:SkyWalking vs Zipkin 选型、部署与核心场景解析

本文深入探讨分布式链路追踪工具SkyWalking和Zipkin在微服务架构中的应用。通过对比两者在数据采集、存储查询和生态扩展方面的差异,指出SkyWalking适合复杂调用链分析,Zipkin则更轻量易用。文章提供了具体部署方案和典型场景解决方案,如异步任务追踪、跨数据中心追踪等。建议根据技术栈和运维需求选择工具,强调链路追踪对提升微服务可观测性的重要性。最后提出互动话题,邀请读者分享实践经验

文章图片
#分布式#skywalking
爬虫与反爬虫攻防战:技术解析与实战指南

在数据驱动的时代,爬虫与反爬虫技术如同“猫鼠游戏”,不断迭代升级。本文将从技术原理、攻防策略、实战案例三个维度,深入解析爬虫与反爬虫的核心技术,并提供可落地的解决方案。爬虫的本质是模拟人类浏览行为,自动化获取网页数据。:技术无善恶,但用途有边界。合理使用爬虫技术,方能行稳致远。

文章图片
#爬虫
手把手教你用Python写一个高效图片爬虫(附代码+反爬策略)

本文分享了一个Python图片爬虫项目,适合新手学习网络爬虫技术。项目使用Selenium+Requests组合实现动态页面渲染和多线程下载,包含反反爬机制(随机User-Agent、IP代理轮换、请求延迟)、数据存储等功能。文章详细解析了核心代码实现,包括动态页面加载、多线程优化和反爬策略,并提供了常见问题解决方案(IP封禁、验证码处理)和性能优化建议(使用asyncio、布隆过滤去重)。该项目

#python#开发语言
flink-cdc同步mysql到doris的一个常见的数据类型错误处理

摘要:FlinkCDC同步MySQL到Doris时常见数据类型不兼容问题,主要包括JSON/ENUM映射冲突、时间类型精度差异等。解决方案涉及字段映射转换(如JSON转VARCHAR)、时间精度对齐配置、时区统一优化等。通过Debezium参数调整、Flink资源优化和Doris表结构适配,可确保数据同步准确性。建议采用数据校验工具和实时监控保障一致性,典型案例包括TIMESTAMP精度丢失和DE

文章图片
#android
从零搭建企业级微服务架构的实战心得:一个开发者的三年蜕变之路

作为核心开发,我主动请缨带领3人小组启动微服务改造。这个决定让我经历了从CRUD工程师到架构师的蜕变,也踩过了无数技术深坑。

文章图片
#架构#微服务#云原生
云计算:重新定义资源效率,解锁企业增长新引擎

摘要:云计算通过弹性伸缩、资源池化、智能调度和精细化运维四大优势,有效解决传统资源配置的刚性架构、孤岛管理和粗放运维问题。企业可实现资源随业务动态调整,降低成本并提升效率。案例显示,在线教育平台和制造业SaaS服务商通过云优化显著提升资源利用率并降低运维成本。企业上云需评估现状、选择合适服务模式并持续优化,将资源管理转化为战略优势,助力数字化转型与业务创新。

文章图片
#云计算
2025开源风暴:大模型“改天换地”进行时

2025年的AI江湖,恰似一场风暴来袭前暗流涌动的深海,表面平静下实则波涛汹涌。而开源,就是那即将掀起惊涛骇浪的飓风核心,正以不可阻挡之势,重塑大模型的发展格局,让整个行业面临“改天换地”的巨大变革。曾经闭源模型稳坐钓鱼台,如今却被开源浪潮冲击得摇摇欲坠,这场“开源与闭源的巅峰对决”,正激烈上演。

文章图片
#开源
SCALE发布《2025年12月大模型SQL能力排行榜》:格局与趋势洞察

1月6日,SCALE发布《2025年12月大模型SQL能力排行榜》,评估全球AI模型在数据库查询优化、方言转换等核心能力。SQLFlash以82.5分蝉联榜首,在国产数据库适配性上表现突出;GPT-5.2在查询优化深度维度领先;国产模型DeepSeek-R1和Qwen3-Coder表现亮眼。评测发现,70%模型存在索引失效问题,复杂查询处理能力分化明显。未来测试将引入动态SQL生成等更高阶场景,S

文章图片
#业界资讯#数据库
Token战争:阿里、字节、智谱与MiniMax的“算力版三国杀”

它还推出了“ATH事业群”,将Token消耗打包成企业数字化底座的一部分——简单来说,就是让企业用阿里云时,顺便把Token也“捆绑销售”了。它推出20多款AI应用,从通用助手“豆包”到情感陪伴“猫箱”,再到AI视频创作“剪映”,几乎覆盖了所有能消耗Token的场景。这种“可编程性”让Token成了AI经济的“魔法石”——同样的“原料”,在不同场景下能变出十万倍的价值。阿里,这个曾靠“水电煤”基础

文章图片
#人工智能
    共 67 条
  • 1
  • 2
  • 3
  • 7
  • 请选择