logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Node.js 爬虫实战指南(二):动态页面爬取,Puppeteer 大显身手

摘要: 当传统爬虫工具(如axios+cheerio)无法获取动态渲染的SPA页面内容时,Puppeteer成为解决方案。本文介绍了Puppeteer的核心功能(控制浏览器、模拟交互等),通过实战演示如何爬取动态加载的招聘网站和技术社区文章,包含自动滚动加载、数据提取等关键代码实现,为处理JavaScript渲染页面提供了完整的技术方案。

文章图片
#node.js#爬虫
Node.js 爬虫实战指南(三):分布式爬虫架构,让你的爬虫飞起来

摘要本文介绍了从单机爬虫到分布式爬虫的演进过程。通过10台机器组成的爬虫集群,实现了从单机每天1万条到分布式每小时100万条的数据爬取能力提升。文章详细讲解了分布式爬虫架构设计,包括Master节点、Redis消息队列、Worker节点和MongoDB存储等核心组件,并提供了基于Node.js的代码实现方案,展示了如何利用任务队列和并发控制等技术实现高效的大规模数据爬取。

文章图片
#node.js#爬虫#分布式
Node.js 爬虫实战指南(一):从入门到入狱?别慌,先学会正确姿势

摘要:本文介绍了合法爬虫的基本规则与实现方法,通过Hacker News爬虫案例演示如何合规抓取数据。首先强调了爬虫的法律边界,包括遵守robots.txt、控制请求频率等关键原则。接着详细展示了使用Node.js(axios+cheerio)构建爬虫的技术实现,包括环境搭建、页面解析和数据存储。最后提供了完整的代码示例,演示如何安全获取并存储公开网页数据。全文以"爬虫写得好,牢饭吃到饱"的警示开

文章图片
#node.js#爬虫
基于 React + 科大讯飞实现语音识别

通过 React 框架与科大讯飞语音识别库的结合,我们可以轻松实现语音识别功能,并在实际项目中得到广泛应用。随着语音技术的不断发展,相信语音识别将会在更多的领域发挥重要作用,为我们的生活和工作带来更大的便利。对于程序员来说,如何在自己的项目中集成语音识别功能,实现更加智能化的应用,成为了一个值得关注的话题。本文将详细介绍如何使用 React 框架结合科大讯飞的语音识别库来实现语音识别功能,并通过实

文章图片
#react.js#语音识别#音视频
你的项目只有10个用户,凭什么敢上微服务?

摘要:文章讽刺了当前技术圈盲目追求微服务架构的现象,指出许多项目因"简历驱动开发"(RDD)而过度设计,反而带来调试困难、运维复杂和性能倒退等问题。作者通过真实案例(15人日活系统采用淘宝级架构)揭示这种"技术大跃进"的荒谬,强调单体架构在高内聚、易维护方面的优势,特别是模块化单体的价值。最后提出建议:QPS不过万、团队不足20人时,应优先关注业务逻辑而非架构拆分,避免制造"分布式单体"的伪微服务

#微服务#架构#云原生 +2
Docker 镜像瘦身记:从 1.2GB 减到 47MB,我做了什么

部署更快:镜像小了,拉取时间从 20 分钟变成 2 分钟成本更低:镜像仓库存储费用直接砍掉 90%更安全:镜像里东西越少,攻击面越小CI/CD 更快:构建、推送、拉取都变快了选择小的基础镜像(alpine/slim)使用多阶段构建合并 RUN 命令,清理缓存配置.dockerignore考虑 distroless(如果适合)下次运维再问你镜像为什么这么大,把这篇文章甩给他,然后优雅地喝一口咖啡。☕

文章图片
#docker#容器#运维
拒绝 “分布式税“:为什么 99% 的微服务都是伪需求?

这种迷信导致了 2026 年最普遍的架构病灶——。我们把一个本身紧密耦合的系统,强行拆成了 20 个独立部署的服务,然后整天在网络延迟、数据一致性和分布式事务的泥潭里打滚。是时候算算这笔账了。

#分布式#微服务#架构
深度拆解 DeepSeek Harness:把模型当内核,把执行外壳做成微插件

DeepSeek开源了deepseek-harness项目,提出"Agent = Model + Harness"的核心公式,强调执行底座(Harness)对AI代理能力的关键作用。该项目采用Cordis微内核架构,将UI、权限等功能拆解为独立插件(如API网关、TypeRT注册表等),通过依赖注入实现模块化热加载。官方评测特别设计"Minimal Mode",仅保留Shell和文件编辑等基础工具

文章图片
#人工智能
GLM-5 发布:承认吧,你的 AI 创业项目已经归零了

GLM-5 只是一个开始。DeepSeek 的稀疏注意力 (DSA) + MoE 架构,证明了摩尔定律在 AI 领域依然生效。未来的模型会更强,更小,更便宜。你只有三个选择:做基座(那是巨头的游戏,没你份)。做应用(用 GLM-5 把你的业务重构一遍,成本降低 90%)。做炮灰(抱着你的 Prompt 技巧,溺死在开源的洪流里)。

#人工智能
写代码3分钟,审代码要命

给 AI 打工最痛苦的不是它写不出代码,而是你得替它吹过的牛逼写测试。让 AI Agent(Cursor / Claude Code / Trae)重构一个高并发队列,只需 3 秒钟,200 行看似完美的 TypeScript 代码就能喷涌而出。泛型规范,语法糖精炼,测试用例甚至全绿。但只要仔细审查就会发现:AI 在并发读写的状态同步里偷偷留了个致命的竞态漏洞(Race Condition)。更绝

#前端#人工智能#MCP
    共 54 条
  • 1
  • 2
  • 3
  • 6
  • 请选择