logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

NLP 分词实战:用 Python 和 jieba 做中文分词(原理、实战与代码全解析)

在学习 NLP 的过程中,很多人一开始都会有一个困惑:“英文文本分析好像挺简单,直接用空格分词就行,为什么中文要搞一个‘分词’这么麻烦的步骤?我爱自然语言处理。在英文中,天然就有空格:而在中文中,没有显式的分隔符,计算机看到的是:我爱自然语言处理。如果不做分词,后面的所有分析基本无法顺利进行。做文本分类:不知道“自然语言处理”是一个整体,很容易丢失关键信息做搜索引擎:用户搜“自然语言处理”,而你的

#easyui#前端#javascript
第 3 篇:频率控制与限流——别因为太贪心先被封

很多爬虫一加线程就 403/429,本质是频率与并发触发了站点防护。本篇从 QPS、突发、令牌桶讲起,给出可复制的限流代码、多站点分桶、任务队列 + Worker、遇 429 自动降速等工程做法,帮你把脚本升级成「活得久」的采集系统。后半段为完整代码与排查清单,建议配合 CSDN「关注博主可见」使用。关键词:爬虫、反爬、限流、令牌桶、429、Python

#python#前端#开发语言
深度解析:AI中的注意力机制——让模型学会聚焦的艺术

本文系统介绍了注意力机制的发展与应用。从2014年Bahdanau首次提出到2017年Transformer革命性突破,注意力机制已成为AI核心技术。文章详细解析了缩放点积注意力、多头注意力等数学原理,并提供了PyTorch实现代码。探讨了其在NLP、CV和多模态学习中的典型应用,如TransformerBlock和VisionTransformer架构。同时介绍了稀疏注意力、线性注意力等优化变体

#人工智能
NLP 分词实战:用 Python 和 jieba 做中文分词(原理、实战与代码全解析)

在学习 NLP 的过程中,很多人一开始都会有一个困惑:“英文文本分析好像挺简单,直接用空格分词就行,为什么中文要搞一个‘分词’这么麻烦的步骤?我爱自然语言处理。在英文中,天然就有空格:而在中文中,没有显式的分隔符,计算机看到的是:我爱自然语言处理。如果不做分词,后面的所有分析基本无法顺利进行。做文本分类:不知道“自然语言处理”是一个整体,很容易丢失关键信息做搜索引擎:用户搜“自然语言处理”,而你的

#easyui#前端#javascript
到底了