logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

抓取腾讯视频时碰到的ajax技术(1)(采用selenium,并对其进行详细展开)

抓取腾讯视频时碰到的ajax技术除非特别肯定输入的正确性, 一般都不适合把几个函数串起来,虽然看着比较酷。连续写函数不容易查错和做error handling.这就是软件工程的问题了, 特别是(大)数据处理, 当数据量增大,什么想不到的问题都有可能, 积累多了就有感觉了。ajax介绍异步的js和json(传统使用xml,所以叫ajax,现在应该叫ajaj)。ajax可以使网页实现异步更新,这意味着

#python#selenium
Build a Large Language Model (From Scratch) 第一章 Understanding large language models

自监督学习过程简图│ 原始文本数据(没有标签) │↓构造预测任务(如遮盖词、预测下一个词)↓输入序列 → 目标词(伪标签)↓模型预测 + 损失函数↓反向传播更新参数(学习)大型语言模型(LLMs)已经彻底改变了自然语言处理领域——该领域此前主要依赖显式的基于规则的系统和较为简单的统计方法。大型语言模型的出现引入了全新的深度学习驱动方法,推动了人类语言理解、生成和翻译等领域的进步。

#语言模型#人工智能#自然语言处理
CHAPTER 8 Type Hints in Functions

Python 是一种动态类型语言,这意味着变量类型在运行时才能确定,而不是像某些静态类型语言(如 Java、C++)那样在编译时就需要定义类型。渐进式类型系统是一种用来平衡动态类型和静态类型的方式,允许我们在 Python 中逐步引入类型提示,如有必要,也可以完全不使用类型提示。渐进式类型系统是 Python 的一大特色,带来了类型安全性和开发效率之间的平衡。类型提示可选,无需重构已有代码。可以辅

文章图片
#python
langchain tools源码解析以及扩展

a: intb: int# 支持字段校验 或 复杂嵌套"""加法定制"""方面自定义 ToolExecutor.register_tool装饰对象Python函数工具类(通常继承BaseModel)内部逻辑封装:函数、元信息、参数schema → Tool对象需显式传给Agent注册:类进全局map,参数结构自动提取调用入口由Agent调度由ToolExecutor.execute_tool统一入

文章图片
minhash-大模型输入前的去重

本文介绍了使用MinHash和局部敏感哈希(LSH)进行文本去重的方法。首先将文档切分为n-gram单元,然后为每个n-gram生成多个哈希值以提高相似性估计的准确性。接着通过取最小值得到文档的MinHash签名,再使用LSH将签名分条带处理,将相同条带值的文档聚到同一桶中备选。这种方法能有效识别相似文档,在大批量文本处理中显著减少计算量,平衡了计算效率和相似性检测的需求。MinHash通过多哈希

#哈希算法#算法
网络安全前置知识-linux操作系统

虚拟机是由各种虚拟文件所构成的虚拟计算机,而这些虚拟文件都可以由文件系统进行管理。快照本身就是帮助用户记录当前虚拟机状态的方式,这个状态包含虚拟磁盘状态(相当于真实机中的硬盘)、机器内存状态、虚拟机配置信息。1、虚拟磁盘状态:数据、分区格式、文件内容等;

文章图片
#web安全#linux#java
Ajax-老杜

写在前面,此文只能满足想知道ajax是如何一步步实现和框架下封装的是什么。想快速实现,直接去看VUE等框架如何实现即可。传统请求存在的问题页面全部刷新导致了用户的体验较差。传统的请求导致用户的体验有空白期。(用户的体验是不连贯的)四、XMLHttpRequest对象XMLHttpRequest对象是AJAX的核心对象,发送请求以及接收服务器数据的返回,全靠它了。XMLHttpRequest对象,现

#ajax#javascript#前端
SpringBoot-常见场景(上)-三更补充版

SpringBoot-常见场景1.热部署(不是特别推荐)​SpringBoot为我们提供了一个方便我们开发测试的工具dev-tools。使用后可以实现热部署的效果。当我们运行了程序后对程序进行了修改,程序会自动重启。​原理是使用了两个ClassLoder,一个ClassLoader加载哪些不会改变的类(第三方jar包),另一个ClassLoader加载会更改的类.称之为Restart ClassL

#spring boot#intellij-idea#java
到底了