logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型中的Token是什么

单词:在大多数情况下,token指的是文本中的一个单词。例如,在句子 “I love natural language processing” 中,“I”、“love”、“natural”、“language” 和 “processing” 都是token。标点符号:标点符号也可以是token。例如,在句子 “Hello, world!” 中,“,” 和 “!” 都是单独的token。特殊字符:在

文章图片
【源码阅读】olmocr中的prompts

这个提示词确实一步步写的清晰具体,而且给了足够的思考过程,有一个思维链的感觉,让他慢慢地按步骤去推理。然后给的背景信息放在最后面。

文章图片
多智能体实现招聘流程模拟

这个对象content属性对应的就是一个字符串,字符串里面的xml是我提示词中让他返回的固定格式,这样就方便后续的提取。让agent固定返回一个xml,然后从xml中提取标签内容。这个函数接收aimessage对象的content属性内容,然后还有标签值。招聘流程为人事获取简历,决定是否要交给业务岗,然后业务岗评价该简历是否录取,返回人事业务岗的决定,最后人事再将offer发出。使用Langcha

文章图片
#python
【书籍】DeepSeek谈《持续交付2.0》

持续交付2.0》是乔梁在经典著作《持续交付》基础上的升级版本,它不仅延续了第一版的核心思想,还结合了数字化转型时代的新需求,提出了更系统化的方法论。

文章图片
#elasticsearch#大数据#搜索引擎
langchain+不同模型api使用教程

langchain_community 可能是一个较旧的库,或者它的版本与 OpenAI 的最新 API 不兼容。OpenAI 的 API 可能会更新,而 langchain_community 没有及时跟进适配,导致无法正确调用 OpenAI 的推理模型。因为我在实际使用的时候就发现,community.chatmodel调用的chatopenai只能使用gpt-4o,而o1、o3-mini就不

文章图片
#服务器#java
markdown存储到faiss向量数据库

在之前的faiss学习的例子中,就是使用的这种对象列表。每一个document都有数据内容和相应的元信息,元信息可以用来存储一些标识符、属性、限制这类,以方便进行条件查询。保证每个简历块都有名字,防止简历块分割之后,因为没有名字,六神无主了。所以,不仅需要有该数据的接口,也要有转换为该接口的方法,两者都需要。对象的列表(List of Documents),是 LangChain 中的一种数据结构

文章图片
#数据库#faiss#java
openai大模型将Mathpix Markdown 转为标准 Markdown

Mathpix Markdown 是一种扩展了标准 Markdown 的语法,主要用于科学和技术文档的编写,特别是在需要插入数学公式、化学方程式和复杂表格时。Mathpix Markdown 保留了标准 Markdown 的基本语法,并在此基础上增加了对科学文档编写的支持,使其在处理复杂的数学和科学内容时更加高效和方便。大模型出现后,很有用的功能就是文本转换,不需要再像之前一样写一堆正则表达式之类

文章图片
#python
Langchain对管道操作符|的重构实现链式流程

具体来说,这段代码的作用是允许一个对象与另一个对象(或可调用对象)通过 | 操作符连接,并返回一个新的 RunnableSequence 对象。Union 是 Python 类型注解中的一个工具,表示“或”的关系。在 LangChain 的实际源码中,管道操作符的实现位于 langchain/schema/runnable.py 文件中。方法,它是 Python 中的特殊方法(也称为魔术方法或双下

文章图片
#重构#python
本地ollama连接不稳定,embeding易断开:faiss小样本向量数据库合成

解析了800份PDF,在使用ollama转向量数据库时,总是会中间断开。解决思路是划分了7个batch,每个batch有100份,在将batch转向量数据库,这时就很少断开了。正好faiss提供了一个方法,merge_from,能够实现两个向量数据库实例的合并。这样将每个转换的向量数据库合成在一起。

文章图片
#faiss
DeepSeek谈《凤凰项目 一个IT运维的传奇故事》

这本书的价值不仅在于DevOps技术实践,更在于对组织文化和思维模式的颠覆——正如Erik所言:"IT工作的目标不是更努力,而是更聪明。)是Gene Kim、Kevin Behr和George Spafford合著的一部小说,通过虚构的故事生动展现了IT运维中的核心挑战和DevOps文化的变革力量。:小说中濒临失败的IT项目代号,象征传统IT管理方式(冗长流程、部门壁垒)的困境。例如:代码扫描(S

文章图片
#运维#数据库#服务器
    共 58 条
  • 1
  • 2
  • 3
  • 6
  • 请选择