logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

贫血模型的改进

本文主要讲述软件系统中贫血模式的问题和改进。

#java#开发语言#设计模式 +1
《从零构建大模型》阅读总结

《从零构建大模型》揭示了现代大语言模型(如ChatGPT)的核心原理与构建过程。文章系统梳理了大模型的两大关键阶段:预训练阶段通过海量无标注文本学习语言统计规律,形成基础模型;微调阶段则通过指令微调和任务分类微调,使模型适应具体任务需求。重点解析了Transformer架构、分词嵌入技术、自注意力机制等核心技术,以及文本生成、分类微调等关键流程。文章指出,大模型本质上是通过"预测下一个词

#自然语言处理
《从零构建大模型》阅读总结

《从零构建大模型》揭示了现代大语言模型(如ChatGPT)的核心原理与构建过程。文章系统梳理了大模型的两大关键阶段:预训练阶段通过海量无标注文本学习语言统计规律,形成基础模型;微调阶段则通过指令微调和任务分类微调,使模型适应具体任务需求。重点解析了Transformer架构、分词嵌入技术、自注意力机制等核心技术,以及文本生成、分类微调等关键流程。文章指出,大模型本质上是通过"预测下一个词

#自然语言处理
Vue 3 中 ref 和 reactive 的区别与使用场景

Vue 3 中 ref 和 reactive 是两种响应式处理方式,主要区别如下: ref 适用于所有数据类型,访问需要.value,支持重新赋值;reactive 仅适用于对象类型,直接访问属性,不支持重新赋值 在模板中,ref自动解包不需.value,reactive直接使用属性 使用场景: ref:基本类型、需要重新赋值的数组/对象 reactive:表单对象、相关联的配置组 解构时都需要使

#vue.js#前端#javascript
vllm 多卡部署推理接口无响应(hanging ),后台GPU使用率一直100%

Ubuntu24.04.2物理机器 ,配置是两张A100 pcie接口(无nvlink),使用vllm0.17版本进行双卡部署32b模型,运行时出现推理接口无响应,后台GPU使用率一直100%,因此我用调小显存使用率和使用14b和1.5b小模型进行了实验,在单卡模式都可以正常运行并使用(分别指定了gpu0和1),但是加了参数–tensor-parallel-size 2后就会出现这个情况。已将共享

Infinity Embeddings容器化多模型服务部署

Infinity Embeddings是一个开源的企业级嵌入模型服务框架,提供OpenAI兼容API、多模型并行支持和硬件优化功能,特别适合需要兼顾性能与隐私的RAG应用场景。本文详细介绍了其容器化部署方案,包括Docker原生部署和Compose编排两种方式,并提供了多模型管理、性能调优以及LangChain集成的实践指南。相比SaaS服务,Infinity在数据隐私、延迟和成本方面具有显著优势

#后端#人工智能
vllm 多卡部署推理接口无响应(hanging ),后台GPU使用率一直100%

Ubuntu24.04.2物理机器 ,配置是两张A100 pcie接口(无nvlink),使用vllm0.17版本进行双卡部署32b模型,运行时出现推理接口无响应,后台GPU使用率一直100%,因此我用调小显存使用率和使用14b和1.5b小模型进行了实验,在单卡模式都可以正常运行并使用(分别指定了gpu0和1),但是加了参数–tensor-parallel-size 2后就会出现这个情况。已将共享

《领域驱动设计:软件核心复杂性应对之道》读后总结与思考

核心内容核心基础:协作与语言战略设计:应对复杂系统的架构战术设计:构建模型的基本构建块建模过程:重构与探索深入谈谈 聚合什么是聚合结合具体例子[电商订单]错误的设计(无聚合概念)正确的聚合设计聚合的核心原则(1)事务一致性边界:一个事务只修改一个聚合实例(2)通过标识引用,避免对象引用(3)聚合要小而精聚合 vs. 包/组件/模块总结。

#软件工程
Faiss的学习和基本使用

FAISS(cpu,gpu)[Facebook AI Similarity Search]是针对海量稠密向量进行相似性搜索和聚类的一个高效类库。该开源库针对高维空间中的海量数据(稠密向量),提供了高效且可靠的相似性聚类和检索方法,可支持十亿级别向量的搜索,是目前最为成熟的近似近邻搜索库:官方资源地址https://github.com/facebookresearch/faiss1.它包含可搜索任

#faiss
稠密向量和稀疏向量

Milvus提供内置的全文搜索功能,使用BM25方法自动将文本转换为稀疏向量,无需手动预处理。BM25是传统统计技术的一种,它根据词在语料库中的频率和重要性为词分配权重。密集向量通常表示为连续数组,每个位置都有值(如[0.3,0.8,0.2,0.3,0.1]),而稀疏向量仅存储非零元素及其维度索引,通常表示为键值对。传统统计技术如TF-IDF(词频-逆文档频率)和BM25(最佳匹配25),根据词在

#python
    共 14 条
  • 1
  • 2
  • 请选择