logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

深入理解 Tokenizer:大模型的语言起点

文章摘要: Tokenizer(分词器)是大语言模型处理文本的核心组件,负责将自然语言转换为数字序列(tokens),使模型能够理解和处理。相比直接使用字或词,Tokenizer通过跨语言一致性、压缩词汇表规模和支持新词拆分等优势提升效率。主流方法包括BPE、SentencePiece等,中文因无空格需特殊处理(如字符级或子词拆分)。Tokenizer与模型强绑定,影响上下文长度、API计费和Pr

文章图片
#人工智能#AI#RAG
GPL 许可证介绍

是一种广泛使用的开源软件许可证,由自由软件基金会(FSF)创建,最初由 Richard Stallman 于 1989 年编写。它是自由软件运动的核心之一,旨在保护用户的自由,确保软件可以自由使用、修改和分发。如果你分发一个二进制形式的程序,你必须提供完整的源代码或指明如何获取源代码。衍生作品必须使用相同的 GPL 许可证。不能通过专利或合同增加对用户的额外限制。GPL 是一个强大的开源许可证,旨

文章图片
#开源#linux
GPL 许可证介绍

是一种广泛使用的开源软件许可证,由自由软件基金会(FSF)创建,最初由 Richard Stallman 于 1989 年编写。它是自由软件运动的核心之一,旨在保护用户的自由,确保软件可以自由使用、修改和分发。如果你分发一个二进制形式的程序,你必须提供完整的源代码或指明如何获取源代码。衍生作品必须使用相同的 GPL 许可证。不能通过专利或合同增加对用户的额外限制。GPL 是一个强大的开源许可证,旨

文章图片
#开源
Python vLLM 实战应用指南

动态批处理:可以高效处理多个请求并动态优化批处理大小。高效内存管理:通过零拷贝缓存技术减少显存使用。简单易用:提供类 PyTorch API 接口,支持 Hugging Face 模型。vLLM 支持从 Hugging Face Hub 加载模型,也可以加载本地模型。vLLM 支持在本地运行一个服务,接收 HTTP 请求来生成文本。这非常适合构建 API 服务。vLLM 是一个高效的生成式模型推理

文章图片
#python#开发语言
什么是 AI Researcher?——人工智能研究者的职责、路径与前景全解析

AI Researcher 是专注于人工智能领域基础理论、算法创新和应用研究的科研工作者。如何让机器具备类人的认知能力?如何设计更高效、更安全、更可解释的模型?如何构建通用人工智能(AGI)?AI Researcher 既可以是学术界的科学家(如大学教授、博士后),也可以是工业界的研究员(如在 Google DeepMind、OpenAI、微软研究院、阿里达摩院、百度深度学习实验室等机构工作的人员

文章图片
#人工智能#AI
好玩的gif图

<h4 align="center"><samp> Hi there ????????welcome to my Github! I like to write in <s>Python</s> Code and I'm exploring Cloud Tech ???? ☁️ </samp></h4><h4 align

文章图片
#python#javascript
Openshift 镜像参考映射更新异常修复问题总结

摘要: 本文分析了OpenShift集群中镜像映射更新失败及手动强制更新问题的解决方案。当存在卡在创建中的Pod时,镜像仓库映射更新会失败,需手动杀掉并调度其他节点。针对手动强制更新失败问题,可通过重启机器配置控制器或删除对应节点的daemon来解决。此外,提供了暂停角色配置镜像映射、重启控制器及手动校正节点配置的方法,并列出相关检查命令,如查看MCP状态、检查集群操作符状态等。这些方法能有效解决

文章图片
#openshift
Openshift 指定节点配置镜像映射更新

摘要:本文介绍了一种通过MachineConfigPool(MCP)的paused功能精确控制OpenShift节点更新的方法。核心步骤包括:1)暂停无需变更的节点池;2)创建自定义MCP仅包含目标节点;3)应用镜像配置变更;4)触发目标池更新;5)验证变更效果;6)恢复集群正常状态。详细方案演示了如何通过标签隔离节点、创建专属MCP、应用镜像映射配置,并提供了更新监控和回滚方案。该方法实现了Op

文章图片
#openshift#chrome#前端
Mac Book M3 Max 64G 如何拿捏 Ollama 本地大模型 Llama3

命令Usage:llama 2 很难满足办公的需求,只能进行简单的对话、文学、谈话、科普、故事等等。基本满足日常办公需求,并且本地反应也足够快速,感觉和chatgpt 3.5 相差不大。优点:文学模仿已经能够get你的点。旅行攻略像小红书一样。但不够具体,需要更进一步交互对话。缺点:反应慢,对电脑要求配置高。不适用个人电脑适用,更适合企业离线(网络隔离)的环境。

文章图片
#macos#AI
    共 265 条
  • 1
  • 2
  • 3
  • 27
  • 请选择