logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型高效微调-prompt tuning

大模型微调分为几种,一是全量微调,这种微调方式需要有足够优秀的设备支持,在消费级硬件上对模型进行全部参数的微调几乎是不可能完成的任务。因此,研究者们提出了不同的参数高效迁移学习方法,即固定住的大部分参数,仅训练模型的一小部分参数来达到与全部参数的微调接近的效果,主要分为训练模型自身的参数和额外添加组件(仅仅微调训练少量或额外的模型参数)。这种微调方式可以在较小的GPU上实现,本文介绍的就是额外添加

#pytorch#人工智能
k8s常用指令集合

【代码】k8s常用指令集合。

#kubernetes#linux#docker
ollama(docker 环境下) 创建自定义模型

​从modelscope或者hugging face上下载的模型大多数都是.safetensors格式:我们可能会需要对这些模型进行微调或者量化,然后放到ollama中进行部署服务。

文章图片
#docker#容器#运维
Langgraph基础(3)-流响应

在基于大模型构建的 Agent、工作流应用中,流式输出是提升用户体验、降低延迟感知的核心技术。本文基于 LangGraph 最新官方文档,详细讲解 LangGraph Streaming v2 统一格式、7 种流模式、状态流式、LLM 逐 Token 输出、自定义进度流、子图流式、异步兼容方案,附带大量可直接运行的代码示例,适合 LLM 应用开发、Agent 工程化落地同学快速上手。

#microsoft#人工智能#python
Langgraph基础(4)-中断interrupt.实现图执行的动态暂停与外部交互

Interrupts(中断)是LangGraph提供的动态暂停机制,允许我们在图的任意节点、任意代码位置暂停执行,等待外部输入(如人工确认、用户输入)后再恢复执行。在LangGraph构建复杂智能体或工作流时,我们经常需要在特定节点暂停执行,等待外部输入(比如人工审批、用户反馈)后再继续,而Interrupts正是为这个场景量身打造的核心能力。除了动态中断(interrupt()函数),LangG

#人工智能#python
Claude VSCode插件版接入强大的GLM(无需登录注册claude code)

最近智谱强势上市,官网也有很多优惠,作为VSCODE深度使用者自然希望能和强大的编程助手结合。Claude code是其中的佼佼者,但集成起来有点麻烦,所以写这个博客方便大家使用。

#vscode#ide#编辑器 +1
Claude VSCode插件版接入强大的GLM(无需登录注册claude code)

最近智谱强势上市,官网也有很多优惠,作为VSCODE深度使用者自然希望能和强大的编程助手结合。Claude code是其中的佼佼者,但集成起来有点麻烦,所以写这个博客方便大家使用。

#vscode#ide#编辑器 +1
解决raw.githubusercontent.com 无法访问

在很多代码中自需要从GIT中下载代码、配置文件等组件,但raw.githubusercontent.com经常无法访问,无法访问的原因一般都是没有相关dns导致。

文章图片
#linux
fastapi+Langchain进行流式响应

出现这种情况的原因还未知,猜测是由于langchain的stream会占用当前CPU导致无法去完成其他工作(just猜测)。顺便说一句:langchain有点不好用。fastapi+Langchain进行流式响应。代码只需要自己声明大模型实例对象即可。

文章图片
#fastapi#python
    共 18 条
  • 1
  • 2
  • 请选择