logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【LLM】五、open-webui+ollama搭建自己的RAG服务

往期文章中,已经讲解了如何用ollama部署本地模型,并通过open-webui来部署自己的聊天机器人,同时也简单介绍了RAG的工作流程,本篇文章将会基于之前的内容来搭建自己的RAG服务,正文开始。

文章图片
#AIGC#gpt-3
【LLM】二、python调用本地的ollama部署的大模型

本地部署了大模型,下一步任务便是如何调用的问题,实际场景中个人感觉用http请求的方式较为合理,本篇文章也将通过http请求的方式来调用我们本地部署的大模型,正文开始。

文章图片
#AIGC
【LLM】一、利用ollama本地部署大模型

最近,自己在学习一些大模型的相关知识,所以近期会不定时更新大模型的实操指南,这里为LLM系列第一篇文章,主要内容是在本地搭建自己的LLM服务。

文章图片
#AIGC
【LLM】二、python调用本地的ollama部署的大模型

本地部署了大模型,下一步任务便是如何调用的问题,实际场景中个人感觉用http请求的方式较为合理,本篇文章也将通过http请求的方式来调用我们本地部署的大模型,正文开始。

文章图片
#AIGC
深度学习模型(yolov5)压缩

当我们利用深度学习训练出我们的模型之后,下一步会做什么呢?无疑是去测试我们的模型,精度达到标准既可发布上线,那发布之后我们会发现的问题是->推理时间慢,那我们该怎么做呢?更改网络为轻量级,如YOLOv5s、YOLOv5n通过技术手段进行模型加速,如tensorrt,openvino等资金雄厚的情况下,可以考虑使用更高算力的卡模型压缩接下来,就给大家介绍下发现的一个用于模型压缩的工具–>Paddle

#深度学习#神经网络#目标检测 +2
【LLM】一、利用ollama本地部署大模型

最近,自己在学习一些大模型的相关知识,所以近期会不定时更新大模型的实操指南,这里为LLM系列第一篇文章,主要内容是在本地搭建自己的LLM服务。

文章图片
#AIGC
YOLOV5的pt模型转Paddle的inference模型

文章目录前言一、环境准备1、yolov5环境及代码准备2、Paddle环境搭建2.1 直接安装2.2 whl安装3、x2paddle安装3.1直接安装3.2 源码安装二、模型准备1.pt准备2.pt->onnx三、模型转换onnx->inference四、转换中可能会遇到的问题总结前言  近期,项目部署时同时用了pytorch和Paddle,遇到了些问题,觉得可能是框架冲突,所以我去尝

#深度学习#计算机视觉#目标检测
pytorch构建YOLOV7网络结构

前不久,正宗的YOLOV7横空出世,引来了很多人的关注,因为这次是官方作者的又一力作,自己也是抽时间看了看其中的结构。httpshttps以上,就是就是本篇的全部内容,如有错误,欢迎评论取指正,或加入QQ群995760755交流。httpshttpshttpshttpshttpshttpshttpshttpshttps。......

#pytorch#深度学习#人工智能 +2
    共 14 条
  • 1
  • 2
  • 请选择