logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Windows中使用Docker安装Anythingllm,基于deepseek构建自己的本地知识库问答大模型,可局域网内多用户访问、离线运行

本文介绍了如何在 Windows 系统的 CMD 中使用 Docker 安装 AnythingLLM,并搭建自己的知识库问答大模型

文章图片
#docker#容器
ollama修改配置使用多GPU,使用EvalScope进行模型压力测试,查看使用负载均衡前后的性能区别

由于ollama默认调用模型,模型实例会运行在一张卡上,如果有几张显卡,模型只会永远跑在第一张卡上,除非显存超出,然后才会将模型跑在第二张卡,这造成了资源很大的浪费。网上通过修改ollama.service的配置。修改之后可以负载均衡,显存平均分配在集群中的每张卡上,但是我不太了解这种方式是否会提升模型吞吐量?和默认的调用单卡实例有啥区别呢?

文章图片
#负载均衡#运维#压力测试
使用 Docker 安装 Open WebUI 并集成 Ollama 的 DeepSeek 模型

在本教程中,我们将指导您如何使用 Docker 安装 Open-WebUI,并将其与 Ollama 的 DeepSeek 模型集成。这种方法可以简化部署过程,并确保环境的一致性。

文章图片
#docker#容器#运维 +1
Ollama调用多GPU实现负载均衡

默认的ollama调用的各种大模型,如deepseek 70b模型,每个模型实例只绑定一张 GPU,如果是多卡,其它卡会一直闲置,造成一定浪费。本文档介绍如何通过 systemd 配置文件为 Ollama 服务添加 GPU 和调度相关的环境变量,从而实现多 GPU 的高效利用与负载均衡。

文章图片
#负载均衡#分布式
深度学习参数Params、FLOPs与MCA计算公式

本教程将详细介绍深度学习中的参数(Params)、浮点运算次数(FLOPs,即Floating Point Operations)以及矩阵乘法加法(MCA,即Matrix Multiply-Adds)的概念。这些概念在评估和优化神经网络的性能和效率方面尤为重要。

文章图片
#深度学习#人工智能#神经网络
图像生成概念简单介绍

图像生成是指使用计算机算法生成图像的过程。这些图像可以是真实的照片、绘画、3D渲染或者是完全想象的图像。图像生成技术涵盖了一系列算法,包括基于规则的方法、基于统计学的方法、深度学习等。从技术角度看,图像生成是一种计算机图形学的应用,它可以模拟现实世界中的光照、材质、颜色等因素,生成具有逼真感的图像。同时,图像生成也可以通过设计合适的算法,生成各种风格的艺术图像,例如油画、水彩画、铅笔素描等。

文章图片
#算法#计算机视觉#人工智能
图像分类传统算法和深度学习算法简单介绍

图像分类是计算机视觉领域的一项基本任务,旨在根据输入图像将其预测到一个或多个类别中。本文档将详细介绍一些常用的图像分类算法,包括传统方法和深度学习方法。

文章图片
#算法#分类#深度学习 +1
KPAC(ICCV 2021)代码单图片推理

该论文研究的问题是散焦去模糊,是图像恢复中经常需要做的一个任务,经常需要找对比图片。如果可以运行该论文,那么论文中可以增加一个对比图片。现在论文中大家都不用TensorFlow,不巧的是该论文原始代码是TF写的。我们并不是改为torch形式,而依然通过安装tf1.15的gpu版本。原始的代码我没法进行测试,改了半天放弃了,结合chatgpt写了一个单图片推理的代码,可以成功运行,但是依然需要大概8

文章图片
#linux#ubuntu
图像分类传统算法和深度学习算法简单介绍

图像分类是计算机视觉领域的一项基本任务,旨在根据输入图像将其预测到一个或多个类别中。本文档将详细介绍一些常用的图像分类算法,包括传统方法和深度学习方法。

文章图片
#算法#分类#深度学习 +1
使用 Docker 安装 Open WebUI 并集成 Ollama 的 DeepSeek 模型

在本教程中,我们将指导您如何使用 Docker 安装 Open-WebUI,并将其与 Ollama 的 DeepSeek 模型集成。这种方法可以简化部署过程,并确保环境的一致性。

文章图片
#docker#容器#运维 +1
    共 59 条
  • 1
  • 2
  • 3
  • 6
  • 请选择