logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

在 Kubernetes(k8s)集群中部署AI大模型 ollama并启用GPU加速

进入 Ollama 服务对应的 pod 内部,执行 ollama run llama3 命令进行模型安装。若提前构建了模型的镜像并在部署步骤中进行了部署,则可省略此手动安装步骤。命令,即可获取模型对职场冲突处理相关问题的回答,展示了 Ollama 服务在 Kubernetes 环境中正常运行并能够对外提供大模型服务的能力。模型安装完成后,在 namespace 下的其他 pod 中可通过 curl

文章图片
#kubernetes#容器#云原生
docker 方式运行ollama 大模型

Ollama现在已有Docker hub开源的镜像提供,这使得使用Docker容器运行大型语言模型变得更加简单。有了Ollama,大型语言模型的所有交互都在本地进行,无需将数据发送给第三方服务。

文章图片
#docker#容器#运维
HTTP/3 教程:全面解析下一代网络协议

一、HTTP/3 简介HTTP/3 是 HTTP 协议的第三个主要版本,它在 HTTP/2 的基础上进行了改进,主要是为了解决 HTTP/2 在传输层存在的一些问题,特别是与 TCP 和 TLS 相关的延迟问题。HTTP/3 使用 QUIC(Quick UDP Internet Connections)协议作为其传输层协议,而不是传统的 TCP。二、QUIC 协议基础QUIC 是一种基于 UDP

#云原生#网络#网络协议 +2
基于Docker与Containerd的HTTP镜像仓库拉取配置全解析

本文详细阐述了Docker和Containerd在拉取HTTP镜像仓库时的配置过程,包括从配置文件的编辑到服务的重启,再到镜像的拉取以及常见问题的解决方案。在实际应用中,无论是构建企业内部的容器化应用环境,还是在测试和开发场景下使用HTTP镜像仓库,正确配置Docker和Containerd都是至关重要的。通过深入理解这些配置步骤和相关知识,可以更好地利用容器化技术,提高应用部署和管理的效率,同时

#云原生#golang#网络协议 +2
KinD(Kubernetes in Docker)简介

KinD(Kubernetes in Docker)是一个用于在本地机器上运行和测试 Kubernetes 集群的工具。它基于 Docker 容器技术,通过在容器中运行 Kubernetes 节点,为开发人员提供了一个轻量级、易于设置的 Kubernetes 集群环境。KinD 主要用于开发、CI/CD 流程中的测试环境搭建,或者用于在本地机器上进行快速的 Kubernetes 学习和实验。Kin

文章图片
#kind#kubernetes#docker
到底了