logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

idea-tag操作

1、什么是标签版本要封板时,会在版本库中打一个标签(tag),这样,就唯一确定了打标签时刻的版本。将来无论什么时候,取某个标签的版本,就是把那个打标签的时刻的历史版本取出来。所以,标签也是版本库的一个快照。2、idea中创建标签tag、并推送到远程仓库创建tag3、创建完成后,推送标签到远程仓库4、如果需要查看tag版本的代码,只需要切换版本即可:...

阿里云VPC机器如何访问公网

2.在弹性公网IP页面,创建弹性公网IP,详情请参见申请EIP。3.在公网NAT网关页面,创建NAT网关,并绑定弹性公网IP,4.如果涉及白名单,那么需要增加相关白名单配置。1.创建专有网络和交换机。

文章图片
#阿里云#云计算
大模型相关知识

简单来说,embedding就是用一个低维的向量表示一个物体,可以是一个词,或是一个商品,或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义,比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近,但 Embedding(复仇者联盟)和Embedding(乱世佳人)的距离就会远一些。

文章图片
大模型相关知识

简单来说,embedding就是用一个低维的向量表示一个物体,可以是一个词,或是一个商品,或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义,比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近,但 Embedding(复仇者联盟)和Embedding(乱世佳人)的距离就会远一些。

文章图片
大模型相关知识

简单来说,embedding就是用一个低维的向量表示一个物体,可以是一个词,或是一个商品,或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义,比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近,但 Embedding(复仇者联盟)和Embedding(乱世佳人)的距离就会远一些。

文章图片
Ollama拉起本地模型以及rag系统部署。

Ollama 是一个简明易用的本地大模型运行框架。能在本地启动并运行 Llama 2、Mistral、Gemma 及其他大语言模型,没有GPU资源照样可以la和LocalAI 比较类似,但是加载模型更容易,感觉上比较像 docker,也采用了 tags 来区分模型的不同版本,尤其是 CLI 也采用了 pull、rm、run 等等;

文章图片
Ollama拉起本地模型以及rag系统部署。

Ollama 是一个简明易用的本地大模型运行框架。能在本地启动并运行 Llama 2、Mistral、Gemma 及其他大语言模型,没有GPU资源照样可以la和LocalAI 比较类似,但是加载模型更容易,感觉上比较像 docker,也采用了 tags 来区分模型的不同版本,尤其是 CLI 也采用了 pull、rm、run 等等;

文章图片
大模型相关知识

简单来说,embedding就是用一个低维的向量表示一个物体,可以是一个词,或是一个商品,或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义,比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近,但 Embedding(复仇者联盟)和Embedding(乱世佳人)的距离就会远一些。

文章图片
大模型相关知识

简单来说,embedding就是用一个低维的向量表示一个物体,可以是一个词,或是一个商品,或是一个电影等等。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义,比如 Embedding(复仇者联盟)和Embedding(钢铁侠)之间的距离就会很接近,但 Embedding(复仇者联盟)和Embedding(乱世佳人)的距离就会远一些。

文章图片
显卡及相关大模型部署需求概述

FP8 和 FP16 是两种不同的浮点数表示方式,它们主要用于计算领域,特别是在深度学习和高性能计算中,用于高效地进行数值运算。DeepSeek R1 原生(FP8)版:使用FP8数据精度,显存需求大概在750GB以上,是DeepSeek官方最推荐的配置。DeepSeek R1 量化版本(INT8甚至INT4精度):显存虽然变小(335G即可),但模型表现却大打折扣。2.运行qwen2-72b,

文章图片
    共 20 条
  • 1
  • 2
  • 请选择