logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Rag优化 - 如何提升首字响应速度

批量查询与并发连接:Milvus 支持在一次请求中执行批量搜索(即传入多个查询向量一起检索),这相比逐一查询能减少网络开销和调度开销,适用于需要同时回答多子问题或多用户批量请求的场景。如果数据规模巨大或需要亚毫秒级查询延迟,可考虑 GPU 加速:使用 Milvus 的 GPU 版本或将向量数据托管到支持 GPU 的向量引擎上,以利用 GPU 的并行计算能力执行向量点积运算。:对于经常被查询的问题,

#后端
Rag评估

基于 “一元语法(单个词)” 的召回率,即参考文本中被候选文本覆盖的。

文章图片
云计算与云原生

在了解云计算之前我们需要先了解一下什么叫做分布式计算。在了解分布式计算之前,我们需要先了解一下目前的互联网的一些常识和背景。随着越来越多的网民开始使用互联网,如今互联网已经几乎进入了全民化的时代。不算国外的人口,中国使用互联网的人数保守有10亿人。有一些很火爆的软件,例如:QQ,微信,淘宝等等。这些软件的并发量可能在某些特定时期会达到上千万。如此大的并发量,一台服务器肯定是无法容纳的,而我们的服务

文章图片
#云计算#云原生
Rag优化 - 如何提升首字响应速度

批量查询与并发连接:Milvus 支持在一次请求中执行批量搜索(即传入多个查询向量一起检索),这相比逐一查询能减少网络开销和调度开销,适用于需要同时回答多子问题或多用户批量请求的场景。如果数据规模巨大或需要亚毫秒级查询延迟,可考虑 GPU 加速:使用 Milvus 的 GPU 版本或将向量数据托管到支持 GPU 的向量引擎上,以利用 GPU 的并行计算能力执行向量点积运算。:对于经常被查询的问题,

#后端
环境变量简单解释

在终端输入的命令行对着应用程序,如果不是系统自带的命令,那么系统需要环境变量来定位应用程序所在的文件路径。我们以Java来举例子,我们要运行Java程序就需要Java虚拟机来进行编译,需要用到javac指令,而我们直接使用javac指令系统是无法识别的,因为我们没有指名这个指令对应的路径。所以我们需要配置环境变量,让系统可以在环境变量里面直接寻找到对应的路径。...

文章图片
#linux#windows#运维
云计算与云原生

在了解云计算之前我们需要先了解一下什么叫做分布式计算。在了解分布式计算之前,我们需要先了解一下目前的互联网的一些常识和背景。随着越来越多的网民开始使用互联网,如今互联网已经几乎进入了全民化的时代。不算国外的人口,中国使用互联网的人数保守有10亿人。有一些很火爆的软件,例如:QQ,微信,淘宝等等。这些软件的并发量可能在某些特定时期会达到上千万。如此大的并发量,一台服务器肯定是无法容纳的,而我们的服务

文章图片
#云计算#云原生
K8s关键性概念图解

Kubernetes可以看做云原生时代的操作系统,统一管理下层的基础设施,如计算资源、网络资源、存储资源等等。将集群中存在的各种复杂关系抽象成各种API资源,以统一的方式暴露出各种接口,也便于未来的扩展以及开发团队根据自己的需要定制。基于这样的设计思路,理清各种API对象的作用和关系就变得很重要了,只有理解了才能正确地使用K8s,接下来我们就通过一张关系图一点点的来说明。在接触K8s之前,大多人首

文章图片
#kubernetes#docker#容器
kubernetes -- 核心组件介绍以及组件的运行流程

如果想要官方的,详细的信息,请看官方文档。了解了kubernetes的基本组件之后,我们来讲述一下k8s组件的工作流程。

文章图片
#kubernetes#docker#运维
ServiceAccount深度解析

这里在default名称空间创建了一个serviceaccount为admin,可以看到已经自动生成了一个Tokens:admin-token-j7n8j,下面展示如何使用自定义的serviceaccount在K8S集群当中,每一个用户对资源的访问都是需要通过apiserver进行通信认证才能进行访问的,那么在此机制当中,对资源的访问可以是token,也可以是通过配置文件的方式进行保存和使用认证信

文章图片
#kubernetes
Kafka系列 - 生产者客户端架构以及3个重要参数

整个生产者客户端由两个县城协调运行,这两个线程分别为主线程和Sender线程(发送线程)。主线程中由KafkaProducer创建消息,然后通过可能的拦截器,序列化器和分区器之后缓存到。Sender线程负责从RecordAccumulator中获取消息并将其发送到kafka中。RecordAccumulator 主要用来缓存消息以便 Sender 线程可以批量发送,进而减少网络传输的资源消耗以提升

文章图片
#kafka#架构#分布式
    共 14 条
  • 1
  • 2
  • 请选择