logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

搜索中关于稀疏检索和稠密向量检索的召回效果比较

不同检索方式说明最近在做搜索召回提升相关的研究工作。对比了稀疏检索和稠密向量检索的效果。其中使用的搜索引擎为elasticsearch8.x版本。稀疏检索包括BM25的检索方式,以及es官方在8.8之后版本提供的稀疏向量模型的方式。稠密向量检索,是指借助机器学习的模型做文本嵌入,然后用es8.x以后版本提供的向量检索。测试数据说明测试数据包括了中文和英文,涉及了法律和新闻数据。

文章图片
ES java client 搜索报错 entity content is too long[xxx1] for the configured buffer limit [xxx2]

应用同事反馈,在使用es的滚动导出的时候,一共有5567条数据,但是实际上只拿到4567条数据,并且打断点,最后一次是获取到了456条数据。所以可以判断,中间少了1000条数据。因为滚动导出是每次1000条。初步判断,是少了一次数据解析,有可能第一次构建请求的时候,没有解析数据。实际上并不是,看报错如下图,是 entity content is too long[xxx1] for the con

文章图片
#elasticsearch#搜索引擎
clickHouse 与mysql等关系型数据库对比

关于clickHouse数据库,它也是一种关系型数据库。但是区别于传统关系型数据库mysql以及Oracle。其中最大的区别就是传统的关系型数据库是行式存储,而clickHouse是列式存储。请记住这个列式存储方式。这种结构存储方式,具备了一种天然的优势,就是做统计分析,聚类分析。本身数据库没有绝对的优劣之分。关于clickHouse和mysql的对比,但空间唯独上可以抽象为行(横轴)列(纵轴)。

#数据库
一份工作一年半的java开发个人简历,欢迎拍砖

一份个人简历,大四提前一年出来实习,在12306。2020年毕业,开始第二份正式工作。从大学毕业,只是我学习之路的刚刚开始。简历所写的内容都是真实的,一点水分没有。欢迎拍砖,希望大家能够针对我的简历,提出一些意见。深耕Elasticsearch,网关,JVM虚拟机,spring源码,多线程以及线程安全。最感兴趣的是k8s,以及服务网格。这会是未来的学习方向。心怀一颗去大厂的梦,因为哪里有一群愿景,

#java#开发语言#后端
开源的 RAG 和 workflow 技术对比调研

我自己就是做RAG工作的,但是还是想关注一下开源的技术做到了什么程度。所以调研了很长时间,也体验了一下。这里写一篇文章来分享一下结果。我用五一的假期时间,来做调研,看代码,做测试,写文章。为大家贡献资料。这里先说一下自己的感受吧:这些开源的技术,还是各有所长的。应该结合融合到一起,才能更好的完成我们的生产需求。但是开源的文档解析最多能做到60%的效果。

文章图片
将json数据导入到ES集群——解决方案对比&填坑日记

将json数据导入到ES集群——解决方案对比&填坑日记

#git#jenkins#运维 +1
中国全部城市的中心点坐标 json格式

全部城市的中心点坐标,json格式。后台可以直接使用。{"city": {"上海": [121.487899486, 31.24916171],"临沧": [100.092612914, 23.8878061038],"丽江": [100.229628399, 26.8753510895],"保山": [99.1779956133, 25.1204891962],"大理白族自治州": [100.2

#html#css
前端取不到后台返回response里边header内容问题

我是在前后端调试下载文件的时候遇到的问题。我下载文件的方式是返回二进制流。这种方式的话实际上是不能有return的,也就是时候不能把一些内容带给前端。比方说文件名,我们就需要放header里边。但是默认情况下,前端拿不到你定义的header字段。那么解决方式实际上是比较简单的,我的解决方案如下:response.reset();response.setHeader("Access-Control-

Caused by: org.springframework.beans.factory.support.BeanDefinitionOverrideException: Invalid bean

这个问题整到凌晨1:36,网上搜了很多个文章,解决方案都不对。有的都在乱说。这类问题很多都是英文文章,没见说明白的,中文解决方案几乎没有。另外也看到了类似的问题,其实这个问题就是重复扫描了。# # 问题描述:Caused by: org.springframework.beans.factory.support.BeanDefinitionOverrideExceptio...

springBoot 使用 SFTP

这篇文章转发别人的,挺不错的,过段时间把自己的分享出来。Spring Boot实现SFTP文件上传下载1.实现背景及现实意义近期由于系统迁移到docker容器,采用Spring Boot 框架实现微服务治理,在此基础上晚间批量文件服务器也由ftp改成sftp,由于之前ftp的实现是采用公具类的形式,在此基础之上,未屏蔽开发细节和依赖Spring Boot自动装配的特性,进行组件的自动装...

    共 115 条
  • 1
  • 2
  • 3
  • 12
  • 请选择