logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

es 第23节-运用Pipeline实现二转聚合统计

### 2.Elasticsearch是文档型数据库,不是关系型数据库,不具备严格的ACID事务特性,任何企图直接替代严格事务性场景的应用项目都会失败!2.基于前置的分桶聚合,之后进行管道聚合。# 每个数据聚合阶段是一个环节,多个环节串联一起来,形成一个管道模型,上一个环节的聚合结果是下一个环节的输入数据。# 有些应用场景,分桶聚合之后的数据需要进行一些过滤,基于管道聚合很容易实现,有点类似与数据

文章图片
#elasticsearch#大数据#搜索引擎
es 第25节-运用Rollup减少数据存储

支持计算聚合函数:avg、max、min、sum、bucket_script 管道聚合、cardinality、filter、geo_bounds、geo_centroid、median_absolute_deviation、missing、percentiles、rare_terms、scripted_metric、terms、value_count、weighted_avg。# 1.与Roll

文章图片
#elasticsearch#大数据#搜索引擎
Elasticsearch 中实现个性化推荐搜索

商品数据存储使用存储商品的向量表示。其他字段(如标题、类别、价格)用于辅助搜索。用户画像包括兴趣标签、历史行为和嵌入向量。DSL 查询根据用户画像生成推荐查询。结合文本搜索、k-NN 搜索和布尔查询实现个性化推荐。向量化工具使用 Sentence-BERT 等模型生成商品和用户的向量。

文章图片
#elasticsearch#大数据#搜索引擎
使用Ollama通过预训练模型获取句子向量(rest api方式)

到这就可以通过接口调用把句子转为向量,然后就可以在elasticsearch中使用了~接口里有2个入参,model表示模型,prompt作为句子入参。2、搜索预训练模型(all-minilm),选择合适的操作系统。3、复制下载指令并下载。1、下载Ollama。

#深度学习#人工智能#搜索引擎 +1
3台CentOS虚拟机部署 StarRocks 1 FE+ 3 BE集群

动了三个配置:放开了storage_root_path 的注释,priority_networks修改为本机ip(注意2台机器的ip不同) ,增加了限制jvm的内存 JAVA_OPTS="-Xmx2048"放开了storage_root_path 的注释,priority_networks修改为本机ip ,增加了限制jvm的内存 JAVA_OPTS="-Xmx1024"2、下载源码 StarRoc

文章图片
#centos#linux#运维
Windows Anaconda使用Sentence-BERT获取句子向量

Anaconda是一个流行的Python数据科学平台,它包含了许多科学计算和数据分析的库,包括和。虽然不是必需的,但使用Anaconda可以简化环境管理和依赖安装的过程。可以从下载并安装Anaconda。为了避免不同项目之间的依赖冲突,建议为每个项目创建一个独立的虚拟环境。在虚拟环境中,通过pip安装和默认情况下,pip会从 pypi 的官方服务器下载包,这可能会因为网络问题导致速度较慢。可以切换

文章图片
#bert#人工智能#自然语言处理 +1
Elasticsearch Java High Level Client [7.17] 使用

es 的 HighLevelClient存在es源代码的引用,结合springboot使用时,会存在es版本的冲突,这里记录下解决冲突和使用方式(es已经不建议使用这个了)。es 7 high Level client 主要的集成问题还是在与springboot的版本冲突,这点解决掉就可以了,官方文档里都能找到使用说明。pom依赖文件如下,在 dependencyManagement 里解决spr

文章图片
#java#elasticsearch#开发语言
Elasticsearch Java API Client [8.17] 使用

下面是按照了城市维度分组,统计了每个城市下面业务类型数量、网络类型数量、sdk版本数量、平台数量、手机型号数量,以及最后一个是带条件过滤在统计的数据平均值。es8出了个新的JavaClient,相较于HighLevelClient少了对es源代码的引用,更加的轻便了,这里记录下使用方式。建议使用模版的方式创建索引,比如我下面的dsl语句规定了索引内字段的类型。有单个新增和批量新增,使用批量时最好把

文章图片
#elasticsearch#java#大数据
idea debug elasticsearch8.6.2 源码

该版本默认开启了权限,访问localhost:9200需要输入账号密码。打开idea es代码,配置debug参数,ok后运行。2、idea打开项目工程,设置gradle和jdk。1、下载源码 8.6.2 zip包 并解压。然后cmd bug模式启动源码。4、确定后等待初次构建完成。已经成功进idea断点中。5、cmd进入源码目录。在 idea打上断点。

文章图片
#elasticsearch#大数据#搜索引擎
解决win11拼音输入法占用idea shift+f6重命名

打开“设置”,然后“语言和区域-选项-微软拼音-常规”,滑倒最下面,找到“使用以前版本的微软拼音输入法”的选项,一开始是关闭的,把它打开就可以正常使用shift+f6重命名了。

文章图片
#idea
    共 16 条
  • 1
  • 2
  • 请选择