logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive三种元数据存储方式

hive本身不存储数据,借助hdfs存储数据,hive和关系型数据库一样是有表结构的,这些信息hive也存储在第三方软件中,如derby、mysql。根据元数据的存储方式,hive的部署可以分为三种:一,local模式采用内置的derby数据库存储元数据,这种方式只能有一个客户端访问hive,多个客户访问会报错,适合开发测试。配置hive-site.xml:<property><

数据采集-flume-实战

一,安装1,下载http://archive.apache.org/dist/flume/2,解压即安装3,删除一个jar包,这个包和hadoop中的包冲突rm /module/flume/lib/guava-11.0.2.jar删除之后要配置Hadoop_Home的环境变量4,配置文件将flume/conf下的flume-env.sh.template文件修改为flume-env.sh,并配置f

#hadoop#rpc
数据采集-sqoop-实战

一,sqoop同步数据的几种方案1,全量同步对于数据量小的表,采取全量同步的方式,不会对数据源造成压力,写入到目标时也不用太多处理。2,首次全量,后增量对于数据量大,历史数据不会更新的数据且每天有新增的数据,可以采用增量同步的方式。3,首次全量,后增量+更新对于数据量大,历史数据会更新的数据且每天有新增的数据,可以采用同步增量+更新的方式,这种方式需要数据有一个识别修改的字段,如modify_ti

#docker#数据库#mysql
windows10 修改java环境变量不生效

一、问题以前安装过安装版的jdk后,配置过环境变量,然后现在更换jdk版本且修改环境变量并不能生效,如原本安装了1.8,现更换为1.7,且配置了环境变量,但是java -version仍显示1.8。二、原因当使用安装版本的JDK程序时(一般是1.7版本以上),在安装结束后安装程序会自动将java.exe、javaw.exe、javaws.exe三个可执行文件复制到C:\Windows\System

#java#开发语言#后端
Java开发工具Idea的下载与激活

5,下拉找到[Version 2023.2],Windows下载exe文件,本文以Windows为例。2,进入官网之后点击[Support],点击浮窗左侧[Download and Install]6,下载完成之后点击安装,建议安装在D盘,安装过程非常简单,一直点击[Next],直到完成。4,进入下载界面,点击右下角的[Other versions]3,跳入如下新界面,点击Download进入下载

文章图片
#intellij-idea#java#ide
谷粒商城实战笔记-128-商城业务-商品上架-sku在es中存储模型分析-关键

的目的减少存储开销:不索引这些字段可以节省存储空间。提高性能:不需要维护索引,可以提高写入性能。简化查询:不需要考虑这些字段在查询中的使用。的目的减少存储开销:不存储文档级别的值可以进一步减少存储空间的需求。提高性能:不需要维护文档级别的值,可以提高写入性能。限制使用场景:不能基于这些字段进行排序或聚合。全文检索属性skuTitle被设计成全文检索属性,允许用户基于产品标题进行搜索。使用ik_sm

文章图片
#elasticsearch#大数据
阿里云es安装ik分词器

1,在es的目录下执行命令注意要选择和es一致的版本号./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.3.0/elasticsearch-analysis-ik-7.3.0.zip2, 安装成功后,重启es3,验证GET _analyze{"

扣子智能体实战-快速生成公众号爆款标题的智能体

如果是做公众号,那么标题就非常重要了,一个好的标题能担当得起80%的流量,可见其重要性。人类的起源,机器人的输出如下。这招是爆款标题的基石,很多大号都在用。要想一下子抓住读者眼球,标题中一定要含有吸睛关键词。让读者看到关键词,就觉得这篇文章与我有关,是我感兴趣的,从而产生点击阅读行为。关键词有 3类,一般来说,关键词越多,痛点越痛,就越能吸引点击。人们天生就对跟自己有关的事物感兴趣,将它们写在标题

文章图片
谷粒商城学习笔记-14-项目结构创建&提交到码云

①仓库名称,可以理解为工程名称。②仓库介绍,添加关于仓库的说明。③仓库权限设置,如果是公司项目,一般应该选择私有。如果选择公开,所有人可见。④开发语言,根据实际情况选择这个仓库的代码的语言。⑤添加.gitignore文件,这个文件很有必要,因为在本地开发环境,会生成很多中间文件,比如class文件,这些文件不用上传到仓库,.gitignore文件中描述了哪些文件不用上传到仓库,如下图**/targ

文章图片
#学习
谷粒商城实战笔记-265~268-商城业务-订单服务-订单确认页模型抽取和数据填充-Feign丢失数据问题

在请求多个信息时,我们使用了多线程,这就带来了一个问题,前面我们解决Feign丢失请求头的方案在多线程下,不再有效,丢失请求头的问题再度出现。在请求多个信息时,我们使用了多线程,这就带来了一个问题,前面我们解决Feign丢失请求头的方案在多线程下,不再有效,丢失请求头的问题再度出现。:在Feign远程调用过程中,创建了一个新的request,这个新request没有任何请求头,没把浏览器携带的请求

文章图片
#java
    共 36 条
  • 1
  • 2
  • 3
  • 4
  • 请选择