一、环境搭建1、windows下spark环境搭建

一、定义泛型方法的格式二、调用泛型方法的语法格式三、解释1、定义泛型方法时，必须在返回值前边加一个<T>，来声明这是一个泛型方法，持有一个泛型T，然后才可以用泛型T作为方法的返回值。2、Class<T>的作用就是指明泛型的具体类型，而Class<T>类型的变量c，可以用来创建泛型类的对象。3、泛型方法要求的参数是Class<T>类型，而Class.f

1、hanlp理解HanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。2、hanlp参考gitHup地址https://github.com/hankcs/HanLP3、hanlp IDEA项目搭建(1)gitHub下载data数据包(2)下...

目录一、说明1、安装前环境准备2、学习成本3、安装二、安装1、下载：2、将下载的压缩包拷进相应的目录3、解压4、创建用户和用户组5、创建data和logs文件夹6、为新建用户赋权限7、进行配置8、进入es用户运行es9、页面登录三、遇到的错误1、bootstrap checks failed一、说明1、安装前环境准备ela...

目录一、理论依据1、说明2、saveAsHadoopFile算子(1)形式(2)解析说明3、MultipleOutputFormat二、代码实例1、SparkSaveAsHadoopFiles2、自定义RDDMultipleTextOutputFormat三、打包运行1、运行2、结果展示一、理论依据1、说明在spark实际项目应用中，总会...

1、elasticsearch默认安装目录2、主要目录说明类型说明位置bin⼆进制脚本，包含启动节点的elasticsearch。{path.home}/binconf配置⽂件包含elasticsearch.yml。{path.home}/confifig...

一、项目说明1、需求实时更新每个用户走的总步数；每隔5s统计一次，包括某个用户新统计时的时间、所在地点、新增步数；这里为了方便只将每个用户以及实时更新的步数总和两个维度保存到redis数据库中；2、大数据组件kafka:kafka_2.10-0.10.2.1spark:spark-2.2.0-bin-hadoop2.7redis:redis-3.0.03、...

目录一、说明：二、文档的新增1、新增文档(指定id)2、新增文档(不指定id)3、自动创建索引(1)打开auto_create_index开关(2)个不存在的索引新增文档三、文档的查看1、带固定id的查看2、查看多个文档四、修改文档1、修改文档字段值2、向_source增加一个字段3、从_source删除一个字段4、根据参数值更新指定文档...

一、说明1、由于数据量巨大的时候，单纯的Hbase查询就会变得比较慢。如果让Hbase查询再快一些，就要为其创建二级索引。为Hbase创建二级索引一般有两种思路，一个思路是使用phoenix为Hbase创建二级索引，另一个思路是使用es为Hbase创建二级索引。2、使用phoenix为Hbase创建二级索引的思路是可行，但是当查询条件变得很多时就变的很不灵活。比如我有二十个查询条件随机组合查询，每

一、anaconda3下载地址Anaconda | Individual Edition二、使用版本Anaconda3-2021.11-Linux-x86_64.sh三、操作步骤1、将Anaconda3-2021.11-Linux-x86_64.sh上传到linux的/home目录下；2、在/home目录下执行执行命令bash Anaconda3-2021.11-Linux-x86_64.sh3、