logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark分词工具

分词工具调研一、背景调研了两种分词工具:Ansj:https://github.com/NLPchina/ansj_segHanLP(https://github.com/hankcs/HanLP#7-极速词典分词)最终选择了HanLP二、Ansj利用DicAnalysis可以自定义词库:val forest = DicLibrary.get()if(forest ...

#中文分词#spark
Hive表类型及使用技巧-拉链表

拉链表一、数据加工和维护概念:所谓拉链表就是记录一个事物从开始 一直到当前状态的所有变化信息;通过比较,记录数据的生命周期,能够快速还原任意天的历史快照,而非全量的每天记录所有数据,因此极大节省了存储。一般表名后面xxx_chain数据加工方式:(1)拉链表中一般会存在一个字段“start_date”表示该记录的起始时间,不代表创建时间,非业务时间。一把会存在"createtime"...

#数据仓库#大数据
到底了