logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据平台CDH 6.2.0 环境搭建

大数据平台CDH 6.2.0 环境搭建一、概述​Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。因为公司测试环境,...

#大数据
hadoop - habse 创建表时提示:error: org.apache.hadoop.hbase.PleaseHoldException: master is initialzing

ps : 本次总结是因为自己踩了不少坑。特此总结一下。大部分结论在网络上也可能存在。。。开发环境:1. hadoop 3.2.02.hbase-2.1.33. zookeeper-3.4.13环境搭建好了之后查看进程:[centos@s110 hbase-2.1.3]$ jps1810 NameNode2516 No...

java 对json 格式做参数格式校验

需求背景:在接口中,需要对返回的数据进行格式校验,对于不符合要求的返回数据就表示接口数据有变更,对于该接口及时了解到接口参数的变化。所以需要对接口返回的json 字符串进行格式校验。ps :接口返回参数有两种类型,一个是json 字符,另一种是xml .对应xml格式的数据,按照将xml 改成json 再进行校验。为了下次使用方便,特将该实现做出utils 以备下次使用...

Neo4j详解

Neo4j入门详解项目中某种特殊的场景,使用图形数据库比较有独特的优势。所以经过一个多月的奋战终于把项目上线了。本次使用上了图形数据库是neo4j社区版,因为数据量不到一个亿,只是关系比较复杂所以社区版基本上“够用”。后续货陆续分享,我对neo4j 社区版高可用相关方面的总结(探活,监控告警,热备,控制台等)本次将一些neo4j 的一些入门基础知识,做一次项目后的整理总结(ps : 有些知识点..

#nosql#spark
图形数据库neo4j 社区版数据同步构思

背景:neo4j 社区版不支持集群,顾存在单点故障问题。在使用过程中,发现neo4j 单节点运算处理能力大概在一亿范围内性能还是比较客观的。所以在生产环境中,假如数据量不是特别大的话可以使用社区版,前提是解决单点故障问题。构思:每部署一个neo4j服务就是一个单节点。假如在写数据的时候采用多写(或者数据同步)的方式,单其中一个节点挂了,其他节点及时顶上也是一种个不错的方案。那么如何进行多写或...

#neo4j#数据库#神经网络
到底了