hdsf 本质上就是一个分布式文件系统，只是相对于普通计算机来说，它可以很容易横向扩展，自带高可用机制。我们要在Hadoop做MapReduce计算的时候，就需要把写好的程序打成jar包放到hdfs上。hadoop提供多种方式方式让你能够把文件放入hdfs，比如 自带的shell命令行客户端put命令，java客户端的FileSystem，REST的HDFS API（WebHDFS与HttpFS.

建模1、模型定义-销售数据库（saledb）顶点继承自属性人（Person） 姓名（name）性别（sex）出生日期（birthday）员工（Employee）V、Person工号（workerNo）客户（Customer）V、Person...

引言数字转型对不同的人意味着不同的东西，这取决于你的行业和你的业务性质。然而，所有的解释都有一个共同的主线，数据和数据治理的重要性。近年来，大家都在谈论数据逐步或已经成为企业的核心资产，数据驱动企业业务开展已经在不同的行业和企业中发挥着巨大的作用，那么作为企业的核心资产数据，如何进行管理是不同企业在进行全面数字化转型需要考虑的一个重要事情。关于元数据概念的文章网上有不少，本文主要探讨一般的企业..

背景介绍最近调到大数据部门，Spark属于大数据非常重要的基础组件，研究研究也是非常必要的，现实验安装一下，以便对其部署运行机制有个深刻的认识。实验环境实验环境：Win7下vmware虚拟机操作系统：CentOS 6.5 x64JDK：jdk-8u161-linux-x64Scala：scala-2.12.4Hadoop：hadoop-2.7.5Spark：spar...

背景介绍最近研究大数据，大数据很多组件都需要zookeeper进行管理，理解zookeeper运行原理，安装配置，参数设置对后续大数据深入打下一个好基础。Zookeeper用java开发，所以安装的时候需要先JDK。实验环境实验环境：Win7下vmware虚拟机操作系统：CentOS 6.5 x64JDK：jdk-8u161-linux-x64Zookeeper：zook...

实验环境实验环境：Win10下vmware虚拟机操作系统：CentOS-7-x86_64-Minimal-1804JDK：jdk-8u131-linux-x64安装neo4j安装非常简单，安装好jdk后，把neo4j程序包解压出来修改一个配置，启动即可。安装JDK在/usr目录下建立目录/javacd /usrmkdir java把JDK安装包上...

实验环境实验环境：Win7下vmware虚拟机操作系统：CentOS 6.5 x64Clouder Manager：5.14.0CDH：5.14.0安装说明官方共给出了3中安装方式：第一种方法必须要求所有机器都能连网，由于最近各种国外的网站被墙的厉害，我尝试了几次各种超时错误，巨耽误时间不说，一旦失败，重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最...

最近在学习jvm，发现随着对虚拟机底层的了解，对java的多线程也有了全新的认识，原来一个小小的synchronized关键字里别有洞天。决定把自己关于java多线程的所学整理成一篇文章，从最基础的为什么使用多线程，一直深入讲解到jvm底层的锁实现。多线程的目的为什么要使用多线程？可以简单的分两个方面来说：- 在多个cpu核心下，多线程的好处是显而易见的，不然多个cpu核心只跑一个线程其他的核心

原文地址：http://www.chepoo.com/solrcloud-introduction.html一.简介SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案。SolrCloud是Solr的基于Zookeeper一种部署方式。Solr可以以多种方式部署，例如单机方式，多机Master-Slaver方式。二.特色功能

tomcatwindow下：catalina.batset "JAVA_OPTS=-server -Xmx1024m -Xms256m -verbose:gc -Xloggc:solr_gc.log -Dsolr.solr.home=D:/solr_home -DzkHost=127.0.0.1:2181 -Dbootstrap_conf=true -DnumShards=2" -