前面几篇主要是sparkRDD相关的基础，也使用过textFile来操作过本机的文档。实际应用中，操作普通文档的机会不多，更多的时候是操作kafka的流和Hadoop上文件。下面我们就在本机搭建一个Hadoop环境。1 安装配置Hadoop首先下载Hadoop的压缩包，http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.3/h

之前举例使用jpa、Hibernate多是以mysql为例，这次因为需要使用一个内嵌式数据库，选择了sqlite，网上多是讲一些sqlite的api封装的框架。这里我们还是使用jpa、Hibernate来操作sqlite。新建一个Springboot项目，pom如下：<?xml version="1.0" encoding="UTF-8"?&a

pinpoint是一个开源的java监控项目，也是分布式监控项目中比较知名的。网上有比较多的pinpoint部署指南，但都是基于主机部署的，这一篇主要是讲将pinpoint部署到docker中，并监控同样部署在docker的Springboot项目。pinpoint包含4个部分，hbase，collector，web，agent。docker部署HBaseDockerfile如下：# DES

主要是看一下如何在linux及mac上安装docker，创建docker镜像，部署SpringBoot项目到docker，并借助于DaoCloud进行docker镜像下载加速等。我用的电脑是mac，本身并不支持docker，需要安装Docker ToolBox才能使用Docker。由于大部分情况下线上服务器都是linux，所以这里先以linux下Docker的使用为例，后面再讲在mac上部署Doc

转载自：https://my.oschina.net/amui/blog/1633904激活函数的意义（需要激活函数的理由）激活函数是神经网络的一个重要组成部分。如果不用激活函数（即相当于激活函数为f(x)=x），在这种情况下，网络的每一层的输入都是上一层的线性输出，因此，无论该神经网络有多少层，最终的输出都是输入的线性组合，与没有隐藏层的效果相当，这种情况就是最原始的感知机。正因为上面的原因，才

 开始学习spark ml了，都知道spark是继hadoop后的大数据利器，很多人都在使用spark的分布式并行来处理大数据。spark中也提供了机器学习的包，就是MLlib。MLlib中也包含了大部分常用的算法，分类、回归、聚类等等，借助于spark的分布式特性，机器学习在spark将能提高很多的速度。MLlib底层采用数值计算库Breeze和基础线性代数库BLAS。还是从hell...

目前自定义TTS（文字转语音）技术已经比较成熟了，在很多场景都有运用。比较常见的多是一些系统预制好的音色，然后提供文字，即可出来这个音色出来的音频。随着AI技术的不断发展，以及大家对自定义音色的产品诉求有所增加（譬如导航用自己的声音、用女神的声音、录别人一段音然后假装是这个人说话），现在也能比较容易的实现自己录一段音频，然后以此为模板，后续生成该音色的音频，即语音复刻功能。下面我们用java实现一

记录一下最入门的例子。一：安装elasticsearch。在mac上很简单，brew install elasticsearch。安装完成后启动，brew services start ElasticSearch就可以了。然后访问http://localhost:9200/，出现一个json串的界面就OK了。9200是http的端口，9300是给java用户的端口。如果是linux，看看这篇ht

SpringCloud的网关gateway提供了多个内置Filter，其中addRequestHeader是添加header的，这个无坑，比较简单。还有一个添加参数的，addRequestParameter，这个就有点问题了。具体往下看。版本如下，请注意Springboot版本，这是本篇Post请求异常的关键。1 对应的uri只能是get请求看一个简单的示例，addReques...

之前写过一篇使用redisson完成简单的分布式锁的文章，https://blog.csdn.net/tianyaleixiaowu/article/details/90036180在redisson之前，很多人可能已经自己实现过基于redis的分布式锁，本身原理也比较简单，redis自身就是一个单线程处理器，具备互斥的特性，通过setNx，exist等命令就可以完成简单的分布式锁，处理好超时..