logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

风控大数据

风控在互联网金融和电商中有着不可取代的作用,涉及到金钱的交易那么风控就比不可少。在电商领域有黄牛占便宜,其实占到的是本属于平台商家让利于消费者的优惠,损害着平台、商家、消费者三方的利益。以往风控最主要的就是制定规则,于是便有登陆的规则,注册的规则,购物的规则,付款的规则等等,用这样的规则来规避相当一部分损失。随着大数据技术的发展,风控也应该紧跟大数据的步伐,从一个电商的角度来看,风控数据来自于电商

#大数据#金融
【漫谈数据仓库2】维度建模

0x00 前言前一篇已经对常用的几种数据模型做了简单的介绍,本篇主要对其中最常用的维度建模做一个深入的理解。0x01 什么是维度建模维度模型是数据仓库领域另一位大师 Ralph Kimball 所倡导,他的《The DataWarehouse Toolkit-The Complete Guide to Dimensona Modeling,中文名《数据仓库工具箱》,是数据仓库工程领域最流行的...

#数据仓库#大数据
vmware虚拟机装linux后,桥接模式设置linux为固定ip

linux 的网关地址设置为宿主机的ip,dns也要设置成宿主机的iphttp://www.cnblogs.com/freeweb/p/5335973.htmlhttp://www.ytyzx.net/index.php/%E5%A6%82%E4%BD%95%E8%AE%BE%E7%BD%AECentOS_7%E8%8E%B7%E5%8F%96%E5%8A%A8%E6%80%81%E5

#centos#linux#桥接模式
kibana启动--nohup在关闭终端后无效&&守护进程详解

进程讲解:在linux中用户启动一个任务,退出终端(session)后,这个任务不会转变成后台任务,这个问题会困扰很多人,这主要跟I/O、session、SIGHUP等有关。详细内容参考阮一峰老师的博客:http://www.ruanyifeng.com/blog/2016/02/linux-daemon.htmlkibana nohup启动方式在nohup启动kibana后,不要直接关闭掉sh

#linux
linux下安装nodejs及linux下解压tar.xz文件

1、下载nodejs的安装包2、解压该文件在linux下,大部分情况下不能直接解压tar.xz的文件。需要用xz -d xxx.tar.xz 将 xxx.tar.xz解压成 xxx.tar 然后,再用 tar xvf xxx.tar来解包3、修改/etc/profile文件 增加以下内容:#SET PATH FOR NODEJSexport NODE_HOME=/opt/node-v6

#linux
logstash中字符串的split,对每个子串进行json解析

最近遇到一个需求,大致是字符串用\t分割,每一个子串都是一个json串,需要用logstash对该字符串进行结构化处理,用于elasticsearch和可视化kibana。字符串格式如下:{"person":{"age":"11"}}this is the sample该字符串期望分割成两个字段,并对第一个字段进行json解析。最终达到下面的形式:field1:{field

#elasticsearch#json
logstash kafka多台机器取数据,只有一个实例消费【logstash2.3.4】

描述:首先kafka的partition数量为6,多台logstash服务机器的topic相同并且groupId也相同。当分别启动机器时,只有一台机器在消费kafka数据,并且总是最后启动的那台在消费。修改了zk时间等各种kafka配置均没有效果,最后不得不看ruby源码了。感觉kakfa的代码写的还是有点问题的。首先介绍logstash的input-kafka模块的代码结构kafka.rb --

#ruby#kafka
node-sass 安装报错解决办法

E:\kibana>npm install node-sass> node-sass@3.8.0 install E:\kibana\node_modules\node-sass> node scripts/install.jsCannot download "https://github.com/sass/node-sass/releases/download/v3.8.0/win32-x64

#npm
到底了