logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

三个例子,让你看懂数据仓库多维数据模型的设计

一、概述  多维数据模型是最流行的数据仓库的数据模型,多维数据模型最典型的数据模式包括星型模式、雪花模式和事实星座模式,本文以实例方式展示三者的模式和区别。二、星型模式(star schema)  星型模式的核心是一个大的中心表(事实表),一组小的附属表(维表)。星型模式示例如下所示: 三、雪花模式(snowflake schema)  雪花

编写第一个用scala写的spark任务,用sbt打包成jar,并单机模式下运行

一、编写第一个用scala写的spark应用:仿照spark的 quick-start的Self-Contained Applications写出第一个scala完整程序链接如下:http://spark.apache.org/docs/latest/quick-start.html即:/* SimpleApp.scala */import org.apache.sp

使用Hive读写ElasticSearch中的数据

原文链接:http://lxw1234.com/archives/2015/12/585.htm关键字:hive、elasticsearch、integration、整合ElasticSearch已经可以与YARN、Hadoop、Hive、Pig、Spark、Flume等大数据技术框架整合起来使用,尤其是在添加数据的时候,可以使用分布式任务来添加索引数据,尤其是在数据平台上,很

Elasticsearch 批量导入数据

前言Elasticsearch 是一款非常高效的全文检索引擎。Elasticsearch 可以非常方便地进行数据的多维分析,所以大数据分析领域也经常会见到它的身影,生产环境中绝大部分新产生的数据可以通过应用直接导入,但是历史或初始数据可能会需要单独处理,这种情况下可能遇到需要导入大量数据的情况这里简单分享一下批量导入数据的操作方法与相关基础,还有可能会碰到的问题,详细内容可以参考 官方

linux 查看应用程序进程号、端口

1.查看kafka对应的进程号ps aux | grep kafkaps -ef | grep kafka2.查看端口对应的进程号lsof  -i:90923.根据进程号查看对应的信息,比如端口啥的netstat anop | grep PID

协同过滤推荐算法的原理及实现

协同过滤推荐算法是诞生最早,并且较为著名的推荐算法。主要的功能是预测和推荐。算法通过对用户历史行为数据的挖掘发现用户的偏好,基于不同的偏好对用户进行群组划分并推荐品味相似的商品。协同过滤推荐算法分为两类,分别是基于用户的协同过滤算法(user-based collaboratIve filtering),和基于物品的协同过滤算法(item-based collaborative filtering

MySQL命令rename:修改表名

rename命令用于修改表名。rename命令格式:rename table 原表名 to 新表名;例如,在表MyClass名字更改为YouClass:    mysql> rename table MyClass to YouClass;当你执行 RENAME 时,你不能有任何锁定的表或活动的事务。你同样也必须有对原初表的 ALTER 和 DROP 权限,以及对新表的

八大机器学习框架对比及Tensorflow的优势

八大机器学习框架的对比:(1)  TensorFlow:深度学习最流行的库之一,是谷歌在深刻总结了其 前身 DistBelief 的经验教训上形成的;它不仅便携、高效、可扩 展,还能再不同计算机上运行:小到智能手机,大到计算机集群都 能;它是一款轻量级的软件,可以立刻生成你的训练模型,也能 重新实现它;TensorFlow 拥抱创新,有强大的社区、企业支持, 因此它广泛用于从个人到企业、从初创

Spark笔记:RDD基本操作(下)

上一篇里我提到可以把RDD当作一个数组,这样我们在学习spark的API时候很多问题就能很好理解了。上篇文章里的API也都是基于RDD是数组的数据模型而进行操作的。  Spark是一个计算框架,是对mapreduce计算框架的改进,mapreduce计算框架是基于键值对也就是map的形式,之所以使用键值对是人们发现世界上大部分计算都可以使用map这样的简单计算模型进行计算。但是Spark里

数据仓库多维数据模型基本概念

原文:http://blog.csdn.net/trigl/article/details/68944434#commentshttp://blog.csdn.net/u013063153/article/details/54964447主题(Subject)主题就是指我们所要分析的具体方面。例如:某年某月某地区某机型某款App的安装情况。主题有两个元素:一是各

    共 19 条
  • 1
  • 2
  • 请选择