logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

在hive、Spark SQL中引入窗口函数

一、Hive中的分析函数  分析函数主要用于实现分组内所有和连续累积的统计。分析函数的语法结构一般是: 分析函数名(参数) OVER (PARTITION BY子句 ORDER BY子句 ROWS/RANGE子句)。 即由以下三部分组成: 分析函数名:如sum、max、min、count、avg等聚集函数以及lead、lag行比较函数等; over: 关键字,表示前面的函数是分析...

机器学习实战(八)02-树回归基础篇之树模型

一、模型树在回归树的基础上,叶子节点是常数值,如果这些叶子结点设定为分段线性函数,这里的所谓的分段线性是指模型有多个线性片段组成。该算法的关键在于误差的计算:怎么找到最佳切分点,应该怎样计算误差,首先对于给定的数据集,应该先用线性的模型对它拟合,然后计算真实目标值和模型预测值的差值,最后将这些差值的平方和得到所需的误差。注:线性回归(最小二乘)通过最小化平方误差,求解回归系数w。即平方误...

机器学习实战(二)决策树 (Peter Harrington著)

决策树基础概念一、前言本文出现的所有代码,均可在官网下载 下载地址:https://www.manning.com/books/machine-learning-in-action二、决策树决策树是什么?决策树(decision tree)是一种基本的分类与回归方法。举个通俗易懂的例子,如下图所示的流程图就是一个决策树,长方形代表判断模块(d...

#机器学习
深度学习笔记目录大全(吴恩达)

https://blog.csdn.net/red_stone1/article/details/80207815第一周:深度学习引言(Introduction to Deep Learning)1.1 欢迎(Welcome)1.2 什么是神经网络?(What is a Neural Network)1.3 神经网络的监督学习(Supervised Learning with Ne...

深度学习(四)卷积神经网络-人脸识别和神经风格转换(4) -Andrew Ng

一、基础知识1.1什么是人脸识别?首先简单介绍一下人脸验证(face verification)和人脸识别(face recognition)的区别。人脸验证:输入一张人脸图片,验证输出与模板是否为同一人,即一对一问题。人脸识别:输入一张人脸图片,验证输出是否为K个模板中的某一个,即一对多问题。一般地,人脸识别比人脸验证更难一些。因为假设人脸验证系统的错误率是1%,那么在人脸...

深度学习Python (二) pytorch、Keras、TensorFlow之间的区别

一、Keras、TensorFlow关系TensorFlow是最著名的用于深度学习生产环境的框架。它有一个非常大非常棒的社区。然而,TensorFlow的使用不那么简单。另一方面,Keras是在TensorFlow基础上构建的高层API,比TF(TensorFlow的缩写)要易用很多。Keras的底层库使用Theano或TensorFlow,这两个库也称为Keras的后端。无论是Thean...

大数据挖掘与机器学习笔记

目录机器学习(周志华)第一章 绪论第二章 模型评估和选择机器学习(周志华)第一章 绪论1.1 什么是机器学习使用以往的数据(经验),去训练某种模型,然后利用此模型预测未来。Tom Mitchell 给出更形式化的定义:1998年Tom Mitchell对机器学习给出了一个更加正式的定义:A computer program is said to le...

#数据挖掘#机器学习
大数据Hive和Impala经典分析

一、Impala是什么???Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。Im...

    共 31 条
  • 1
  • 2
  • 3
  • 4
  • 请选择