logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Spark 使用Python在pyspark中运行简单wordcount

0.参考文章Spark入门(Python版) Spark1.0.0 多语言编程之python实现 Spark编程指南(python版)1.pyspark练习进入到Spark目录,1.1 修改log4j.propertiesSpark(和PySpark)的执行可以特别详细,很多INFO日志消息都会打印到屏幕。开发过程中,这些非常恼人,因为可能丢失Pyt

python中,用pyspark读取Hbase数据,并转换为dataframe格式

需要完成的关键三个点分别是,设置好连接spark的配置,通过spark从hbase中将数据读进来为rdd格式,然后将rdd格式的数据转换成dataframe的格式。1、首先需要设置pyspark连接spark的配置,spark连接有sparkcontext和sparksession这两种方式,同时这两种方式之间可以互相转换,连接代码如下:(1)通过SparkConf和SparkContex...

基础扫盲篇--【强化学习】自动股票交易算法

用算法自动交易股票?今天给大家分享最近学习的一篇ICAIF 2020会议论文,《Deep Reinforcement Learning for Automated Stock Trading: An Ensemble Strategy》——深度强化学习在股票自动交易中的应用。背景想象你现在手上有一笔钱要拿来炒股,怎样能在坎坷的股市里获利或者换句话说怎样让钱生钱?思考这个问题之前,先来看看我们是怎么

#人工智能#机器学习
快速了解GCN(图卷积神经网络)综述综述综述

如何理解 Graph Convolutional Network(GCN)?https://www.zhihu.com/question/54504471推荐初学者可以先从知乎的这个问题出发,点赞最多的《从CNN到GCN的联系与区别——GCN从入门到精(fang)通(qi)》该篇文章非常详细且能够帮助初学者理解的讲述了GCN的大部分理论过程。再补充以后面几人回答的知识,便可以说对GCN有...

深度学习如何做特征工程?

“深度能自动获取特征”只是对某些领域而言的。实际上深度学习只是能自动对输入的低阶特征进行组合、变换,得到高阶特征。对于图像处理之类的领域来说,像素点就可以作为低阶特征输入,组合、变换得到的高阶特征也有比较好的效果,所以看似可以自动获取特征。在其他领域的情况就不是这样了。例如自然语言处理中,输入的字或词都是离散、稀疏的值,不像图片一样是连续、稠密的。输入原始数据进行组合、变换得到的高阶特征并不是

李纪为:用于对话生成的深度强化学习

译者按:本文第一作者 Jiwei Li (李纪为) 是斯坦福的 Ph.D ,是一位在神经网络和 NLP 领域非常高产的作者。在之前发布的自然语言处理 2012-2016 年顶级会议作者统计中,他以 14 篇顶级会议论文第一作者的数据排名第一。本篇文章刚刚发布,是一篇探索性的文章,文章结合了目前主流的 sequence-to-sequence 模型和强化学习算法,在之前工作的基础上,利用一种 Alp

MLP(多层神经网络)与人工神经网络

ANN的特点(1) 高度的并行性人工神经网络是由许多相同的简单处理单元并联组合而成,虽然每个单元的功能简单,但大量简单单元的并行活动,使其对信息的处理能力与效果惊人。(2) 高度的非线性全局作用神经网络系统是由大量简单神经元构成的,每个神经元接受大量其他神经元的输入,通过非线性输入、输出关系,产生输出影响其它神经元。网络就是这样互相制约相互影响,实现从输入状态空间到输出状态空间非线

########全面回顾Graph深度学习,一文看尽GNN、GCN、GAE、GRNN、GRL

昨天,阿里巴巴达摩院发布2019十大技术趋势,其中就包括“超大规模图神经网络系统将赋予机器常识”:单纯的深度学习已经成熟,而结合了深度学习的图神经网络将端到端学习与归纳推理相结合,有望解决深度学习无法处理的关系推理、可解释性等一系列问题。强大的图神经网络将会类似于由神经元等节点所形成网络的人的大脑,机器有望成为具备常识,具有理解、认知能力的AI。此前,新智元曾经报道过清华大学孙茂松教授组对...

Multimodal Deep Learning(多模态深度学习)未完待续

摘要:本文提出一种在深度网络上的新应用,用深度网络学习多模态。特别的是,我们证明了跨模态特征学习——如果在特征学习过程中多模态出现了,对于一个模态而言,更好的特征可以被学习(多模态上学习,单模态上测试)。此外,我们展示了如何在多模态间学习一个共享的特征,并在一个特别的任务上评估它——分类器用只有音频的数据训练但是在只有视频的数据上测试(反之亦然)。我们的模型在CUAVE和AVLett...

Multimodal Deep Learning(多模态深度学习)未完待续

摘要:本文提出一种在深度网络上的新应用,用深度网络学习多模态。特别的是,我们证明了跨模态特征学习——如果在特征学习过程中多模态出现了,对于一个模态而言,更好的特征可以被学习(多模态上学习,单模态上测试)。此外,我们展示了如何在多模态间学习一个共享的特征,并在一个特别的任务上评估它——分类器用只有音频的数据训练但是在只有视频的数据上测试(反之亦然)。我们的模型在CUAVE和AVLett...

    共 126 条
  • 1
  • 2
  • 3
  • 13
  • 请选择