logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

第四章:数据存储-MySQL数据库-数据库查找操作

直接学习:https://edu.csdn.net/course/play/24756/280728MySQL数据库-数据库查找操作:sql = "select id , title from article where id >2 "cursor.execute(sql)执行完sql语句后,可以使用以下三种方法来提取数据:1.fetchone:提取第一条数据2.fetchal...

第四章:数据存储-MySQL数据库-数据库更新操作

直接学习:https://edu.csdn.net/course/play/24756/280730MySQL数据库-数据库更新操作语法:update [表名] 更新操作[条件]sql=" updatearticle set title ='钢铁是怎么炼成的'whereid = 4"cursor.execute(sql)...

sparksql建临时表的几种方式

sparksql任务中,有时需要建临时表,来实现一些代码逻辑,最后再进行不同临时表逻辑关联,以提高任务执行效率。下面介绍几种建临时表的方法。

#hive
数据治理:元数据管理 、数据血缘(补充学习)

目录一、什么是元数据管理?二、元数据管理价值:字段血缘分析的意义Change to true to enable this input configuration.Paths that should be crawled and fetched. Glob based paths.Glob pattern for configuration loadingSet to true to enable

#python#hive#big data
大数据之Spark:spark shuffle的优化

目录1.问题:spark shuffle如何优化?2.分析:3.优化方案3.1:算子方面3.2:参数调优1.问题:spark shuffle如何优化?2.分析:可以从两方面考虑,第一方面宽依赖算子可以产生shuffle,我们可以从算子的角度,进行优化;第二方面产生shuffle了怎么半,我们可以从参数调优方面考虑;3.优化方案3.1:算子方面1)当进行联合的规约操作时,避免使用 groupByKe

《DAMA数据管理知识体系指南》读书笔记-第三章(数据治理)

一、前言本文是《DAMA数据管理知识体系指南》第三章的读书笔记,主要讲述如何进行数据治理,是全书的最为关键章节之一(按照CDMP考试认证的内容占比高达11%)。由于本章内容较多,且内容相对比较硬核,因此全文篇幅略长。全文约6000字,在手机上阅读可能会略有不便,主要内容参看思维导图即可(为方便大家阅读,思维导图总结较为详细),详细阅读建议大家收藏后在pc端进行。二、内容结构本章节内容比较丰富,首先

#大数据
吴恩达深度学习笔记:卷积神经网络(Foundations of Convolutional Neural Networks)4.5-4.6

最近,卷积神经网络最有趣的应用是神经风格迁移,在编程作业中,你将自己实现这部分并创造出你的艺术作品。什么是神经风格迁移?让我们来看几个例子,比如这张照片,照片是在斯坦福大学拍摄的,离我的办公室不远,你想利用右边照片的风格来重新创造原本的照片,右边的是梵高的星空,神经风格迁移可以帮你生成下面这张照片。这仍是斯坦福大学的照片,但是用右边图像的风格画出来。为了描述如何实现神经网络迁移,我将使用𝐶来表示

文章图片
#深度学习#cnn
大数据之Hive:get_json_object函数使用

目录1.数据2.取出第一个json对象3.取出第一个json的age字段的值4.复杂案例1.数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]2.取出第一个json对象hive (gmall)>select get_json_object('[{"name":"大郎","sex":"男","ag

Hive之解析Json数组

目录Hive自带的json解析函数1、get_json_object函数2、json_tuple函数Hive解析json数组一、嵌套子查询解析json数组二、使用 lateral view 解析json数组Hive自带的json解析函数1、get_json_object函数语法:get_json_object(json_string, ‘$.key’)说明:解析json的字符串json_strin

#json#hive#hadoop
数据结构与算法之美学习笔记:54 | 算法实战(三):剖析高性能队列Disruptor背后的数据结构和算法

本节课程思维导图:Disruptor 你是否听说过呢?它是一种内存消息队列。从功能上讲,它其实有点儿类似 Kafka。不过,和 Kafka 不同的是,Disruptor 是线程之间用于消息传递的队列。它在 Apache Storm、Camel、Log4j 2 等很多知名项目中都有广泛应用。之所以如此受青睐,主要还是因为它的性能表现非常优秀。它比 Java 中另外一个非常常用的内存消息队列 Arra

文章图片
#算法#数据结构
    共 24 条
  • 1
  • 2
  • 3
  • 请选择