logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hadoop大数据优化之数据倾斜

一直想写一篇关于数据倾斜的问题,面试必问,可自己又没有碰见过,一直难以下手,最近公司大佬讲述了一节关于数据倾斜的课程,对数据倾斜有了更深的理解,于是想记录一下。

#hadoop#spark#big data
2023秋招——大数据研发工程师提前批一面

2023秋招百度提前批面经复盘,刚出炉,还是热乎的。

文章图片
#面试#职场和发展#大数据
Hadoop之数据仓库概述

????大家好久不见了,最近实习比较忙,但也在实习过程中发现了自己的不足,今天我们就来讲一讲数据仓库的建设(大厂数据开发实习)有很完整的数仓体系,所以这方面的知识是需要进行系统学习的。有必要说明,本文是在流行的大数据分布式存储和计算平台Hadoop上设计实现数据仓库。1.数据仓库1.1 数据仓库的历史数据仓库的概念可以追溯到20世纪80年代,当时IBM的研究人员开发出了“商业数据仓库”。本质上,数

#大数据#数据仓库#hadoop +1
大数据之kafka简介

????已经2个星期没写博客啦,今天接上,我们今天来介绍大数据实时同步中一个非常重要的部分——消息队列kafka,在实时处理领域,kafka可谓是出名至极,在介绍它之前,我们先来介绍一些基础知识。1.分布式的用户在计算机网络中,我们都知道,每一台机器都有自己的ip地址,而IP地址也是我们找到服务器的依据,由于IP地址过于难记,我们就有了域名(www.baidu.com),将IP地址与域名一一对应,

#kafka#spark
python深度学习之TCN实例

1.TCN的介绍近些年,关于时间序列、自然语言处理等任务大家一般都会想到RNN、LSTM、GRU,一维CNN以及后面延伸出的Bi-Lstm、ConvLstm等等,这是因为RNN天生可以记住以前时段的信息,而传统的神经网络并不具有这个功能。卷积神经网络和循环神经网络作为深度学习的两大支柱,已近被越来越多的学者进行研究。在最近的研究之中,特定的卷积神经网络结构也可以达到很好的效果,比如Goolgle提

#神经网络#深度学习#网络
python机器学习之识别自己的手写数字

#关于神经网络的手写体分类并测试import tensorflow as tffrom PIL import Imageimport numpy as npmodel_path="/home/cc1997/Desktop/model_save/mnist.ckpt"model=tf.keras.models.Sequential([tf.keras.layers.Flatten(),tf.kera

#神经网络#python
Python安装llama库出错“metadata-generation-failed”

Python安装llama库出错“metadata-generation-failed”

文章图片
#python
数据产品读书笔记——认识数据产品经理

🌻大家可能听说的更多是产品经理这个角色,对数据产品经理可能或多或少了解一些,但又不能准确的描述数据产品经理的主要职能和与其他产品的不同,因此通过读一些书来对数据产品经理有一个准确且全面的认知。

文章图片
#产品经理#大数据
Hadoop数仓建设之指标管理

????今天主要想和大家介绍一下数据仓库的建设中关于数据表的设计,我们这里主要讲述当下较为流行的流式数据模型,往期的内容大家可以查看下面????:第一篇: Hadoop之数据仓库概述.第二篇: hadoop数仓建设之日志采集.第三篇: Hadoop数仓建设之数据同步.第四篇: Hadoop数仓建设之数据模型.????最近实习里自己负责了一个小项目,因为前面两个项目的数据仓库的设计都是带我的姐姐设计

#hadoop#big data#python
leetcode中的python技巧

🎮本博客会不断记录leetcode刷题中的一些常用的函数,可以让大家不用导包,快速解决一些编程中的问题。

#python#算法#leetcode
    共 105 条
  • 1
  • 2
  • 3
  • 11
  • 请选择