logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据——十大基本算法之选择排序和插入排序

十大基本算法前言选择排序插入排序前言这边只是把选择排序和插入排序单独拿出来,如果想了解更多具体的十大基本算法,可以看我的上一篇转载的文章《十大基本算法介绍》。https://blog.csdn.net/dsjia2970727/article/details/107344795选择排序概念: 选择排序(Selection-sort)是一种简单直观的排序算法。它的工作原理:首先在未排序序列中找到最小

#大数据
大数据——Spark RDD算子(十一)保存操作saveAsTextFile、saveAsSequenceFile、saveAsObjectFile、saveAsHadoopFile

Spark RDD算子(十一)保存操作saveAsTextFile、saveAsSequenceFile、saveAsObjectFile、saveAsHadoopFilesaveAsTextFileScala版本存储到文件系统中指定压缩格式保存saveAsSequenceFilesaveAsObjectFileScala版本saveAsTextFiledef saveAsTextFile(pat

#大数据#hadoop#spark +2
大数据——hive插入动态分报错(Error during job, obtaining debugging information... )

hive插入动态分区报错在hive中插入动态分区时报错:原因解决办法动态分区的相关配置在hive中插入动态分区时报错:Error during job, obtaining debugging information…FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因创

#hive#大数据#hadoop
大数据——使用Java连接至Kafka

使用Java连接至Kafka使用Java连接至Kafka使用Java连接至Kafka创建一个topic,并查看详情[root@hadoop100 ~]# kafka-topics.sh --zookeeper 192.168.136.100:2181 --create --topic kb09two --partitions 3 --replication-factor 1[root@hadoop

#kafka#java#大数据 +2
大数据——Python数据爬取

Python数据爬取数据采集常用数据爬取工具安装配置Scrpy框架数据采集数据来源从网上爬取数据(crawling)从文件系统收集数据(scraping)文件、数据库等网络数据采集模型常用数据爬取工具第三方库实现爬取Requests、lxml灵活、简单PySpider爬虫框架提供WebUI界面编写及管理爬虫上手快,学习简单对Windows操作系统支持很差Scrapy爬虫框架功能强大可定制性强多线程

#python#java#大数据
大数据——HBase基础

HBase基础HBase概述HBase发展历史HBase用户群体HBase应用场景(一)HBase应用场景(二)HBase应用场景(三)HBase应用场景示例Apache HBase生态圈HBase物理架构概述HMasterRegionServerRegion和TableHBase逻辑架构-RowHBase数据管理HBase架构特点HBase ShellHBase服务启动HBase操作HBase基

#hadoop#hbase#大数据
大数据——项目实战之航班飞行网图分析

项目实战之航班飞行网图分析任务描述问题分析1:数据探索问题分析2:构建航班飞行网图问题分析3:统计航班飞行网图中机场与航线的数量问题分析4:计算最长的飞行航线任务描述需求概述探索航班飞行网图数据构建航班飞行网图使用Spark GraphX完成下列任务统计航班飞行网图中机场的数量统计航班飞行网图中航线的数量计算最长的飞行航线(Point to Point)找出最繁忙的机场找出最重要的飞行航线(Pag

#大数据#spark#数据分析
大数据——二维数组和Arrays类

二维数组和Arrays类冒泡排序二维数组定义初始化二维数组二位数组的遍历升序排列Arrays类比较两个数组是否相等对数组的元素进行升序排列将数组转换成字符串冒泡排序概念:冒泡排序是一种简单的排序算法。它重复地走访过要排序的数列,一次比较两个元素,如果它们的顺序错误就把它们交换过来。走访数列的工作是重复地进行直到没有再需要交换,也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换

#大数据
大数据——Logstash(日志收集)

Logstash(日志收集)ELK StackLogstash简介安装LogstashLogstash如何工作Logstash配置语法(一)Logstash配置语法(二)输入插件编解码器过滤器(一)ELK StackElasticsearch(存储+检索+分析),简称ESLogstash(日志收集)Kibana(可视化)Logstash简介具备实时数据传输能力的管道支持多种数据源输入支持多种过滤器

大数据——Spark RDD算子(十一)保存操作saveAsTextFile、saveAsSequenceFile、saveAsObjectFile、saveAsHadoopFile

Spark RDD算子(十一)保存操作saveAsTextFile、saveAsSequenceFile、saveAsObjectFile、saveAsHadoopFilesaveAsTextFileScala版本存储到文件系统中指定压缩格式保存saveAsSequenceFilesaveAsObjectFileScala版本saveAsTextFiledef saveAsTextFile(pat

    共 29 条
  • 1
  • 2
  • 3
  • 请选择