@R星校长1.大数据集群搭建及管理问题提出问题：需要搭建1000台服务器的集群，其中集群包含Hive、Hbase、Flume、Kafka、Spark等集群，需要多长时间搭建好？思考：搭建四台集群与搭建1000台集群的区别？比较相似。解决问题：（以搭建HDFS为例） 1.集群环境规划：  首先我们需要进行集群基础环境的规划：比如每台节点的网络ip规划，节点时间同步，每台节点的名称，每台节点安装jdk

@R星校长机器学习01【机器学习】主要内容Anconda安装使用python开发spark线性回归算法原理线性回归算法案例学习目标第一节 pySpark环境准备1).window配置python环境变量window安装python，配置python环境变量。安装python后,在环境变量path中加入安装的路径，cmd中输入python，检验python是否安装成功。注意：如果使用的是anacon

@R星校长Spark优化【Spark优化内容】主要内容Spark资源优化Spark并行度优化Spark代码优化内存调优Sparkshuffle优化堆外内存优化解决数据倾斜第一节 资源优化  1).搭建Spark集群的时候要给Spark集群足够的资源（core，memory）  在spark安装包的conf下spark-env.sh  SPARK_WORKER_CORES  SPARK_WORKER

@R星校长音乐数据中心平台1.1数据库与ER建模1.1.1数据库（DataBase）数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜，存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等

@R星校长hadoop 第一天Hadoop一共六天课程：分布式存储 两天MapReduce计算 两天案例 两天第一天内容安排1T文件操作（训练）hadoop起源（了解）HDFS架构（重点）数据块副本放置策略（重点）HDFS的权限（了解）hadoop的安全模式（理解）HDFS写文件流程（重点）HDFS读文件流程（重点）伪分布式搭建（熟练）热身1T文件操作的思考：分治思想单机处理大数据的问题集群分布式

@R星校长第2关：获取文章内容任务描述本关任务：编写一个爬虫，请求上一关获取的每个url，获取每篇文章的标题、作者、正文以及文章中全部图片的完整url。相关知识为了完成本关任务，你需要掌握xpath的基本使用。选取节点：路径表达式结果bookstore选取 bookstore 元素的所有子节点/bookstore选取根元素 bookstore。注：假如路径起始于正斜杠( / )，则此路径始终代表到

@R星校长第1关：查询学生平均分本关任务：根据提供的表和数据，查询平均成绩小于60分的同学的学生编号（s_id）、学生姓名（s_name）和平均成绩（avg_score），要求平均成绩保留2位小数点。（注意：包括有成绩的和无成绩的）student表数据：s_ids_names_sex01Mia女02Riley男03Aria女04Lucas女05Oliver男06Caden男07Lily女08Jac

@R星校长第4关：体育馆的人流量本关任务：某市建了一个新的体育馆，每日人流量信息被记录在gymnasium表中：序号 (id)、日期 (date)、 人流量 (visitors_flow)。请编写一个查询语句，找出人流量的高峰期。高峰期时，至少连续三行记录中的人流量不少于100。gymnasium表结构数据如下：iddatevisitors_flow12019-01-015822019-01-02

@R星校长第3关：查询各科成绩并排序本关任务：根据提供的表和数据，查询各科成绩，进行排序并显示排名，按学生编号（s_id）、课程编号（c_id）、学生成绩（s_score）和排名（rank）进行输出，具体效果请查看测试集。student表数据：s_ids_names_sex01Mia女02Riley男03Aria女04Lucas女05Oliver男06Caden男07Lily女08Jacob男co

@R星校长第2关：查询修课相同学生信息本关任务：根据提供的表和数据，查询与s_id=01号同学学习的课程完全相同的其他同学的信息（学号s_id，姓名s_name，性别s_sex）。student表数据：s_ids_names_sex01Mia女02Riley男03Aria女04Lucas女05Oliver男06Caden男07Lily女08Jacob男course表数据：c_idc_n.