基础知识：spark是基于内存的大数据框架，紧密集成、 时效高、可迭代。spark是Scala写的，运行在JVM上。所以搭建spark环境需要安装jdk（1.7以上）、Scala、spark，hadoop环境不是必须的下载的网址可以百度到，不再赘述。但是注意版本问题：（我的）spark-2.4----- scala-2.12查看是否安装好下载解压后需要配置环境变量vi /etc/profileex

实现 grep 命令，grep 命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。比如有以下文本: #test.txtababdnskahcpkkcnwdklanabdckksnsacdkjkaha.........执行- grep “abd” test.txt 则执行的结果就是打印输出前两行的内容: ababdnskahcpk kcnwdklanabdc从磁盘中读取

sqoopSqoop是一款开源的工具，主要用于 在Hadoop(Hive)与传统的数据库 (mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例 如 ： MySQL ,Oracle ,Postgres等） 中的数据导进到Hadoop的HDFS中， 也可以将HDFS的数据导进到关系型数据库中。数据库<---->文件系统主要用于进行数据转移用sqoop来查看

2020.07.07 今天海大的面试刚刚结束，大概明天会出结果。今年是非常特殊的一年--新冠疫情，保研的情况也是非常的严峻，我们面临着这些情况：1. 几乎全部（目前全是）的学校都是线上进行夏令营活动，大部分学校只是利用夏令营进行宣传，即使营优也要参加后面的预推免，甚至某些学校竟然不面试，直接根据材料定营优（听说的）。2.M国还有其他很多国家目前疫情都还很严重，这一届准备要出国的学生（大佬们）也加入

1.安装c++环境先查看：安装：OK，现在就可以用vim编写c++程序了，自带了可能用到的头文件，不用自己下载，需要调试的话查看自己有没有安装gdb，没有的话安装上面的方法进行安装即可。试一下：helloWord.cpp一定注意在编译的时候 是 g++ xx -o xx (c++编译器)而不是gcc xx -o xx（c编译器）...

学科笔记第四次工业革命（智能化时代）的核心是物联网。由德国提出，中国借鉴提出“中国制造2025” 2015年列入《政府工作报告 》物联网、云计算、大数据、人工智能，构成闭环控制系统AIOT 人工智能+物联网物联网的起源 最早可以追溯到 比尔盖茨的《未来之路》物联网概念的普及和使用是在国际电信联盟发布的《ITU互联网报告2005》无锡被称为“中国物联网之都”...