已经在linux云服务器上搭建了hadoop和hive，现在通过hive往hdfs写入数据，并通过9870端口查看数据确认hadoop中相关进程已经开启，再开启hive，当前进程可通过jps命令查看[root@cloudmyc tmp]# jps4689 Jps2561 NodeManager2167 SecondaryNameNode1930 DataNode2428 ResourceManag

对数据聚合后计数以自建的一张成绩表CSDN_HAVING作为示例，有三个字段NAME、SUBJECT、SCORE，分别表示”姓名“、”学科“、”成绩“，表中共10行数据，包含张三、李四、王五、赵六四人的学科成绩，其中赵六只有英语成绩，另外三人有语文、数学、英语三门学科的成绩。NAME|SUBJECT|SCORE|----+-------+-----+张三|数学|80|张三|英语|90|张三|语文|

背景是在工作中，需要给业务方提供一堆明细数据，从数据库里取出来的明细数据超过csv文件打开的上限了，业务方没法用，所以就需要对其进行拆分先配置相关包并定义一个结果文件的存储路径...

使用pandas高效切分大型csv文件