网上经常盛传 大数据=sql boy，后端开发=crud boy，算法工程师=调参boy在大数据领域也工作了好几年了，确实大数据开发，很多工作就是写sql，hive sql、spark sql、flink sql等等sql。

Gitee Go - Gitee.com

java jdk安装CentOS之yum安装JDK | 《Linux就该这么学》 (linuxprobe.com)mysql 安装Centos7上使用官方YUM源安装Mysql | 《Linux就该这么学》 (linuxprobe.com)

1.设置java 版本 pom文件<properties><maven.compiler.target>1.8</maven.compiler.target><maven.compiler.source>1.8</maven.compiler.source></properties>2.module language 一直改变

1.需要安装gradle参考：Gradle的安装与配置_wenchang-的博客-CSDN博客_gradle安装2.插件开发3.项目目录4.plugin.xml<idea-plugin><!--插件id--><id>com.xiaokai.test.demo</id><!--插件名称--><name>Demo</name

后端主要就是java、springboot，当然后来也试过写过一个Python版本的，基于flask，整体来说的话并没有太大区别(主要还是我Python也没那么熟写的不多但是没太大影响)，虽然很多大模型都主要提供的Python版本的api，我是用阿里开发的idea上的代码插件转换成java的，所以其实还好，不过还是建议大家用Python的比较好，因为现在确实很多大模型确实提供的Python方式更多

一、背景：从2004年开始，京东进军互联网线上化开始到至今，随着京东的高速发展，京东商城的订单量从万级到百万级、最终到达亿级。而对于实时的数据需求也是层出不穷，实时计算架构随着数据量的增长，不断进行革新。**二、京东实时计算架构演进之路**(1)订单量万级、百万级(以京东海外站为例)在订单量万级、百万级别的时候，也存在不少实时的数据需求，比如：商家需要看看自己每天的成交量、老板需要看看整体的成交金

Gitee Go - Gitee.com

缺点：部署依赖非常多，ElasticSearch、Hadoop、Livy、Spark等，离线处理主要依赖spark、实时处理主要以将流转成微批，采用Spark Streaming为主，技术栈 java、scala 前端 angular。横向可扩展功能较差、作业容错处理较差。优点:核心功能包括：数据质量监控、数据探查、数据对比，功能明细优于 Griffin；在我实习的第一家公司的时候，有幸参与Apa

通过jdk自带工具，jvisualvm.exe(在安装jdk8/bin目录下)添加JMX连接，即可看到如下界面。