KMeansclass pyspark.ml.clustering.KMeans(featuresCol=‘features’, predictionCol=‘prediction’, k=2, initMode=‘k-means||’, initSteps=2, tol=0.0001, maxIter=20, seed=None, distanceMeasure=‘euclidean’)使用类似

01.导入模块，生成对象from pyspark.sql import SparkSessionfrom pyspark.ml.feature import VectorAssemblerfrom pyspark.ml.clustering import KMeans,KMeansSummaryspark = SparkSession.builder.config("spark.driver.ho

LDAclass pyspark.ml.clustering.LDA(featuresCol=‘features’, maxIter=20, seed=None, checkpointInterval=10, k=10, optimizer=‘online’, learningOffset=1024.0, learningDecay=0.51, subsamplingRate=0.05, opti

StandardScalerclass pyspark.ml.feature.StandardScaler(withMean=False, withStd=True, inputCol=None, outputCol=None)通过使用训练集中样本的列汇总统计数据去除均值并缩放到单位方差来标准化特征(归一化)“单位标准差”是使用校正后的样本标准差计算的，该标准差计算为无偏样本方差的平方根withM

Word2Vecclass pyspark.ml.feature.Word2Vec(vectorSize=100, minCount=5, numPartitions=1, stepSize=0.025, maxIter=1, seed=None, inputCol=None, outputCol=None, windowSize=5, maxSentenceLength=1000)Word2Ve

VectorIndexerclass pyspark.ml.feature.VectorIndexer(maxCategories=20, inputCol=None, outputCol=None, handleInvalid=‘error’)用于对 Vector 数据集中的分类特征列进行索引的类两种使用模式：​1.自动识别分类特征（默认行为）​这有助于将未知向量的数据集处理成具有一些连续特征和

Tokenizer是一个分词器​Tokenizer是将文本如一个句子拆分成单词的过程，在spark ml中提供Tokenizer实现此功能RegexTokenizer提供了跟高级的基于正则表达式匹配的单词拆分​默认情况下：​参数pattern(默认的正则表达式："\s+") 作为分隔符用于拆分输入的文本​用户将可将参数 gaps设置为false，指定正则表达式pattern表示为tokens，而不

1.容器状态：docker ps或者docker ps -a查看状态，本人容器中布置了两个数据库(base) [root@VM-16-5-centos ~]# docker ps -aCONTAINER IDIMAGECOMMANDCREATEDSTATUSPORTSNAMESe4c8ff1c8d6

1.容器状态：docker ps或者docker ps -a查看状态，本人容器中布置了两个数据库(base) [root@VM-16-5-centos ~]# docker ps -aCONTAINER IDIMAGECOMMANDCREATEDSTATUSPORTSNAMESe4c8ff1c8d6

准备工作：将mysql的jar包放在$SPARK_HOME/jars目录下1.生成一个SparkSession()对象，并导入相关的库和接口from pyspark.sql import SparkSessionfrom pyspark import SparkConf,SparkContext, SparkConfspark = SparkSession.builder.config(conf=