通过计算词语的词频，实现一个字典，字典键为名字，值为出现的次数，词频归一化 当前词语的出现次数/出现最多的词语次数-出现最少的词语次数，current_value/（max_value - min_value），循环每个词语的字段，最后构建字典{名字第一个字符:[(名字,对应频率),(),…]}，类似{“病”:[[“病毒感染”,0.1],[“病毒性上呼吸道感染”,0.001],]计算词频关键代码：

spark支持多种输入源常见3种数据源文件格式与文件系统spark可以访问很多种不同的文件格式，包括文本文件、JSON、SequenceFile、protocol buffer.Spark SQL结构化数据源包括针对JSON、Apache Hive在内的结构化数据数据库与键值存储spark自带库和一些第三方库，可以用来连接Cassandra、HBase、Elasticsearch以及JDBC源文件

spark主要的机器学习API是基于DataFrame的一组模型，它们包含在spark.ml包中。包的概述在顶层，该软件包公开了3个主要的抽象类：转换器、评估器、管道。转换器通常通过一个新列附加到DataFrame来转换数据。常用转换器：Banarizer:根据指定的阈值将连续变量转换对应的二进制值Bucketizer:与Banarizer类似，该方法根据阈值列表，将连续变量转换为多项值Hashi

pyspark数据预处理实践数据预处理目的数据可能由重复数据，异常数据，未观测数据，等问题，就算数据集可以视为干净的，未了清理数据集进行建模，还需要检查数据特征的分布并且确认它们符合定义的标准PySpark使用简介python中初始化sparkContext先创建一个SparkConf()对象配置应用，然后基于这个SparkConf()创建一个SparkContext对象conf = SparkC

减少目标定位的准确度减少背景干扰提高目标定位的准确度目标检测系统常用评价指标：检测速度和精度提高精度：有效排除背景，光照和噪声的影响提高检测速度：精简检测流程，简化图像处理算法算法概述：传统目标算法、基于候选区域的两步算法、基于回归的单步算法1.传统目标算法对于区域选择，传统目标检测最常用的两种模型是滑动窗口模型与缩放窗口模型。滑动窗口模型，顾名思义，是通过设计好的窗口在图像上进行滑动来检测目标。

一、基于MLlib的机器学习MLlib是Spark中提供机器学习函数的库，该库专为集群上并行运行的情况而设计MLlib设计理念：把数据以RDD形式表示，然后在分布式数据集上调用各种算法。归根结底，MLlib就是RDD上一系列可调用的函数的集合。注意:MLlib只包含能够在集群上运行良好的并行算法，包括分布式随机森林算法，K-means,交替最小二乘法等，如果用小规模数据集，单节点用scikit_l

stable-diffusion安装和简单测试

<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE log4j:configuration PUBLIC "-//APACHE//DTD LOG4J 1.2//EN" "http://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/xml/doc-files/log4j.d.

词袋模型（One-hot）词袋模型：最早的以词为基本处理单元的文本向量化方法，词袋模型通过先构建一个包含语料库中所有词的词典，然后根据词典完成对每个词的向量化，进而完成文本向量化。通过词典将所有的词向量化，每个词的向量长度都是词典的大小，然后向除了一个位置的元素是1，这个位置是词在词典中的index，其他元素全是0。这种表示方法称为one-hot向量表示，如下：watch = [0, 0, 0,

参考：https://zh-v2.d2l.ai/chapter_computer-vision/multiscale-object-detection.htmlR-CNN 及系列区域卷积神经网络region-based CNNR-CNNR-CNN首先从输入图像中选取若干（例如2000个）提议区域，并标注它们的类别和边界框（如偏移量）。用卷积神经网络对每个提议区域进行前向传播以抽取其特征。 接下来，