BM25和tf-idf算法

LLM

链路追踪

VC维度定义：对于一个指示函数集，如果存在h个数据样本能够被函数集中的函数按所有可能的2^h 种形式分开 ，则称函数集能够把h个数据样本打散（shatter）。函数集的VC维就是能打散的最大数据样本数目h。若对任意数目的数据样本都有函数能将它们shatter，则函数集的VC维为无穷大。VC维在机器学习中的意义还是很大的，它是统计学习理论用来衡量函数集性能的一种指标——VC维越大，则学习过程越复杂。

数据预处理：https://www.jianshu.com/p/ffbf2c0d0c94过滤法方差过滤：排除数值波动小的，from sklearn.feature_selection import VarianceThreshold相关性过滤卡方检验的本质是推测两组数据之间的差异，检验原假设是”两组数据是相互独立的”。卡方检验返回卡方值和P值两个统计量，可以根据P值筛选，p<=0.05或0.

whisper

大模型简介

Boosting集成学习总结

Chroma

LLM