处理大数据： 如果你有成千上万的文件、日志数据，或者每天需要处理几百 GB 的数据量，Spark 是一个理想的工具。在需要反复计算的数据任务中，如迭代式的机器学习算法，它有很大的优势。1、高速处理： Spark 能够将数据加载到内存中进行计算，相比于传统的 Hadoop MapReduce，它的迭代计算速度要快很多，特别是在处理需要多次操作的数据集时（例如机器学习任务）。分布式和容错性： Spar

最近面试的时候，很多面试官问道了我项目中的一些评价指标的算法和原理，我觉得这确实也是一个很重要的内容，所以趁这个机会综合起来一块复习一下，在刷力扣的时候也不能忘记项目最常用的内容嘛。它们都表示模型在所有实际为正类的样本中，正确预测为正类的比例。：计算误差的绝对值与真实值的比率的平均值，反映相对误差。：实际为正类的样本中，正确预测为正类的比例。：预测为正类的样本中，真正为正类的比例。

LLaMA是 Meta 开发的开源大型语言模型，用于执行多种 NLP 任务。Ollama是一个工具或平台，允许用户在本地运行和管理多个语言模型，包括 LLaMA。它简化了 LLM 的运行流程，使用户可以通过命令行轻松调用和实验模型。因此，LLaMA 是一个模型本身，而Ollama 是一个工具，用于运行包括 LLaMA 在内的多种大语言模型。

对每个NLP任务的原理和步骤的详细讲解。每个任务的实现依赖于特定的模型架构和数据处理方法，理解这些原理有助于在实际应用中选择合适的方法和工具。

大语言模型（LLM）常常具有数十亿到数千亿个参数，能够做nlp任务。常用的大语言模型包括 GPT、BERT 和 T5和 LLaMA 等。

BLEU是一种自动评估生成文本与参考文本相似性的指标，主要用于机器翻译。它通过计算n-gram的重叠程度来判断生成文本的质量。ROUGE是一组用于自动评估文本生成质量的指标，主要用于文本摘要。它通过计算生成文本与参考文本之间的重叠情况，尤其关注召回率。

Lora通过添加低秩的矩阵，使得只需要微调少量参数，而不是整个模型。这样就可以用比较小的代价去处理我自己的任务，虽然bert本身不算一个特别巨大的模型，但是作为实践，还是可以尝试吧lora引入进去当作一个实践，从简单到困难需要循序渐进嘛。由于我已经理顺了一次lora的原理，对于个人简单来说就是外接一个新的A和B矩阵，来训练新的小小矩阵去×原本的大大模型，这样只训练小矩阵的成本就能大大降低，而且由于

Agent（智能体）是一个能够感知环境并采取行动的自主实体，通常被设计用于在特定的环境中执行任务。智能体可以通过学习、推理等方式来决策，目标是最大化某种效用或实现某个预定的目标。它们广泛应用于自动化系统、游戏AI、机器人、自然语言处理、推荐系统等领域。

LLaMA是 Meta 开发的开源大型语言模型，用于执行多种 NLP 任务。Ollama是一个工具或平台，允许用户在本地运行和管理多个语言模型，包括 LLaMA。它简化了 LLM 的运行流程，使用户可以通过命令行轻松调用和实验模型。因此，LLaMA 是一个模型本身，而Ollama 是一个工具，用于运行包括 LLaMA 在内的多种大语言模型。

通过熟悉这些术语，你可以更有效地参与竞赛，与社区互动，并更快地提升你的数据科学技能。为了帮助初学者快速掌握Kaggle的术语，Kaggle提供了由。制作的视频，介绍常用的Kaggle术语。