本文演示了，使用openwebui调用本地大模型，推理使用vllm,大模型是使用llamafactory微调过的。

满血deepseek-671b，8*H100

Cursor 一款高效的编辑器和协作工具，快速搭建和部署网站 ，无需繁琐配置。

NLP关注的是自然语言与计算机之间的交互。它是AI和计算语言学的主要分支之一。它提供了计算机和人类之间的无缝交互并使得计算机能够在机器学习的帮助下理解人类语言。Jieba分词,高效、灵活的中文分词工具在自然语言处理领域，中文分词是处理中文文本的基础任务之一。

Streamlit 是一个开源的 Python 库，专门用于快速构建和共享数据科学和机器学习应用。它允许开发者以极简的方式将 Python 脚本转换为交互式的 Web 应用，无需深入前端开发知识。Streamlit就是简单方便,在不需要非常复杂的前端页面情况下,该库就是理想选择,只需几行代码便将一个UI框架搭建起来.

Cursor 一款高效的编辑器和协作工具，快速搭建和部署网站 ，无需繁琐配置。

BERT作为一种强大的预训练语言模型，能够捕捉文本的丰富语义信息，为情感分析提供了强大的基础支持。借助Hugging Face的transformers库，我们只需为BERT“微调”一下，就能让它精准捕捉中文文本中的情绪脉络。本文详细的描述了整个神经网络从数据准备到训练的全过程，可以更好的理解模型的架构，以及如何来做一个自己的下游任务。

Llama 3.2 Vision是Meta公司推出的一款多模态大型语言模型（LLM），它支持文本和图像输入，并能够针对不同应用场景输出文本结果。该模型具备处理手写识别、光学字符识别（OCR）、图表和表格解释以及图像问答等功能。

应用场景，比如一个学校把自己所有题库放到一个大模型里面，经过训练，当模型学完所有题后，只要输入问题，可以查看每个题的答案，和解析。利用大模型，做自己下游应用，基本也就涵盖下面几个步骤。

从模型下载，格式转换，到最后的部署详细记录了每个步骤。