本文介绍了四种常见的文本表示方法：One-hot编码、Word Embeddings、Word2Vec和FastText。One-hot编码通过创建对角矩阵表示分类变量，避免数值间的序关系误导模型。Word Embeddings将词汇转化为数字向量，通过神经网络优化词向量表示。Word2Vec（包括CBOW和Skip-gram）利用上下文信息构建词向量，并通过负采样提高效率。Glove引入全局共现

在第二个阶段，人类比较辛苦，需要收集大量的资料来告诉模型什么是对的，而到了第三阶段，人类比较轻松，模型对某个问题会给出两个答案，人类只需要判断哪个答案更好一些即可。大型语言模型在训练的过程中，需要不断调整超参数以实现效果的最佳化，因为训练可能会失败，需要更换一组超参数重新训练，超参数的数量是上亿级的，需要大量的算力支持。但是，过度跟虚拟人类学习，训练出来的结果也是有偏差的，今天一些大语言模型的一些

2025年是技术成长与突破的一年，围绕编程基础、Web开发、算法能力和AI探索四个维度展开。系统学习了Java核心、Python多范式编程，完成前后端分离项目实践，并深入LeetCode算法训练。重点转向NLP和LLM领域，研究Transformer架构、预训练微调等核心技术。全年产出93篇技术博客，涵盖Java、Web、算法和AI内容。展望2026年，计划深耕大模型应用、分布式系统，并参与开源贡

目前，流行的大型语言模型训练时的框架为和Pytorch，但是，在模型的演变历史当中，采用了各式各样的类神经网络框架。

本系列为笔者学习Javase的课堂笔记，视频资源为B站黑马程序员出品的《黑马程序员Java+AI智能辅助编程全套视频教程，java零基础入门到大牛一套通关》，章节分布参考视频教程，为同样学习Javase系列课程的同学们提供参考。