神经网络的灵魂在于非线性。从Sigmoid到ReLU到GELU，一文讲透三大激活函数——为什么需要它们，各自有什么优缺点，为什么大模型都选GELU。

比如给你“今天天气真”，模型会预测最可能的下一个词是“好”。大语言模型（Large Language Model，简称LLM）是一种基于深度学习的AI模型，通过海量文本数据训练而成，能够理解和生成自然语言。一个LLM的参数数量越多，通常能力越强。GPT-4据说有1.8万亿参数，而人脑大约有100万亿个突触连接——AI离人脑还有距离，但进步速度惊人！• DeepSeek（深度求索）• GPT系列（O