强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理和神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。Prompt 提示词工程大多数人都在用，而且都会用，但是不一定写的好？很多人都在想怎么写好，更能满足自己的业务需求，或者实际场景。

1. 什么是位置嵌入？位置嵌入是一种用于编码序列中元素位置信息的技术。在Transformer模型中，输入序列中的每个元素都会被映射到一个高维空间中的向量表示。然而，传统的自注意力机制并不包含位置信息，因此需要额外的位置嵌入来补充这一信息。位置嵌入通常是一个可学习的参数矩阵，其大小为 [sequence_length, embedding_dim]。这意味着对于每个位置，都有一个对应的嵌入向量。这

在做微调训练时，鉴于业务场景的需要，可能会存在微调数据集中含有敏感词汇，譬如：自杀、跳楼等。而开源模型可能没有做敏感词汇的屏蔽工程。因此可能就会出现不可预控的现象，而我遇到的是，当我输入敏感词汇时，模型(基于ChatGLM3)大多数时候返回空，继续正常提问，还是空的。此时模型相当于已经挂了。普遍来看，敏感词汇的覆盖场景是比较多的，尤其是控制不了用户的输入，很有可能就会恶意或无意的输入敏感词，而模型

【EmoLLM项目提供了完善的中英文文档，包含了数据-微调-部署-RAG-评测-工具等全链路文档，并提供了社群支持答疑（见下文二维码）。本项目会持续活跃更新，欢迎关注star~】在线体验链接：EmoLLM-温柔御姐艾薇（aiwei）在线体验链接：https://openxlab.org.cn/apps/detail/ajupyter/EmoLLM-aiwei。

这里列几种常见的本地知识库技术方案，不一定全，排名不会先后。1、MaxKB开源代码地址：https://gitee.com/fit2cloud-feizhiyun/MaxKBMaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base，旨在成为企业的最强大脑。开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验

当前AI革命中，大模型发挥关键角色，其理论基础在于简单来说就是，随着数据、参数和计算能力的提升，模型能力增强，展现出小规模模型所不具备的“涌现能力”。众多AI企业推出开源大模型，规模按扩展定律实现指数增长。然而不可忽视另一趋势，大模型体积正逐渐精简，为私有化部署提供可能性。这在个人隐私保护要求高的场景中尤为重要。无需联网传输数据，直接在设备上运行的AI能增强用户信任。虽然云服务器上的AI可能性能更

随着人工智能技术的飞速发展,大语言模型(Large Language Models, LLMs)正在医疗健康领域掀起一场革命。近日,来自加州大学河滨分校和斯坦福大学的研究人员发表了一篇题为《Large Language Models in Healthcare and Medical Domain: A Review》的综述论文,全面梳理了大语言模型在医疗领域的应用现状、发展趋势以及面临的挑战。本

如图1所示，Ha和Schmidhuber [59] 的早期工作专注于抽象化外部世界，以深入理解其内在机制。与此相对，LeCun [98] 认为，世界模型不仅应当感知和建模现实世界，还应具备展望可能未来状态的能力，从而为决策提供指导。像Sora这样的生成视频模型代表了一种更加侧重于模拟未来世界演变的方式，因此，它们与世界模型的预测性方面更为契合。这引发了一个问题：世界模型应优先理解当前世界，还是预测

结构化、模板化编写大模型 Prompt 范式的思想目前已经广为传播并应用；结构化 Prompt 的思想通俗点来说就是。结构化 Prompt 可以有各种各样的模板，你可以像用 PPT 模板一样选择或创造自己喜欢的模板。在写 prompt 的时候，并不一定要包含所有4个元素，而是可以根据自己的需求排列组合。2、最终写出来的 Prompt 是这样的这类思维框架只呈现了 Prompt 的内容框架，但没有提

前言了解过Compose的同学都知道，只需要添加一个@Compose注解就可以将函数转化成Compose函数，同时Compose函数也只能在Compose函数中运行。这看起来似乎跟协程比较像，@Compose是不是也像协程一样，往函数中添加了一些参数呢？我们就一起来看下，@Compose到底做了什么，又是怎么做到的。前置知识一看到@Compose注解，我们很容易就想到注解处理器，但是@Compos