本文介绍了命名实体识别(NER)的三种实现方案及数据标注方法。方案一使用深度学习模型(Bert-CRF)，适合数据充足的特定领域；方案二通过大模型微调(Qwen)，平衡效果与成本；方案三Prompt驱动大模型(GPT-4)，适合零标注成本的快速迭代。在数据标注方面，详细说明了实体类型定义、BIO/BIOES标注体系以及JSON/XML格式的处理方法。建议根据具体场景选择方案，并采用兼容大模型和深度

如果你尝试过微调大模型，你就会知道，大模型的环境配置是非常繁琐的，需要安装大量的第三方库和依赖，甚至需要接入一些框架。但是大模型微调的方法又是非常类似的，那有没有一种工具可以统一这些操作，让大模型微调变成一个简单易上手的事情，LLaMa-Factory就是为了解决这个问题应运而生

由于大模型参数量非常庞大，所以我们常常需要用到分布式训练来解决训练过程中计算资源不足的问题，现在也出现了很多大模型相关的分布式训练框架，但是使用的比较多的还是deepspeed的数据并行，那么deepspeed是怎么实现数据并行的呢。

最近需要从huggingface上下载一个数据集，发现不能像模型那样能直接点击下载，需要通过代码来获取，很麻烦，谨以此博客作为记录

关于详细的数据表生成见博文：https://blog.csdn.net/David_house/article/details/131385460?

本文介绍了命名实体识别(NER)的三种实现方案及数据标注方法。方案一使用深度学习模型(Bert-CRF)，适合数据充足的特定领域；方案二通过大模型微调(Qwen)，平衡效果与成本；方案三Prompt驱动大模型(GPT-4)，适合零标注成本的快速迭代。在数据标注方面，详细说明了实体类型定义、BIO/BIOES标注体系以及JSON/XML格式的处理方法。建议根据具体场景选择方案，并采用兼容大模型和深度

最近需要从huggingface上下载一个数据集，发现不能像模型那样能直接点击下载，需要通过代码来获取，很麻烦，谨以此博客作为记录

因为文本不能够直接被模型计算，所以需要将其转化为向量。把文本转化为向量有两种方法：①转化为one-hot编码②转化为word embedding

下载地址：https://download.qt.io/archive/

步骤一创建一个弹窗页面，我们给该页面命名为dialogComponent，弹窗页面中要设置以下内容：<template><!--1.首先，弹窗页面中要有el-dialog组件即弹窗组件，我们把弹窗中的内容放在el-dialog组件中--><!--2.设置:visible.sync属性，动态绑定一个布尔值，通过这个属性来控制弹窗是否弹出--><el-dial