本文介绍了命名实体识别(NER)的三种实现方案及数据标注方法。方案一使用深度学习模型(Bert-CRF)，适合数据充足的特定领域；方案二通过大模型微调(Qwen)，平衡效果与成本；方案三Prompt驱动大模型(GPT-4)，适合零标注成本的快速迭代。在数据标注方面，详细说明了实体类型定义、BIO/BIOES标注体系以及JSON/XML格式的处理方法。建议根据具体场景选择方案，并采用兼容大模型和深度

如果你尝试过微调大模型，你就会知道，大模型的环境配置是非常繁琐的，需要安装大量的第三方库和依赖，甚至需要接入一些框架。但是大模型微调的方法又是非常类似的，那有没有一种工具可以统一这些操作，让大模型微调变成一个简单易上手的事情，LLaMa-Factory就是为了解决这个问题应运而生

由于大模型参数量非常庞大，所以我们常常需要用到分布式训练来解决训练过程中计算资源不足的问题，现在也出现了很多大模型相关的分布式训练框架，但是使用的比较多的还是deepspeed的数据并行，那么deepspeed是怎么实现数据并行的呢。

最近需要从huggingface上下载一个数据集，发现不能像模型那样能直接点击下载，需要通过代码来获取，很麻烦，谨以此博客作为记录

最近又在看自然语言处理了，发现了一个很好的网站，忍不住跟大家推荐一下，DuangDuangDuang，就是这个网址啦：https://easyai.tech/不得不说，对于初学者来说，十分的友好，内容浅显易懂、条理清晰，人工智能、机器学习、深度学习、NLP一应俱全！快去给我学！图片来自网站截图...

打开models.py文件，添加你要创建的表的信息打开终端，进入到 manage.py文件所在的目录下，执行命令`python manage.py makemigrations`，生成对应模型执行命令` python manage.py migrate`，生成对应的数据表

pyhton3.7创建虚拟环境就报错：AttributeError: ‘HTMLParser’ object has no attribute ‘unescape’本人网上搜索找到了最快的解决方法就是换别的方式创建虚拟环境安装 virtualenvpip install virtualenv用 virtualenv创建虚拟环境virtualenv H:\软工实训\项目\爬虫\spider\env其

关于详细的数据表生成见博文：https://blog.csdn.net/David_house/article/details/131385460?

本文介绍了命名实体识别(NER)的三种实现方案及数据标注方法。方案一使用深度学习模型(Bert-CRF)，适合数据充足的特定领域；方案二通过大模型微调(Qwen)，平衡效果与成本；方案三Prompt驱动大模型(GPT-4)，适合零标注成本的快速迭代。在数据标注方面，详细说明了实体类型定义、BIO/BIOES标注体系以及JSON/XML格式的处理方法。建议根据具体场景选择方案，并采用兼容大模型和深度

最近需要从huggingface上下载一个数据集，发现不能像模型那样能直接点击下载，需要通过代码来获取，很麻烦，谨以此博客作为记录