大模型适配昇腾300I DUO服务器遇到的问题解决方案

自然语言处理的一个分支–自动问答系统本体（Ontology）的应用：（1）信息检索（2）自动问答分词停用此词处理相似度计算词语相似度计算句子相似度计算改

大模型适配昇腾300I DUO服务器遇到的问题解决方案

尝试了多种方法不行比如。最终解决该问题的方法是。

答：如果仅仅使用领域数据集进行模型训练，模型很容易出现灾难性遗忘现象，为了解决这个问题通常在领域训练的过程中加入通用数据集。主要与领域数据量有关系，当数据量没有那么多时，一般领域数据与通用数据的比例在1:5到1:10之间是比较合适的。答：通过分析发现现有的开源大模型进行预训练的过程中会加入书籍、论文等数据。主要是因为这些数据的数据质量较高，领域相关性比较强，知识覆盖率（密度）较大，可以让模型更适应

5.1概述基于案例推理（CBR,casebase reasoning）,是高级人工智能的一个比较成熟的一个分支。是基于过去的实际经验或经历的推理。基于案例推理对人工智能所做出的贡献主要表现在如下几个方面：（1）知识获取（2）知识维护（3）改进问题求解效率：基于案例推理复用过去的解答，无需同常规推理那样从头做起。（4）改进

答：如果仅仅使用领域数据集进行模型训练，模型很容易出现灾难性遗忘现象，为了解决这个问题通常在领域训练的过程中加入通用数据集。主要与领域数据量有关系，当数据量没有那么多时，一般领域数据与通用数据的比例在1:5到1:10之间是比较合适的。答：通过分析发现现有的开源大模型进行预训练的过程中会加入书籍、论文等数据。主要是因为这些数据的数据质量较高，领域相关性比较强，知识覆盖率（密度）较大，可以让模型更适应

解决该问题的步骤如下。

从ES索引库中读取数据的代码逻辑如下：#!/usr/bing/env python# -*-coding:utf-8-*-# author:xx# datetime:21-x-x 下午xx:xx# software:PyCharmimport osimport sysimport jsonimport inspectfilename = inspect.getframeinfo(inspect.c