logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Python----NLP自然语言处理(Doc2Vec)

Doc2Vec是Google在2014年提出的文档向量表示模型,基于Word2Vec扩展而来。它通过引入文档标签作为额外输入,生成固定长度的文档向量,适用于文本分类、聚类、相似度计算和信息检索等任务。Doc2Vec包含两种训练模式:DBOW(类似Skip-gram)和DM(类似CBOW),分别适用于不同场景。文中以处理《三国演义》文本为例,展示了如何使用jieba分词和gensim库实现Doc2V

文章图片
#python#自然语言处理#开发语言 +1
Python----大模型(基于LLaMA Factory角色扮演模型微调)

LLaMAFactory是一个无需编码即可微调大模型的开源平台,支持LLaMA、Qwen等上百种预训练模型,提供多种训练算法(PPO、DPO等)和优化技术(LoRA、QLoRA等)。项目提供WebUI界面,简化了模型微调流程。使用步骤包括:1)安装依赖环境;2)从魔搭社区下载基础模型;3)准备并配置训练数据集;4)通过WebUI进行模型微调、评估和导出。该项目支持从7B到70B参数的模型,并提供多

文章图片
#transformer#人工智能#python
Python----计算机视觉处理(Opencv:形态学变换)

形态学变换(Morphological Transformations)是一种基于形状的图像处理技术,主要处理的对象为二值化图像。形态学变换有两个输入和一个输出:输入为原始图像和核(即结构化元素),输出为经过形态学变换后的图像。其基本操作包括腐蚀(Erosion)和膨胀(Dilation),这两种操作互为反向过程,分别对图像中的亮度值产生不同的影响。

文章图片
#计算机视觉#python#opencv +1
Python----计算机视觉处理(opencv:像素,RGB颜色,图像的存储,opencv安装,代码展示)

像素是图像的基本单元,每个像素存储着图像的颜色、亮度和其他特征。一系列像素组合到一起就形成 了完整的图像,在计算机中,图像以像素的形式存在并采用二进制格式进行存储。根据图像的颜色不 同,每个像素可以用不同的二进制数表示。日常生活中常见的图像是RGB三原色图。RGB图上的每个点都是由红(R)、绿(G)、蓝(B)三个颜 色按照一定比例混合而成的,几乎所有颜色都可以通过这三种颜色按照不同比例调配而成。在

文章图片
#计算机视觉#python#opencv +1
Python----大模型(RAG--(文本加载,文本分割,向量化,向量数据库,检索,文本生成))

本文介绍了基于LangChain框架实现RAG(检索增强生成)技术的完整流程。首先通过TextLoader加载文本文件并进行递归式文本分割,然后使用HuggingFace的BGE中文嵌入模型进行向量化处理。接着构建FAISS向量数据库并实现检索功能,最后结合Qwen2.5-7B大语言模型构建问答系统。整个流程包含文本加载、分割、向量化、数据库构建、检索和生成六个核心步骤,通过链式调用实现了&quo

文章图片
#python#开发语言#人工智能 +1
Python----NLP自然语言处理(中文分词器--jieba分词器)

本文系统介绍了中文文本预处理的核心步骤,重点讲解了jieba分词工具的功能与应用。主要内容包括:分词处理:对比全模式(高速但冗余)和精确模式(高精度)的分词效果,演示基础分词操作;词典优化:通过添加自定义词典解决专有名词(如"百战程序员")的分词歧义问题;关键词提取:基于TF-IDF算法实现文本关键词抽取(如《三国演义》选段中的"玄德"、"张角"等),支持停用词过滤优化结果;词性标注:结合poss

文章图片
#自然语言处理#人工智能#python +2
Python----计算机视觉处理(Opencv:图像轮廓特征查找:外接轮廓)

在计算机视觉处理中,使用 OpenCV 的图像轮廓特征查找功能可以有效地检测和分析图像中的轮廓,通过 `findContours()` 函数提取轮廓,并结合其他函数(如 `drawContours()`)进行可视化,帮助识别和理解图像的形状和结构特征。

文章图片
#计算机视觉#opencv#人工智能 +1
Python----计算机视觉处理(Opencv:ROI图像切割)

ROI:Region of Interest,翻译过来就是感兴趣的区域。比如对于一个人的照片,假如我 们要检测眼睛,因为眼睛肯定在脸上,所以我们感兴趣的只有脸这部分,其他都不care,所以可以单独 把脸截取出来,这样就可以大大节省计算量,提高运行速度。

文章图片
#计算机视觉#python#opencv +1
Python----大模型(RAG的评估方法——(精确度和召回率、排名质量、平均准确率))

RAG系统评估方法综述 RAG(检索增强生成)系统性能评估主要分为检索和生成两个维度。检索评估采用精确度、召回率、F1-score等指标衡量相关性,同时引入MRR(平均倒数排名)和MAP(平均精度均值)评估结果排序质量。生成评估则关注文本质量,使用BLEU和ROUGE等指标衡量生成内容与参考答案的匹配度。此外,评估还应关注四个关键维度:响应与参考答案的准确性、响应与输入的相关性、响应与检索文档的匹

文章图片
#python#开发语言#人工智能 +1
Python----大模型(RAG--RAG的介绍,RAG的工作流程,RAG的文本加载 )

RAG(检索增强生成)是一种结合检索与生成技术的自然语言处理方法,通过外部知识库增强语言模型的输出准确性。其核心包含检索器(从知识库检索相关文档)和生成器(基于检索信息生成回答)。工作流程包括:检索器将用户问题转换为向量并搜索相似文档,生成器结合检索结果生成最终答案。LangChain提供了多种文本加载器(如TXT、CSV、PDF、Markdown、JSON、HTML等),支持从不同文件格式加载和

文章图片
#python#开发语言#人工智能 +1
    共 190 条
  • 1
  • 2
  • 3
  • 19
  • 请选择