logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【大模型】FAISS向量数据库记录:从基础搭建到实战操作

RAG系统的成功在很大程度上取决于其高效地获取和处理海量信息的能力。向量数据库又在其中发挥了不可替代的作用,并构成了RAG系统的核心。向量数据库专门用于存储和管理高维向量数据,它们能把文本、图像、音频甚至视频转换为向量并存储。RAG系统最终能实现的效果就取决于这些底层向量数据库的表现。在众多向量数据库和向量库中,每个都有自己的一些特点,选择一个适合自己应用场景的也需要经过评估,本文将介绍FAISS

#faiss#数据库
使用Docker安装部署ElasticSearch和ElasticSearch-Head

什么是 Elasticsearch想查数据就免不了搜索,搜索就离不开搜索引擎,百度、谷歌都是一个非常庞大复杂的搜索引擎,他们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说,肯定就没必要用这么复杂的技术了,如果我们想实现自己的搜索引擎,方便存储和检索,Elasticsearch 就是不二选择,它是一个全文搜索引擎,可以快速地储存、搜索和分析海量数据。为什么要用 Elast..

#分布式#docker#elasticsearch +2
Portia---一款开源可视化爬虫工具

文介绍Portia的学习使用背景由于最近在写一个可供配置的爬虫模板,方便快速扩展新的抓取业务,并且最后目标是将其做成一个可视化的配置服务。还正在进行中,并且有点没有头绪,所以想参考网上现有的轮子,看看能不能找到点新的思路。安装Docker安装完成后拉去portia服务项目# < ..FOLDER> 路径自定义即可 , 可在后面加上portia的版本docker run -i...

#python#爬虫
Python 海象运算符 (:=) 的三种用法

随着Python 3.8的发布,赋值表达式运算符(也称为海象运算符)也发布了。运算符使值的赋值可以传递到表达式中。 这通常会使语句数减少一个。 例如:my_list = [1,2,3]count = len(my_list)if count > 3:print(f"Error, {count} is too many items")# 当转换为海象运算符时...if ...

#python
【app爬虫】某宝详情页《问大家》数据采集分析

背景介绍问大家这个版块对于卖家和买家都有很重要的作用。就买家来说,现在越来越依赖“问大家”作为参考。里面的问题很多都直接指向产品质量和服务质量,从而判断是否值得购买。但是同时对于卖家来说也直接影响到产品的转化,通过问题和答案可以很好地反映出当前产品的优点和不足,所以做好一板块至关重要。接口分析抓包由于手机tb有链接分享功能,所以可跳过app抓包,直接复制链接到浏览器打开,通过谷歌浏览器开发者工具的

#python#爬虫#数据分析
到底了