logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

阿里云地图选择器

阿里云地图选择器。

文章图片
#阿里云#云计算
数据之争:网络爬虫涉及的法律问题

(4)在使用、传播抓取到的信息时,应审查所抓取的内容,如发现属于用户的个人信息、隐私或者他人的商业秘密的,应及时停止并删除。另一方面,虽然网站上的信息是公开的,但在没有爬虫的情况下,一般经营者较难批量复制网站上的信息,例如抓取竞争对手的价格以进行比价,或者实时调整自己的价格。因此,如果爬虫控制者绕开上述限制,而抓取用户的该等隐私,又或者在抓取后公开传播该等信息,造成对用户的损害后果的,则有可能侵犯

文章图片
#爬虫
利用网络爬虫获取数据的刑事责任分析

(2017)京0108刑初2384号上海晟品网络科技有限公司、侯明强等非法获取计算机信息系统数据罪一案[1]中,行为人在没有获得授权的情况下,通过破解App的加密算法或API交互规则,使用伪造的设备ID绕过服务器的身份校验,使用伪造的UA、IP绕过服务器的访问频率设置等规避或突破系统技术保护措施的手段,突破权限许可获取数据,因而构成非法获取计算机信息系统数据罪。此外,还需强调的是,获取数据的结果同

文章图片
#爬虫
在JAVA中将日期和时间插入到MySQL数据库的方法

方法二:将Date时间转换成特定格式的字符串String,这样也能存入数据库。方法一:使用java.sql.Timestamp这个类来进行转换(推荐)在JAVA中将日期和时间插入到MySQL数据库的方法。

文章图片
#数据库#java#mysql
如何使用API来向ChatGPT提交上下文数据

如何设置ChatGPT保持上下生成响应,基于上下文的prompt和context变量,设置jsonData变量,其中包含要发送给API的数据负载,例如max_tokens和temperature等生成文本的控制参数。接下来,您需要设置jsonData变量,其中包含要发送给API的数据负载,例如max_tokens和temperature等生成文本的控制参数。接下来,您需要设置data变量,其中包含

文章图片
#python#json#前端
embedding和向量数据库(pinecone)

embedding和向量数据库(pinecone)玩了这么久的gpt,大家多少都会发现使用过程中有一些尴尬的点:LLM的训练数据是有ddl的,无法获取到最新的一些信息LLM不知道答案,开始放飞自我,出现hallucination想应用化(客服什么的),但某些数据是不通用的,需要自己投喂如果是一个普通用户在使用,当然是关系不大。但是如果是想将其集成然后应用化,那么这些case总是不靠谱的。微调模型(

文章图片
#数据库
Python+Pandas玩转数据分析,轻松应对Excel需求

Python+Pandas能成为数据分析的“神器”。对于大数据量、复杂计算和自动化处理,Pandas远比Excel强大得多。不仅可以轻松清洗数据,统计分析,甚至自动化整个流程。如果还停留在Excel的世界,试着转向Python+Pandas,绝对会工作更加高效、轻松。

#python#pandas#数据分析
基于NLP自然语言以token单位的chatgpt计费方式和收费标准

根据大家的经验,基本问清楚1个问题就要耗费100~200个token,算起来其实不少的,尤其在连续会话中,为了保持对话的连续性,必须每次都要回传历史消息,并且输入都要算 token 数算钱的,满打满算,按量付费其实也不便宜。AI也是创作,是不是可以也以文字数来收费呢?因为存在不同的切分方式,所以“红色的苹果”,就需要切分成“红”“红色”“的”“苹果”“果”“红色的苹果”等多个token去理解。例如

文章图片
#自然语言处理#人工智能
n8n热门的开源 AI 工作流平台实操

n8n是一个热门的开源AI工作流平台,本文介绍了基于Node.js环境的详细部署步骤。首先需要安装Node.js(≥20.19版本),然后通过npm全局安装n8n或使用npx临时启动。启动服务后,访问localhost:5678进行初始配置,包括创建管理员账户。文章还提供了生产环境优化建议,如在Linux下配置systemd服务、Windows下使用pm2管理进程,并强调了数据持久化、版本兼容性等

#python#人工智能
Python+Ray:超快并行计算,让数据处理提速10倍!

Ray 适用于:✅ 需要高性能的并行计算(数据处理、机器学习、科学计算)✅ 需要分布式计算,但不想折腾 Spark✅ 需要长期运行的 Actor(例如强化学习中的状态管理)❌ 如果任务是 IO 密集型(如爬虫),多线程可能是更好的选择。❌ 小任务并行开销较大,不适合特别轻量的计算。总的来说,Ray 让 Python 并行计算变得前所未有的简单,是提升代码性能的神器!

#python#开发语言
    共 30 条
  • 1
  • 2
  • 3
  • 请选择