logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

[特殊字符] playwright实战:动态内容处理 —— 分页、无限滚动与懒加载

本文介绍了使用Playwright处理动态内容的实战技巧,重点解决无限滚动、分页爬取和懒加载场景。核心内容包括: 无限滚动处理方案: 通过滚动前后对比元素数量判断新内容加载 封装通用函数scroll_to_load()实现智能滚动 解决小红书DOM节点替换而非追加的特殊情况 实战优化策略: 基于唯一ID去重累计数据 实时采集避免内容丢失 模拟自然滚动降低反爬风险 增加容错机制提升稳定性 完整代码示

文章图片
#python#爬虫#开发语言
图的匹配---图论笔记

图的匹配 – 潘登同学的图论笔记文章目录图的匹配 -- 潘登同学的图论笔记独立数和支配数的关系匹配边覆盖`柯尼希给出:二部图中匹配数和最小点覆盖数的相等关系`二部图的匹配顶点支配,独立与覆盖(前提假设,G是没有孤立顶点的简单图)设G=(V,E)G = (V,E)G=(V,E)是无向简单图, D⊆VD⊆VD⊆V, 若对于任意 v∈V−Dv∈V-Dv∈V−D,都存在u∈Du∈Du∈D,使得uv∈Euv

文章图片
#图论#算法
图的着色--图论笔记

图的着色 – 潘登同学的图论笔记文章目录图的着色 -- 潘登同学的图论笔记图的着色对简单图G的每个顶点赋予一种颜色使得相邻的顶点颜色不同,称图G的一种点着色。对简单图G进行点着色所需的最少颜色数称为G的点色数,记为χ(G)χ(G)χ(G)(注:对于n阶简单图,显然有χ(G)≤nχ(G)≤nχ(G)≤n)边着色对简单图G的每条边赋予一种颜色,使得相邻边颜色不同,称为图G的一种边着色面着色对无桥平面图

文章图片
#图论#算法#数据结构
DeepAR代码详析(pytorch版)实现用电量预测

DeepAR代码详析(pytorch版)实现用电量预测 – 潘登同学的RNN学习笔记文章目录DeepAR代码详析(pytorch版)实现用电量预测 -- 潘登同学的RNN学习笔记数据集说明数据预处理代码构造模型Loss函数评估指标相关utils工具类训练模型前言: 上次用Amazon中的glount-ts框架做了一个deepar的股价预测,但是我感觉用的是人家的API,不太好,所以今天来搂一把py

文章图片
#pytorch#深度学习#rnn
分布式任务调度 —— 用 Celery + Playwright 构建高并发爬虫集群

本文介绍了使用Celery和Playwright构建高并发分布式爬虫集群的方法。通过Redis作为消息队列,实现了生产者-消费者模型的任务调度系统。文章详细讲解了环境搭建步骤,包括安装依赖、配置Celery、编写Playwright任务以及启动服务。重点说明了如何将异步Playwright操作封装为Celery同步任务,并提供了任务监控和结果查询的方法。在架构设计方面,系统支持水平扩展和自动容错机

文章图片
#分布式#爬虫
知识图谱-推理

知识图谱的推理是知识图谱最核心的技术,有以下两个主要方向什么是推理常见的推理方法知识图谱推理的目标知识图谱常用推理方法符号推理VS向量推理OWL本体推理概念包含的推理实例检测推理一个实例检测推理的例子声明规则举例说明OWL本体推理工具本体推理的局限引入规则推理Datalog基本语法Datalog推理举例Datalog推理工具产生式系统应用产生式系统的组成RETE算法是产生式规则中的常用推理算法,因

文章图片
#知识图谱#人工智能
CV领域的对比学习综述(下)

发展历程大概可以分为四个阶段1、百花齐放在这个阶段中,方法、模型、目标函数、代理任务都还没有统一,所以说是一个百花齐放的时代2、CV双雄这个阶段发展非常迅速,上述工作有的间隔一两个月,有的间隔甚至不到一个月,ImageNet上的成绩基本上每个月都在被刷新3、不用负样本4、transformer对于自监督学习来说,无论是对比学习还是最新的掩码学习,都是用Vision Transformer做的其实第

文章图片
#人工智能#深度学习
RAG 索引构建完全指南:数据清洗、分块策略、文档解析与 Embedding 选型

RAG索引构建核心要点 RAG系统的检索质量往往在索引阶段就已决定。常见问题包括文档解析不完整、清洗过度、分块不当和Embedding模型选择失误。索引构建的关键流程包括:文档解析→数据清洗→分块→Embedding→索引入库。 数据清洗需处理格式噪声、重复内容和结构标准化,但需避免过度清洗关键术语。分块策略需根据文档特性选择,常见方法包括固定长度、滑动窗口、结构化分块等,目的是形成语义完整的检索

文章图片
#人工智能#算法
WSL2 + Ubuntu 24.04 + Docker Desktop 配置双内核环境

本文介绍了在Windows系统上配置WSL2+Ubuntu 24.04+Docker Desktop开发环境的详细步骤。首先讲解了自动和手动安装Ubuntu 24.04的方法,包括内核版本更新技巧。随后详细说明了如何将Ubuntu系统从C盘迁移到D盘的操作流程。最后重点介绍了Docker Desktop的安装与配置优势,特别是其对GPU直通和WSL集成的良好支持,并提供了MySQL数据库迁移的注意

文章图片
#ubuntu#docker#人工智能
【Agent开发】第一阶段:基石构建 —— 容器化交互与 Prompt 工程

本文介绍了在Docker环境中构建基础AI Agent的开发流程。首先强调理解底层数据流的重要性,提出Agent本质是一个包含观察、思考、行动、结果的循环过程。详细说明了Docker网络配置要点,包括服务名作为内部域名的使用方式。提供了虚拟环境配置指南,推荐使用pyproject.toml管理依赖。实战部分展示了如何定义工具集(如获取日期时间函数)并与LLM交互,通过纯Python实现一个能调用本

文章图片
#交互
    共 87 条
  • 1
  • 2
  • 3
  • 9
  • 请选择