logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用Selenium/playwright抓取航空公司H5页面数据

本文介绍了使用Selenium/Playwright抓取航空公司H5页面机票价格的实现方案。首先分析了H5页面的特点与抓取难点,包括动态渲染、元素动态生成、反爬机制和会话关联等问题,并提出了相应的应对策略。随后以Python语言为例,详细展示了Selenium的完整实现代码,包括环境准备、浏览器配置、模拟用户操作(输入出发地/目的地/日期)、等待数据加载和提取价格数据等关键步骤。代码中采用了显式等

文章图片
#selenium#python#测试工具
第9章 视频分析应用

视频目标跟踪与行为识别技术概述 视频目标跟踪分为单目标跟踪(SOT)和多目标跟踪(MOT)两类。SOT通过孪生网络(SiamFC)或区域提议网络(SiamRPN)实现目标定位,MOT则采用检测后跟踪范式,结合卡尔曼滤波和数据关联算法(如DeepSORT)。行为识别技术通过双流网络或3D CNN提取时空特征,实现对动作的分类识别。OpenCV提供了多种单目标跟踪算法的实现,而深度学习模型如Trans

文章图片
#音视频
贝壳的反爬虫机制深度解析

贝壳构建了多层次反爬虫防护体系,涵盖访问层、请求层、行为层和数据安全层。访问层通过IP管控和浏览器指纹验证拦截异常访问;请求层采用动态Token加密和严格请求头校验防止非法请求;行为层利用人机验证和行为序列分析识别异常操作;数据安全层通过加密传输和权限管控保护敏感数据。该体系具备动态升级、人机结合的特点,并辅以法律手段形成完整保护机制。

文章图片
#爬虫
UA伪装:原理、实现与机票爬虫场景应用

摘要:UA伪装是爬虫通过修改User-Agent请求头,伪装成真实设备或浏览器的反反爬手段。机票平台会通过UA识别爬虫,拦截异常请求。实现需构建包含PC端、移动端和航司APP的UA库,并随机切换。关键注意事项包括避免单一UA、匹配请求场景、结合IP代理和Cookie池,以及定期更新UA库。常见问题如自动生成UA的局限性、APP端加密参数需求及UA伪装的局限性也需注意。

文章图片
#爬虫
第10章 计算机视觉项目实战

本文介绍了计算机视觉项目的完整生命周期和实施案例。项目生命周期包括7个阶段:问题定义、数据准备、模型设计、训练调优、评估、部署和迭代维护。通过三个实战案例展示了不同应用场景的实现流程:1)智能安防监控系统使用目标跟踪和行为识别技术;2)医学影像分析采用U-Net进行图像分割;3)CIFAR-10图像分类项目展示了从数据加载到模型训练的全过程。文章还介绍了模型部署优化的关键技术,如ONNX转换、Te

文章图片
#计算机视觉#人工智能
第29-2章 工业物联网与边缘计算

工业物联网(IIoT)通过传感器、执行器等设备联网实现数据采集与交换,其架构包含感知层、网络层、边缘层、平台层和应用层。核心特征包括设备互联(Modbus/MQTT等协议)、实时数据采集、边缘计算(预处理与本地决策)及云端集成(远程监控与AI分析)。典型应用场景涵盖设备监控、预测性维护和智能制造系统集成,为工业数字化转型提供技术支撑。

文章图片
#物联网#边缘计算#人工智能
第2章 大模型预备知识

大语言模型(LLM)学习需要掌握三大核心技能:Python数据处理、数学基础和文本预处理。首先需熟练使用Numpy、Pandas和Matplotlib三大Python库进行数据操作与可视化。其次要理解线性代数、微积分和概率论等数学原理,以及深度学习的神经网络、反向传播等核心概念。最后需掌握文本数据的完整处理流程,包括清洗、分词(Tokenization)和向量化(Embedding)。现代LLM普

文章图片
#人工智能
第5章 大模型微调技术

大模型微调是将预训练语言模型(LLM)适配到特定领域或任务的关键技术。相比全量微调的高成本,参数高效微调(PEFT)通过冻结大部分参数、仅训练少量新增参数(如LoRA方法),显著降低了计算和存储开销。LoRA利用低秩矩阵分解技术,在不增加推理延迟的前提下实现高效微调。此外,RLHF技术通过人类反馈强化学习,使模型输出更符合人类价值观。PEFT已成为当前大模型微调的主流范式,兼顾效果与效率。

文章图片
#人工智能
第7章 主流大模型介绍与技术趋势

本章介绍了当前主流的大语言模型,包括OpenAI的GPT系列、Google的Gemini、Anthropic的Claude以及Meta的开源Llama系列。我们分析了它们各自的技术特点和应用场景,并通过图表和对比,让你对它们的演进和生态有一个更直观的认识。同时,我们也探讨了多模态、长上下文、Agent等未来的技术趋势。希望通过本章的学习,你能对大模型产业的全貌有一个清晰的认识,为后续的学习和实践打

文章图片
#深度学习#人工智能#transformer
第8章 大模型的幻觉与可解释性

本文探讨了大语言模型的两大核心挑战:幻觉(生成虚假信息)和可解释性(黑箱问题)。幻觉源于训练数据缺陷、概率性生成等机制,可通过RAG(检索增强生成)、提示工程、模型微调等方法缓解。可解释性研究采用行为分析(如特征归因)和机制分析(如注意力可视化)来理解模型决策过程。文章强调,构建可靠AI系统需要平衡性能与可信度,当前RAG是最实用的幻觉解决方案,而可解释性研究仍面临规模复杂度等挑战。这些研究对提升

文章图片
#深度学习#人工智能#transformer
    共 160 条
  • 1
  • 2
  • 3
  • 16
  • 请选择