一、爬虫开源工具

Crawlee 在 GitHub 上获得了近 20K 的 Star。

这是一个用 Node.js (也有基于 Python 的)编写的网络爬虫和浏览器自动化库,它能帮助你快速、可靠地抓取网页数据。

它的目标是让爬虫开发变得更简单,哪怕默认配置下,爬虫行为也更像真人,从而避免被反爬机制拦截。

不会用也不怕,开源项目提供了一个详细的使用收藏,还有很多手把手教程实例,教你使用 Crawlee。

比如爬取 TikTok、Youtube:

使用 Crawlee 不需要从零开始,它提供 CLI 工具,可以一键生成项目结构和示例代码。

你也能够手动引入到现有项目中,并配合像 Playwright 这样的浏览器自动化工具使用。

这个库的牛逼之处在于支持多种爬取方式,包括直接 HTTP 请求和无头浏览器操作,覆盖了从简单页面抓取到复杂 JavaScript 渲染场景的需求。

它还内置了很多实用功能,比如自动管理请求队列、代理切换、错误重试和数据存储等,显著减少了开发重复劳动。

如何使用

Node.js 版本:https://github.com/apify/crawlee
Python 版本:https://github.com/apify/crawlee-python

二、屏幕录制工具

Cap 是一个开源的屏幕录制与视频消息工具,Loom 的开源替代。GitHub 上有 12K 的 Star 了,它支持快速录制、编辑和分享视频。

使用这个工具,你能录制屏幕、摄像头或两者同时录制,在录屏的过程中还能跟随鼠标放大,这个太实用了。

还提供了基本的视频编辑功能,在录制后进行剪辑和处理。处理后可以非常方便、快速地生成可分享的视频链接,也能导出 mp4 。

它有两个版本,Web 和桌面端。Web 版本支持通过 Docker 或 Railway 自行部署,桌面端能够连接到自己搭建的 Cap Web 服务。

开源地址:https://github.com/CapSoftware/Cap
下载地址:https://github.com/CapSoftware/Cap/releases

三、在 GitHub 上下国际象棋

Tim Burgan 在 GitHub 上创建了一个有趣的开源项目,它是一个社区国际象棋锦标赛,任何人都可以参与下一步棋。

整个游戏通过 GitHub 的机制来运行,参与者只需点击网页上提供的移动链接,就会自动创建一个 GitHub Issue,提交自己的走法。

提交后,GitHub Actions 会自动触发,更新 Tim 个人主页中的 README 文件,显示新的棋盘状态。

游戏当前正在进行中,轮到黑方走棋,页面上列出了所有可行的移动选项。

开源地址:https://github.com/timburgan/timburgan

四、 解压缩工具

PeaZip 是一款免费开源的压缩与解压缩工具,支持多种操作系统,包括 Windows、Linux、macOS 和 BSD。

它能够处理超过 200 种不同的压缩格式,例如常见的 zip、rar、7z 等,也支持分卷压缩文件,如 .001、.r01 等。

除了基本的压缩和解压功能,这个开源小工具还注重安全性,支持多种加密方式、两因素认证,并提供安全删除文件等隐私保护功能。

它的底层依赖多个开源技术,包括 7-Zip、ZPAQ 等,具有良好的跨平台兼容性。

它同时还提供文件哈希校验、脚本导出等实用功能,适合日常使用或更高级的压缩管理需求。

开源地址:https://github.com/peazip/PeaZip

五、 如何学习AI大模型?

如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!

这份完整版的大模型 AI 学习和面试资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!

请添加图片描述
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

请添加图片描述

大模型全套视频教程

请添加图片描述

200本大模型PDF书籍

请添加图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

LLM面试题合集

请添加图片描述

大模型产品经理资源合集

请添加图片描述

大模型项目实战合集

请添加图片描述

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

Logo

更多推荐