前言

随着中国企业出海步伐加快，HR 和猎头们在公众号上发布海外岗位已成常态。但海量岗位人工筛选、汇总、分析既耗时又难以洞察趋势。本文分享一种**真正“0 代码”**思路：

用亮数据（Bright Data）直接采集海外主流招聘站点 → 交给腾讯元器生成大模型驱动的“数据分析智能体” → 一键接入公众号，实现“秒回复用户”的体验。全程无需搭建代理池或解析网页结构，个人创作者 1 小时即可上线，也支持后续做 SaaS 化商业化。

准备工作

本次数据爬取平台选用的亮数据，它成立于 2014 年的以色列公司，为全球 15 000+ 企业、200+ 高校和研究机构提供公开网页数据的“采集—清洗—交付”全链路服务。

使命：把任何公开网页变成结构化数据，且无需自建爬虫、无需担心反爬、无需担心合规。

产品线全景

1. 现成数据集（Dataset Marketplace） • 超过 100 类、10 亿+ 条记录：LinkedIn 职位、Amazon/Walmart 商品、TikTok 视频、Google Maps 商户、Twitter 帖子等。 • 按天/周/月更新，支持 API 或 Webhook 直推第三方平台（如腾讯元器、飞书表格）。
2. Web Scraper IDE（低代码/零代码） • 浏览器里拖控件即可生成抓取流程，自动生成 JavaScript/Python 代码；支持 Puppeteer、Playwright、Selenium 语法。 • 内置智能等待、滚动、点击、验证码识别（CAPTCHA Solver 成功率 98 %）。
3. 亮数据浏览器（Scraping Browser） • 全球首个自带“网站解锁器”的浏览器，即开即用，自动轮换 7 200 万住宅/移动/数据中心 IP。 • 支持 Docker 镜像一键拉起，完美嵌入 CI/CD。
4. SERP API & 电商 API • 已封装好 Google、Bing、Amazon、Shopee 等 200+ 站点接口，单次请求即可返回结构化 JSON。 • 按条计费，最低 0.001 USD/record。
5. 代理网络（Proxy Network） • 住宅、移动、数据中心、ISP 四类代理，覆盖 195 个国家，支持 ASN/城市级定位。 • 99.9 % 在线率，平均响应 < 2 秒。
6. 网页抓取工具（Web Scraping Tool）

• 网页抓取工具是一类软件或服务，它通过模拟浏览器行为或调用 API，将网页中的文字、图片、价格、职位、评论等公开元素提取出来，并保存为 CSV、Excel、JSON 或数据库等结构化格式，供后续分析或业务系统使用。

本次实验使用的就是最后一个产品网页抓取工具（Web Scraping Tool），抓取的是LinkedIn数据集。当然也可以直接用现成的增强版 LinkedIn 数据集，其特点如下：

该数据集已应用于摩根大通、Salesforce等企业的全球人才猎聘与ABM营销系统，相关案例可联系客户成功团队获取。

爬取数据

1、首先登录注册亮数据

点链接web scraper - Bright Data进入，点开始免费试用，注册后登录进入控制台

2、进入控制台后点击Web Scrapers，然后再选择Web爬虫库

3、在搜索框中输入LinkedIn

4、选择“Linkedin job listings information - discover by keyword”抓取器，这个是根据关键词爬取

5、两种方式效果一样，先演示一下爬虫API获取。

6、设置好参数，代码选择自己熟悉的，这里我选的python

7、运行代码

8、在日志中查看爬取的数据

9、下载数据集，有多种格式可以选择。这里我选择CSV

5、这里回到第五步，选择无代码方式

6、设置好参数，直接点击开始收集

7、返回Web Scrapers页面可以看到正在运行的爬取器

8、当爬取完成，点击进入后可以下载各种格式的数据集，这里我选择CSV

搭建智能体并接入公众号

1、创建公众号智能体

2、授权

3、添加知识库

4、导入文件，导入我们下载的数据集

5、设置提示词

6、调优测试

7、发布到公众号

8、效果演示

总结

大家可以基于本次实验进行拓展，可以通过 API 快速抓取如 LinkedIn、Amazon、Instagram、Youtube 等网站的数据，应用到 AI 数据准备、商业情报、舆情分析、招聘数据抓取等场景。

“亮数据 = 全球 7 200 万 IP + 200+ 站点现成 API + 零代码 IDE + GDPR 合规保障”，让任何个人或企业在 30 分钟内就能把公开网页变成高质量结构化数据。