Bright Data Web Scraping指南 2026: 使用 MCP + Dify 自动采集海外社交媒体数据

桃花键神

36676人浏览 · 2026-05-09 10:47:04

桃花键神 · 2026-05-09 10:47:04 发布

前言

在现代 web scraping 场景中，获取海外社交媒体的 web data 通常需要强大的 proxy service、IP rotation 和 anti-bot 技术支持。基于上次分享的 Bright Data MCP + Dify 电商数据采集工作流的成功经验，我对其进行了升级优化，打造了一个专门针对社交媒体平台的数据采集工作流，以下是完整的教程分享。

为什么多平台采集这么难？

作为营销与社媒分析人员，需要同时监控海外社交媒体上的红人动态和趋势数据。但每个平台都有自己的"护城河"：

平台	主要反爬机制	DIY失败率
Tik	签名加密、设备指纹	极高
LinkedIn	登录墙、行为检测	极高

每加一个平台就意味着多一套维护成本，更别提还要处理数据格式混乱的问题。所以还是用 Bright Data MCP + Dify 的组合方案。

架构介绍：Bright Data MCP + Dify

Bright Data MCP + Dify 是一个用于构建 AI 驱动数据采集工作流的架构，它允许 AI agent 直接访问企业级 Web scraping 基础设施。

架构流程：

用户输入（TikLinkedIn URL） → Dify Workflow → Bright Data MCP Server → Tik & LinkedIn → 结构化 JSON 输出 → Slack 报表

这个组合之所以有效，是因为：

Dify 提供可视化 Workflow，不用写爬虫逻辑
Bright Data MCP 处理所有平台的解封、代理、指纹
两者结合 = AI 驱动的数据采集流水线

前置准备

你需要准备：

Bright Data 账号（免费试用$20额度）
Dify 账号（云端或本地部署均可）
Bright Data MCP Server API Token
基本的 Dify Workflow 操作经验

实战教程：手把手操作

Step 1：配置 Bright Data MCP Server

这比我预期的要简单得多，只花了我大约10分钟。

详细步骤：

访问 Bright Data 官网
使用邮箱注册，完成身份验证
注册成功后添加促销码会获得 $20 免费试用额度

配置 MCP Server

选择社交媒体，点继续配置

复制链接，我打码的部分是token，如果这里没有自动填充，可以去个人账户设置那里复制填充进来。

Step 2：在 Dify 中添加 Bright Data MCP 工具

进入 Dify 的「工具」页面，选择「添加外部 MCP 工具」，然后粘贴你在上一步获得的链接。

粘贴URL，名称和服务器标识直接用我这个就行，自己取一个也行。然后点击添加

Step 3：创建多平台采集 Workflow

基于我完整的媒体数据采集.yml工作流，这里演示 TikTok + LinkedIn 社媒数据采集场景：

输入节点：账号URL（支持批量，以逗号分隔）

MCP工具节点：

web_data_tiktok_profiles：调用 TikTok 数据采集
web_data_linkedin_posts：调用 LinkedIn 数据采集

LLM节点：

TikTok：提取互动率、粉丝数、内容摘要（娱乐化语气）
LinkedIn：提取专业领域、核心观点、价值主张（专业化语气）

输出节点：推送至 Slack

工作流还包含智能分类器，能自动识别输入的是 TikTok 还是 LinkedIn URL，并路由到相应的处理分支。

详细步骤：

创建新 Workflow

在 Dify 中点击创建空白应用
输入名称和图标
选择工作流

(1) 配置输入节点

添加 Start 节点

默认已存在
配置输入参数：

Parameter Name: social_urls
Type: String
Required: Yes
Description: TikTok 或 LinkedIn 账号URL，多个URL用逗号分隔

(2) 配置条件分支

添加条件节点

拖拽 "问题分类器" 节点到画布
连接用户输入节点到问题分类器节点
配置分类：

输入变量: 用户输入变量
分类1: TikTok 处理分支
分类2 LinkedIn 处理分支

(3) URL 预处理

节点类型：Code（代码执行）
功能：将用户输入的逗号分隔 URL 转换为数组格式。

def main(arg1: str) -> dict:
    cleaned_input = arg1.replace('，', ',')
    urls = [url.strip() for url in cleaned_input.split(',')]
    urls = [url for url in urls if url]
    return {"result": urls}

(4) 平台数据

注意，虽然都是亮数据MCP但是选择的工具是不一样的

(5) 数据预处理

LinkedIn 流程：
- 工具：web_data_linkedin_posts（Bright Data 提供）
- 输入：单个 LinkedIn URL
- 输出：帖子数据（作者、粉丝数、点赞数、评论数、帖子文本等）

TikTok 流程：

工具：web_data_tiktok_profiles（Bright Data 提供）
输入：单个 TikTok 个人主页 URL
输出：账号数据（昵称、粉丝数、互动率、热门帖子描述等）

def main(linkedin_data: list) -> dict:
    """
    处理 LinkedIn MCP 返回的数据
    
    参数:
        linkedin_data: MCP 返回的 LinkedIn 数据列表
        
    返回:
        提取的关键指标
    """
    if not linkedin_data or len(linkedin_data) == 0:
        return {
            "author_name": "Unknown",
            "followers": 0,
            "total_likes": 0,
            "total_comments": 0,
            "all_posts_text": ""
        }
    
    # 获取第一个帖子的作者信息（假设所有帖子来自同一作者）
    first_post = linkedin_data[0]
    author_name = first_post.get("user_title", "Unknown").split("•")[0].strip()
    followers = first_post.get("user_followers", 0)
    
    # 计算总互动数据
    total_likes = sum(post.get("num_likes", 0) for post in linkedin_data)
    total_comments = sum(post.get("num_comments", 0) for post in linkedin_data)
    
    # 合并所有帖子文本
    all_posts_text = "\n---\n".join(
        post.get("post_text", "") for post in linkedin_data
    )
    
    return {
        "author_name": author_name,
        "followers": followers,
        "total_likes": total_likes,
        "total_comments": total_comments,
        "all_posts_text": all_posts_text
    }

LinkedIn：
- 提取作者名、粉丝数、总点赞/评论数，并合并所有帖子文本。
- 代码如下：

def main(scraper_data: list) -> dict:
    """
    处理 MCP 节点输出的 TikTok 账号数据
    
    参数:
        scraper_data: MCP 节点返回的账号数据列表
        
    返回:
        包含预处理数据的字典
    """
    try:
        # 验证输入数据
        if not isinstance(scraper_data, list) or len(scraper_data) == 0:
            return {
                "error": "输入数据格式不正确或为空",
                "input_type": str(type(scraper_data))
            }
        
        # 获取第一个账号数据
        account_data = scraper_data[0]
        
        # 提取关键字段
        nickname = account_data.get("nickname", "")
        followers = account_data.get("followers", 0)
        engagement_rate = account_data.get("awg_engagement_rate", 0.0)
        
        # 合并所有帖子描述
        descriptions = []
        top_posts = account_data.get("top_posts_data", [])
        
        for post in top_posts:
            description = post.get("description", "")
            if description:
                descriptions.append(description)
        
        all_descriptions = "\n---\n".join(descriptions)
        
        # 返回结果（键名必须与输出变量名匹配）
        return {
            "nickname": nickname,
            "followers": followers,
            "engagement_rate": engagement_rate,
            "all_descriptions": all_descriptions
        }
        
    except Exception as e:
        return {
            "error": str(e),
            "input_sample": str(scraper_data)[:200]
        }

(6) LLM 内容分析

TikTok：

提取昵称、粉丝数、互动率，并合并所有帖子描述。
代码如下：

你是一位专业的社交媒体分析师，专注于 LinkedIn 内容分析。请根据以下 LinkedIn 帖子内容，生成一个简洁、专业的摘要。

要求：
1. 识别账号的主要专业领域和内容主题
2. 总结核心观点和价值主张
3. 保持客观、专业的语气
4. 摘要长度控制在 2-3 句话

请分析以下 LinkedIn 帖子内容并生成专业摘要：

{{#1776177480759.all_posts_text#}}

LinkedIn：

Prompt：要求 LLM 生成专业摘要，识别账号领域、核心观点。
输出：2-3 句话的专业分析。
完整提示词如下：

你是一位专业的社交媒体内容分析师。请仔细阅读以下来自 TikTok 账号的多条帖子描述，并用一句简洁的话（不超过50个字）总结出该账号的核心内容主题、主要推广的产品或服务。

帖子描述合集:
{{#1776153576689.all_descriptions#}}

请直接输出摘要，不要包含任何其他文字、解释或前缀。

(7) 报告生成与 Slack 通知

TikTok：

Prompt：要求 LLM 用一句话（≤50 字）总结账号核心内容或推广产品。
输出：简洁的内容主题摘要。
完整提示词如下：

LinkedIn构建JSON代码

import json
from datetime import datetime

def main(
    author_name: str,
    followers: int,
    total_likes: int,
    total_comments: int,
    all_posts_text: str,
    summary: str
) -> dict:
    """
    构建符合 Slack 格式的 JSON 输出
    
    参数:
        author_name: 作者姓名
        followers: 粉丝数
        total_likes: 总点赞数
        total_comments: 总评论数
        all_posts_text: 所有帖子文本
        summary: LLM 生成的内容摘要
        
    返回:
        包含 slack_message 和 original_json 的字典
    """
    
    # 计算平均互动数据
    post_count = len(all_posts_text.split('---')) if all_posts_text else 1
    avg_likes = total_likes / post_count if post_count > 0 else 0
    avg_comments = total_comments / post_count if post_count > 0 else 0
    
    # 构建 Slack 消息
    slack_message = {
        "text": f"💼 LinkedIn 账号分析报告 - {author_name}",
        "blocks": [
            {
                "type": "header",
                "text": {
                    "type": "plain_text",
                    "text": "LinkedIn 账号分析报告",
                    "emoji": True
                }
            },
            {
                "type": "section",
                "fields": [
                    {
                        "type": "mrkdwn",
                        "text": f"*👤 作者:*\n{author_name}"
                    },
                    {
                        "type": "mrkdwn",
                        "text": f"*👥 粉丝数:*\n{followers:,}"
                    },
                    {
                        "type": "mrkdwn",
                        "text": f"*👍 平均点赞:*\n{avg_likes:.1f}"
                    },
                    {
                        "type": "mrkdwn",
                        "text": f"*💬 平均评论:*\n{avg_comments:.1f}"
                    }
                ]
            },
            {
                "type": "divider"
            },
            {
                "type": "section",
                "text": {
                    "type": "mrkdwn",
                    "text": f"*📝 内容分析摘要*\n{summary}"
                }
            },
            {
                "type": "context",
                "elements": [
                    {
                        "type": "mrkdwn",
                        "text": f"🕒 生成时间: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}"
                    },
                    {
                        "type": "mrkdwn",
                        "text": "🤖 由 MCP Scraper + LLM Analysis 生成"
                    }
                ]
            }
        ]
    }
    
    # 构建原始数据
    original_data = {
        "linkedin_account": {
            "author_name": author_name,
            "followers": followers,
            "total_posts_analyzed": post_count,
            "total_likes": total_likes,
            "total_comments": total_comments,
            "average_engagement": {
                "likes_per_post": round(avg_likes, 2),
                "comments_per_post": round(avg_comments, 2)
            }
        },
        "content_analysis": {
            "summary": summary,
            "raw_posts": all_posts_text,
            "post_count": post_count
        },
        "metadata": {
            "generated_at": datetime.now().isoformat(),
            "data_source": "MCP Scraper + LLM Analysis"
        }
    }
    
    return {
        "slack_message": slack_message,
        "original_json": json.dumps(original_data, ensure_ascii=False, indent=2)
    }

TikTok构建JSON代码

import json
from datetime import datetime

def main(
    nickname: str,
    followers: int,
    engagement_rate: float,
    all_descriptions: str,
    summary: str
) -> dict:
    """
    构建 Slack 消息并保留原始数据
    
    返回:
        包含 slack_message 和 original_json 两个字段
    """
    
    # 构建扁平的 Slack 消息（用于发送）
    slack_message = {
        "text": f"📊 TikTok 账号分析报告 - {nickname}",
        "blocks": [
            {
                "type": "header",
                "text": {
                    "type": "plain_text",
                    "text": "TikTok 账号分析报告",
                    "emoji": True
                }
            },
            {
                "type": "section",
                "fields": [
                    {
                        "type": "mrkdwn",
                        "text": f"*👤 昵称:*\n{nickname}"
                    },
                    {
                        "type": "mrkdwn",
                        "text": f"*👥 粉丝数:*\n{followers:,}"
                    },
                    {
                        "type": "mrkdwn",
                        "text": f"*📈 互动率:*\n{engagement_rate:.2f}%"
                    },
                    {
                        "type": "mrkdwn",
                        "text": "*📱 平台:*\nTikTok"
                    }
                ]
            },
            {
                "type": "divider"
            },
            {
                "type": "section",
                "text": {
                    "type": "mrkdwn",
                    "text": f"*📝 内容摘要:*\n{summary}"
                }
            },
            {
                "type": "context",
                "elements": [
                    {
                        "type": "mrkdwn",
                        "text": f"⏰ {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}"
                    }
                ]
            }
        ]
    }
    
    # 构建原始数据（用于 original_json）
    original_data = {
        "tiktok_account": {
            "nickname": nickname,
            "followers": followers,
            "engagement_rate": round(engagement_rate, 4),
            "platform": "TikTok"
        },
        "content_analysis": {
            "summary": summary,
            "raw_descriptions": all_descriptions,
            "description_count": len(all_descriptions.split('---')) if all_descriptions else 0
        },
        "metadata": {
            "generated_at": datetime.now().isoformat(),
            "data_source": "MCP Scraper + LLM Analysis"
        }
    }
    
    # 返回两个字段
    return {
        "slack_message": slack_message,
        "original_json": json.dumps(original_data, ensure_ascii=False, indent=2)
    }

LinkedIn/TikTok 共用逻辑：

代码节点：构建 Slack 消息（含关键指标 + 内容摘要）和原始 JSON 数据。

HTTP 请求：通过 Webhook 将消息发送至 Slack 频道。

运行结果展示

输入内容分别如下：

TikTok：https://www.tiktok.com/@berryveryloveyou，https://www.tiktok.com/@y5uhij3

LinkedIn: https://www.linkedin.com/posts/catherine-mcdonald-b6157210a_but-what-do-you-mean-by-build-better-systems-activity-7447538724416086016-DiED，https://www.linkedin.com/posts/omarhalabieh_most-people-start-with-the-plan-thats-activity-7447600379242049537-Loh7

注意：只用输入链接部分就行了。

这是工作流发送消息，请求是成功发送

发送的内容是这个JSON

下面是Slack收到的分析报告

这是Slack收到的分析报告

成本分析

方案	前期投入	月均维护	10万条数据成本
自建爬虫	2至 4周工程时间	超过20小时每月	工程成本难以量化
Bright Data MCP + Dify	不到1天配置	低于2小时每月	按成功采集付费