---

背景痛点：为什么需要自动化选词？

做电商运营的朋友都知道，手动选关键词就像大海捞针。每次上新都要重复：查竞品、扒词库、测转化，效率低还容易漏掉长尾词。更头疼的是，等你好不容易整理出词表，市场热度可能已经变了。

技术选型：API vs 爬虫

1688官方API

• 优点：数据合规稳定，支持类目筛选
• 缺点：每日限额2000次调用，热词数据需付费

爬虫方案

• 优点：自由度高，能抓竞品详情页关联词
• 挑战：要处理动态渲染和反爬机制（后面会讲破解方法）

建议：初期用API快速验证，后期用爬虫补充长尾词。

核心实现四步走

1. Scrapy爬虫搭建

关键配置示例：

class KeywordSpider(scrapy.Spider):
    name = '1688_keyword'

    # 伪装成浏览器
    custom_settings = {
        'USER_AGENT': 'Mozilla/5.0',
        'DOWNLOAD_DELAY': 3  # 降低抓取频率
    }

    def start_requests(self):
        # 从TOP商品页切入
        yield scrapy.Request('https://detail.1688.com/xxx.html')

2. 关键词清洗

用正则处理杂乱数据：

import re

def clean_keyword(text):
    # 去除特殊符号和空格
    text = re.sub(r'[\W+]', ' ', text)
    # 过滤单字词（匹配1个字的词）
    return [word for word in text.split() if len(word) > 1]

3. TF-IDF权重计算

from sklearn.feature_extraction.text import TfidfVectorizer

# 时间复杂度O(n*m) n=文档数 m=词汇量
tfidf = TfidfVectorizer(max_features=500)
X = tfidf.fit_transform(documents)
# 获取权重TOP10的词
sorted_indices = X.sum(axis=0).argsort()[0, -10:]

4. 结果输出

建议生成CSV时包含三列： - 关键词 - 搜索热度 - 竞争指数

生产环境注意事项

分布式调度

• 用Celery实现定时任务
• 通过Redis记录已抓取URL（防重复）

IP代理池

推荐方案： 1. 购买按量付费的云代理服务 2. 自建代理中间件做自动切换 3. 设置失败重试机制（最多3次）

避坑经验分享

1688反爬破解

• 不要频繁切换User-Agent（反而会触发验证）
• 适当模拟鼠标移动轨迹

无效词过滤

这些词建议剔除： - 品牌词（除非做品牌店） - 价格类词（如"批发""厂家"） - 过长组合词（超过5个字）

动手练习

我整理了一份包含3000个原始关键词的数据集，大家可以练习清洗和权重计算：

# 示例数据片段
["女装2023新款", "夏季短袖T恤", "厂家直销..."]

完整代码已上传GitHub（见文末）。经过实际测试，这套方案帮我们店铺把关键词投放ROI从1:3提升到了1:4.2，最重要的是每天节省了2小时人工选词时间！