爬虫技术核心是自动化数据采集工具，能模拟人类浏览行为，从网页 / 网络资源中抓取并提取目标信息。爬虫的基本原理与应用场景B站数据的开放性与反爬机制合法合规的爬虫实践（遵守Robots协议）