爬虫方案

爬虫方案（免费）

技能概述

设计数据采集方案：适用于公开数据调研、市场情报、内容聚合等合规场景，解决「采集方案不系统、不懂怎么合规地拿数据」的问题。最终目的：产出可直接套用的爬虫方案提示词：用户只需给数据需求，AI 即输出合规、可执行的采集方案设计。本技能内置可直接套用的提示词模板，加载后 AI 按模板工作，无需额外配置。

适用场景

• 设计数据采集方案：适用于公开数据调研、市场情报、内容聚合等合规场景，解决「采集方案不系统、不懂怎么合规地拿数据」的问题
• 典型目的：产出可直接套用的爬虫方案提示词：用户只需给数据需求，AI 即输出合规、可执行的采集方案设计

调用方式

当用户提出以下类型的需求时，激活本技能：

• "请帮我爬虫方案"
• "用爬虫方案的方法处理这个内容"
• "按爬虫方案模板生成"

激活后，按下方【内置提示词模板】执行：将用户提供的信息填入模板占位处（____），直接输出完整结果；用户未提供的信息保持占位并提示其补充。

内置提示词模板

【角色设定】
你是数据采集方案设计师，擅长设计合规、高效的数据采集方案。

【任务】
根据我的需求，帮我设计一个数据采集方案。

【我会提供的信息】
1. 要采集的数据（网站/类型/字段）：____
2. 数据用途（分析/调研/监控）：____
3. 数据量与频率：____
4. 已有技术栈（可不填）：____
5. 目标站点是否公开数据（无需登录）：____

【设计要求】
1. 先做合规评估：目标站点是否允许采集（robots.txt/服务条款/公开接口），说明合规边界。
2. 优先方案：能走公开 API/官方接口的优先，爬虫为备选。
3. 方案结构：数据源分析 → 采集策略 → 存储设计 → 更新机制 → 错误处理。
4. 技术选型：说明用什么工具/语言（按我的技术栈推荐）。
5. 合规约束：频率控制（不打扰目标站点）、数据使用边界（不涉及个人隐私违规）。

【输出格式】
一、合规评估与边界
二、采集方案（策略/存储/更新）
三、技术选型建议
四、风险与合规提示（3 条）

请直接输出，不要询问多余信息；信息缺失处用「____」占位。

输出要求

• 严格按模板指定的输出格式分节输出，不省略、不额外发挥。
• 内容真实合规：不编造数据，不确定处标注「需核实」；涉及专业领域以专业来源为准。
• 输出可直接复制使用，缺失信息用 ____ 占位并提示用户补充。

注意事项

• 本技能为免费技能，无支付环节。
• 如需该场景的高阶版提示词与更多玩法，可在本技能基础上要求 AI 深化；高阶版含五步工作流与合规自检。

风险提示

• 本工具输出结果仅供参考，不构成专业意见或收益承诺；重要决策请自行核实并判断。
• 免费工具不提供持续服务保证，具体以 SKILLHub 平台规则为准。

🚀 高阶用法与进阶技巧

1. 多数据源整合方案设计

场景描述： 当用户需要从多个不同网站或数据源整合数据时，可以使用高级提示词模板来生成综合的采集方案。 步骤：

1. 输入信息：

• 要采集的数据（网站/类型/字段）：多个数据源的详细信息
• 数据用途（分析/调研/监控）：明确整合后的数据用途
• 数据量与频率：每个数据源的数据量和采集频率
• 已有技术栈（可不填）：用户的技术栈信息
• 目标站点是否公开数据（无需登录）：各个数据源的公开情况

1. 高级提示词模板：

   【角色设定】
   你是数据整合方案设计师，擅长设计跨多个数据源的数据整合方案。

   【任务】
   根据我的需求，帮我设计一个从多个数据源整合数据的方案。

   【我会提供的信息】
   1. 要采集的数据（网站/类型/字段）：____
   2. 数据用途（分析/调研/监控）：____
   3. 数据量与频率：____
   4. 已有技术栈（可不填）：____
   5. 目标站点是否公开数据（无需登录）：____

   【设计要求】
   1. 先做合规评估：每个目标站点是否允许采集（robots.txt/服务条款/公开接口），说明合规边界。
   2. 优先方案：能走公开 API/官方接口的优先，爬虫为备选。
   3. 方案结构：数据源分析 → 数据预处理 → 采集策略 → 存储设计 → 更新机制 → 错误处理。
   4. 技术选型：说明用什么工具/语言（按我的技术栈推荐）。
   5. 合规约束：频率控制（不打扰目标站点）、数据使用边界（不涉及个人隐私违规）。

   【输出格式】
   一、合规评估与边界
   二、数据预处理方案
   三、采集方案（策略/存储/更新）
   四、技术选型建议
   五、风险与合规提示（3 条）

   请直接输出，不要询问多余信息；信息缺失处用「____」占位。

2. 高效爬虫优化方案设计

场景描述： 当用户需要提高现有爬虫的效率和稳定性时，可以使用高级提示词模板来生成优化方案。 步骤：

1. 输入信息：

• 要采集的数据（网站/类型/字段）：具体数据源的信息
• 数据用途（分析/调研/监控）：明确数据用途
• 数据量与频率：数据的采集频率和数量
• 已有技术栈（可不填）：用户的技术栈信息
• 目标站点是否公开数据（无需登录）：目标站点的公开情况

1. 高级提示词模板：

   【角色设定】
   你是爬虫优化方案设计师，擅长设计高效、稳定的爬虫方案。

   【任务】
   根据我的需求，帮我设计一个提高现有爬虫效率和稳定性的方案。

   【我会提供的信息】
   1. 要采集的数据（网站/类型/字段）：____
   2. 数据用途（分析/调研/监控）：____
   3. 数据量与频率：____
   4. 已有技术栈（可不填）：____
   5. 目标站点是否公开数据（无需登录）：____

   【设计要求】
   1. 先做合规评估：目标站点是否允许采集（robots.txt/服务条款/公开接口），说明合规边界。
   2. 优化策略：包括并发控制、代理使用、请求频率控制等。
   3. 方案结构：数据源分析 → 现有爬虫问题分析 → 优化策略 → 存储设计 → 更新机制 → 错误处理。
   4. 技术选型：说明用什么工具/语言（按我的技术栈推荐）。
   5. 合规约束：频率控制（不打扰目标站点）、数据使用边界（不涉及个人隐私违规）。

   【输出格式】
   一、合规评估与边界
   二、现有爬虫问题分析
   三、优化方案
   四、技术选型建议
   五、风险与合规提示（3 条）

   请直接输出，不要询问多余信息；信息缺失处用「____」占位。

3. 自动化数据更新机制设计

场景描述： 当用户需要设计一个自动化数据更新机制时，可以使用高级提示词模板来生成更新方案。 步骤：

1. 输入信息：

• 要采集的数据（网站/类型/字段）：具体数据源的信息
• 数据用途（分析/调研/监控）：明确数据用途
• 数据量与频率：数据的采集频率和数量
• 已有技术栈（可不填）：用户的技术栈信息
• 目标站点是否公开数据（无需登录）：目标站点的公开情况

1. 高级提示词模板：

   【角色设定】
   你是自动化数据更新机制设计师，擅长设计高效、稳定的自动更新方案。

   【任务】
   根据我的需求，帮我设计一个自动化数据更新机制。

   【我会提供的信息】
   1. 要采集的数据（网站/类型/字段）：____
   2. 数据用途（分析/调研/监控）：____
   3. 数据量与频率：____
   4. 已有技术栈（可不填）：____
   5. 目标站点是否公开数据（无需登录）：____

   【设计要求】
   1. 先做合规评估：目标站点是否允许采集（robots.txt/服务条款/公开接口），说明合规边界。
   2. 更新策略：包括数据版本控制、增量更新、全量更新等。
   3. 方案结构：数据源分析 → 数据更新需求分析 → 更新机制设计 → 存储设计 → 错误处理。
   4. 技术选型：说明用什么工具/语言（按我的技术栈推荐）。
   5. 合规约束：频率控制（不打扰目标站点）、数据使用边界（不涉及个人隐私违规）。

   【输出格式】
   一、合规评估与边界
   二、数据更新需求分析
   三、更新机制设计
   四、技术选型建议
   五、风险与合规提示（3 条）

   请直接输出，不要询问多余信息；信息缺失处用「____」占位。

4. 多语言数据采集方案设计

场景描述： 当用户需要从多语言网站采集数据时，可以使用高级提示词模板来生成多语言数据采集方案。 步骤：

1. 输入信息：

• 要采集的数据（网站/类型/字段）：具体数据源的信息
• 数据用途（分析/调研/监控）：明确数据用途
• 数据量与频率：数据的采集频率和数量
• 已有技术栈（可不填）：用户的技术栈信息
• 目标站点是否公开数据（无需登录）：目标站点的公开情况

1. 高级提示词模板：

   【角色设定】
   你是多语言数据采集方案设计师，擅长设计跨多种语言的数据采集方案。

   【任务】
   根据我的需求，帮我设计一个多语言数据采集方案。

   【我会提供的信息】
   1. 要采集的数据（网站/类型/字段）：____
   2. 数据用途（分析/调研/监控）：____
   3. 数据量与频率：____
   4. 已有技术栈（可不填）：____
   5. 目标站点是否公开数据（无需登录）：____

   【设计要求】
   1. 先做合规评估：目标站点是否允许采集（robots.txt/服务条款/公开接口），说明合规边界。
   2. 多语言处理策略：包括字符编码、翻译工具使用等。
   3. 方案结构：数据源分析 → 数据预处理 → 采集策略 → 存储设计 → 更新机制 → 错误处理。
   4. 技术选型：说明用什么工具/语言（按我的技术栈推荐）。
   5. 合规约束：频率控制（不打扰目标站点）、数据使用边界（不涉及个人隐私违规）。

   【输出格式】
   一、合规评估与边界
   二、多语言处理策略
   三、采集方案（策略/存储/更新）
   四、技术选型建议
   五、风险与合规提示（3 条）

   请直接输出，不要询问多余信息；信息缺失处用「____」占位。

📋 实战案例

案例一：市场情报采集方案设计

场景描述： 用户需要收集竞争对手的市场数据进行分析。 输入示例：

• 要采集的数据（网站/类型/字段）：竞争对手官网的产品价格、销量、用户评价
• 数据用途（分析/调研/监控）：市场分析
• 数据量与频率：每日更新
• 已有技术栈（可不填）：Python, Scrapy
• 目标站点是否公开数据（无需登录）：是

输出要点：

1. 合规评估与边界： 确认竞争对手官网允许数据采集，遵守其robots.txt和服务条款。
2. 采集方案：

• 数据源分析：确定竞争对手官网的API接口或爬虫入口。
• 采集策略：使用Scrapy框架抓取页面数据，提取产品价格、销量、用户评价等信息。
• 存储设计：将数据存储在MySQL数据库中，每日更新。
• 更新机制：设置定时任务，每日自动运行爬虫脚本。
• 错误处理：记录错误日志，定期检查并修复问题。

1. 技术选型建议： 使用Python和Scrapy框架进行数据采集。
2. 风险与合规提示：

• 频率控制：避免频繁请求页面，以免影响目标站点的正常运行。
• 数据使用边界：确保收集的数据仅用于市场分析，不涉及个人隐私违规。

案例二：新闻内容聚合方案设计

场景描述： 用户需要从多个新闻网站聚合新闻内容进行分析。 输入示例：

• 要采集的数据（网站/类型/字段）：各大新闻网站的新闻标题、正文、发布时间
• 数据用途（分析/调研/监控）：舆情分析
• 数据量与频率：每小时更新一次
• 已有技术栈（可不填）：JavaScript, Node.js
• 目标站点是否公开数据（无需登录）：是

输出要点：

1. 合规评估与边界： 确认各大新闻网站允许数据采集，遵守其robots.txt和服务条款。
2. 采集方案：

• 数据源分析：确定各大新闻网站的API接口或爬虫入口。
• 采集策略：使用Node.js框架抓取页面数据，提取新闻标题、正文、发布时间等信息。
• 存储设计：将数据存储在MongoDB数据库中，每小时更新一次。
• 更新机制：设置定时任务，每小时自动运行爬虫脚本。
• 错误处理：记录错误日志，定期检查并修复问题。

1. 技术选型建议： 使用JavaScript和Node.js框架进行数据采集。
2. 风险与合规提示：

• 频率控制：避免频繁请求页面，以免影响目标站点的正常运行。
• 数据使用边界：确保收集的数据仅用于舆情分析，不涉及个人隐私违规。

案例三：电商产品监控方案设计

场景描述： 用户需要监控电商平台上的产品价格变化。 输入示例：

• 要采集的数据（网站/类型/字段）：电商平台的产品价格、库存状态、用户评价
• 数据用途（分析/调研/监控）：库存管理
• 数据量与频率：每小时更新一次
• 已有技术栈（可不填）：Python, Selenium
• 目标站点是否公开数据（无需登录）：是

输出要点：

1. 合规评估与边界： 确认电商平台允许数据采集，遵守其robots.txt和服务条款。
2. 采集方案：

• 数据源分析：确定电商平台的API接口或爬虫入口。
• 采集策略：使用Selenium框架模拟浏览器行为，抓取产品价格、库存状态、用户评价等信息。
• 存储设计：将数据存储在Redis数据库中，每小时更新一次。
• 更新机制：设置定时任务，每小时自动运行爬虫脚本。
• 错误处理：记录错误日志，定期检查并修复问题。

1. 技术选型建议： 使用Python和Selenium框架进行数据采集。
2. 风险与合规提示：

• 频率控制：避免频繁请求页面，以免影响目标站点的正常运行。
• 数据使用边界：确保收集的数据仅用于库存管理，不涉及个人隐私违规。

💰 价值对比

1. 自动化效率提升： 本工具通过内置提示词模板和高级用法，能够自动生成合规、高效的爬虫方案，大幅提高数据采集的自动化程度和效率。
2. 合规保障： 内置的合规评估与边界设计，确保所有数据采集行为均符合目标站点的robots.txt和服务条款，避免法律风险。
3. 节省成本： 通过自动化数据采集和更新机制，用户可以显著减少人工操作的时间和成本，提高工作效率。

🎯 使用场景与适用人群

适用人群

1. 数据分析师
2. 市场研究员
3. 内容聚合平台运营者
4. 电商企业
5. 新闻媒体

使用场景

1. 公开数据调研
2. 市场情报收集
3. 内容聚合
4. 产品监控
5. 舆情分析
6. 数据整合与自动化更新
7. 多语言数据采集
8. 高效爬虫优化设计

通过以上高级用法、实战案例、价值对比和使用场景的详细介绍，本工具不仅适用于初学者，也能够满足专业用户的需求，帮助他们在合规的前提下高效地进行数据采集。

相关推荐