23 KiB

Raw Blame History

1

你除了评估外，能否先做检索呢？比如，我现在有一个诉求，想爬抖音、视频号或者youtube上的视频，搜索一下现有的github，或者其他工作，有没有现成能用的；不用自己开发一个Agent/Skill。

更准确的需求是：我现在想做竞品分析，我可以找到准确的要爬取的视频链接，我最终要的不是一个视频，而是视频的语音转文字稿，同时能配套这个视频下的10条或者20条评论。我拿到文字稿、评论后，就可以去做竞品分析了。

那么前期，这个链路就是：

爬视频 -> 生成语音 -> 生成语音转文字稿；
爬评论

我可以用codex帮我去做脚本，甚至直接做执行。想看看现在有没有现成的，不用重新造轮子。

可以，可以先做“需求检索 + 现成方案筛选”，再做项目评估。这类问题比单仓库评估更适合先检索，因为你真正要的不是“爬虫项目”，而是一条可落地链路：

已知视频链接 → 拿到视频/音频 → 转写成文字稿 → 抓 10–20 条评论 → 输出给竞品分析。

结合你当前 Windows 本地、CentOS 远程、偏 API/低成本、不想重造 Agent/Skill 的使用背景判断：YouTube 可以基本不造轮子；抖音有较接近的现成工具；视频号风险和不稳定性最高，最好优先考虑 API 服务或半手工方案。

检索结论：现阶段最值得走“三段式现成链路”

1. 快速结论

结论：不建议从零开发 Agent/Skill。建议先用现成工具拼一条轻量流水线。

优先级如下：

平台	现成可用程度	推荐路径	结论
YouTube	高	`yt-dlp` / `youtube-transcript-api` / YouTube Data API / `par_yt2text`	最适合先跑通
抖音	中高	`jiji262/douyin-downloader` 或 `MediaCrawler` / `Douyin_TikTok_Download_API` / TikHub	可以试跑，但要防风控
视频号	中低	`wx_channel` / 商业 API / 半手工下载 + 转写	不建议先深度自动化
多平台统一	中	TikHub / Just One API	成本可控时最省开发

我的推荐动作：

第一步先做 YouTube MVP：最稳，最少登录态问题，先验证“视频转写 + 评论入库 + 竞品分析”工作流。
第二步接抖音：优先试 jiji262/douyin-downloader，因为它同时覆盖“下载、评论、可选 OpenAI 转写、REST API、Docker”这些点。
第三步再考虑视频号：视频号优先用 API 服务或本地下载器半自动处理，不建议一开始投入自动爬评论和下载的稳定化工程。

2. 最接近你需求的现成项目/方案

A. YouTube：成熟度最高，基本不用造轮子

方案 A1：`par_yt2text`，最接近“单工具完成 YouTube 转写 + 评论”

这个项目的 README 明确写了：可以从 YouTube 视频中提取 metadata、transcripts 和 comments；如果没有 transcript，可以用 OpenAI Whisper API 或本地 Whisper 转写音频。它需要 Python 3.11、Google API Key，如果用 OpenAI Whisper API 则还需要 OpenAI API Key；也支持 Windows、Linux、macOS。(GitHub)

匹配你的需求：高。

它正好对应：

YouTube URL
→ transcript 或 Whisper 转写
→ comments
→ 保存输出

优点是链路完整；缺点是项目星数很低，目前更像“好用的小工具/脚手架”，不是大生态项目。它适合你先用 Codex 做一次技术体检，看看评论、字幕、保存格式是否可靠。(GitHub)

推荐动作：本地试跑 + Codex 轻体检。

方案 A2：`yt-dlp` + `youtube-transcript-api` + YouTube Data API，最稳的组件拼装方案

yt-dlp 是视频/音频下载的事实标准之一，并且支持 --write-comments，可以把视频评论写入 infojson；它也支持从浏览器读取 cookies，但这会带来隐私和合规风险，能不用就不用。(GitHub)

youtube-transcript-api 可以获取 YouTube 视频 transcript/subtitles，包括自动生成字幕，并且不需要 API key 或 headless browser；适合“先拿现成字幕，拿不到再 Whisper”。(GitHub)

YouTube 官方 Data API 的 comments.list 可以返回评论，默认 20 条，maxResults 支持 1 到 100，单次调用 quota cost 是 1；这正好满足你“10 条或 20 条评论”的需求。(Google for Developers)

匹配你的需求：最高。

推荐链路：

1. youtube-transcript-api 先取字幕
2. 取不到字幕 → yt-dlp 只下载音频
3. OpenAI Whisper / faster-whisper 转写
4. YouTube Data API 抓 10–20 条评论
5. 输出 JSON / Markdown / CSV

推荐动作：优先作为 YouTube 标准链路。

方案 A3：`youtube-insights`，只解决 YouTube 评论

youtube-insights 是一个简单脚本，用来在不使用 YouTube API 的情况下下载 YouTube 评论，支持 --limit 限制评论数量，也可以导出 JSONL、TXT、CSV，并且 README 示例里明确展示了抓 10 条评论的命令。(GitHub)

它适合当评论备用方案，但不负责视频转写。

推荐动作：收藏备用，不作为主方案。

B. 抖音：有现成项目，但风控和登录态是核心风险

方案 B1：`jiji262/douyin-downloader`，目前最贴近你需求

这是这次检索里，最像你要的抖音端现成工具。它支持单个视频下载、短链接解析、作者主页批量下载、评论采集、评论保存为 *_comments.json、REST API server、SQLite 去重、Docker、限速、重试、浏览器 fallback，还支持“Video transcription Optional, using OpenAI Transcriptions API”。(GitHub)

它的功能列表里直接覆盖：

抖音链接
→ 视频下载
→ 评论采集
→ OpenAI 转写
→ JSON/SQLite/REST API

这比单纯下载器更接近你的竞品分析前置链路。它也有 Dockerfile、tests、CLI、server 目录，工程形态比很多临时脚本更完整。(GitHub)

匹配你的需求：高。

但要注意：抖音抓取很容易受登录态、验证码、风控、接口变化影响。这个项目自己也设计了 browser fallback、manual CAPTCHA、rate limiting，说明它也意识到平台风控问题。(GitHub)

推荐动作：优先交给 Codex 做技术体检，然后 Windows 本地小样本试跑。

方案 B2：`MediaCrawler`，更适合“评论/内容采集”，不是专门视频转写链路

MediaCrawler 是多平台自媒体采集项目，支持小红书、抖音、快手、B站、微博、贴吧、知乎等公开信息抓取；技术原理是 Playwright 登录态缓存，并通过浏览器上下文获取签名参数。(GitHub)

它对抖音支持关键词搜索、指定帖子 ID 爬取、二级评论、创作者主页、登录态缓存、IP 代理池等能力。(GitHub)

但它不是专门为“给定视频链接 → 下载音频 → 转写 → 评论”做的。它更适合作为：

评论采集器
竞品账号/关键词采集器
多平台数据采集架构参考

它需要 Python、uv、Node.js，抖音和知乎需要 Node.js >=16；默认使用 Chrome CDP 模式复用登录态，必要时使用 Playwright。(GitHub)

匹配你的需求：中高。

适合你后续做“抖音评论抓取模块”或“竞品账号批量观察”，但不一定是第一优先级。

推荐动作：收藏 + 架构学习 + 后续再试跑。

方案 B3：`Douyin_TikTok_Download_API`，适合部署成 API，但要处理 Cookie 风控

这个项目基于 PyWebIO、FastAPI、HTTPX，支持抖音/TikTok 数据爬取、在线批量解析、下载无水印视频或图集、API 调用等。(GitHub)

它支持抖音视频数据解析、用户主页作品、用户喜欢/收藏、用户信息、合辑、直播流、单个视频评论、评论回复、作品 ID 提取等；TikTok 也支持视频解析、主页作品、评论和评论回复。(GitHub)

但项目 README 明确提示：由于抖音风控，部署后需要自行获取 Douyin 网站 Cookie 并在配置里替换；Demo 站点也不保证 Douyin 解析/API 长期可用。(GitHub)

匹配你的需求：中高。

它更适合你的 CentOS 远程 Docker 服务化，但它的 Cookie 和风控维护成本可能高于 jiji262/douyin-downloader 的单机试跑。

推荐动作：作为远程 API 服务候选，不作为第一试跑对象。

C. 视频号：有下载器，但“转写 + 评论”完整链路不稳

方案 C1：`nobiyou/wx_channel`，视频号下载 + 本地 API 评论列表，值得关注

wx_channel 是微信视频号下载工具，支持单个下载、批量下载、加密视频自动解密、断点续传、去重、CSV 下载记录、JSON 数据导出，并且 README 写到“评论列表可通过本地 API 获取视频评论列表与回复分页”。(GitHub)

这点非常接近你的需求：

视频号视频下载
→ 本地 API 获取评论
→ 再接 Whisper 转写

但它涉及证书安装、本地代理、微信客户端页面注入等机制，安全和合规风险明显高于 YouTube/抖音常规 API 方案。README 也显示它需要下载 exe、首次安装证书、打开微信视频号页面后自动注入下载按钮。(GitHub)

匹配你的需求：中。

它值得试，但不建议直接在主力 Windows 环境里运行未知 exe。更稳妥做法是先让 Codex/Claude Code 静态审计源码，或在隔离 Windows 虚拟机里试。

推荐动作：只作为视频号候选，先源码体检，不直接运行二进制。

方案 C2：`qiye45/wechatVideoDownload`、`ltaoo/wx_channels_download`，更偏下载器

qiye45/wechatVideoDownload 支持视频号视频、直播回放、直播、图片下载，使用方式是开始监听后打开微信视频号，软件自动监听视频；可直接下载或复制链接后手动下载/解密。(GitHub)

ltaoo/wx_channels_download 也是微信视频号下载器，需要以管理员身份运行，首次会自动安装证书，然后在微信 PC 端视频下方注入下载按钮；README 里也有“仅用于技术交流学习和研究”的免责声明。(GitHub)

这两个更适合解决：

视频号视频拿到本地
→ 自己用 Whisper 转写

但它们没有明显覆盖“评论 10–20 条”这个需求。

匹配你的需求：中低。

推荐动作：只作为视频号下载备用，不作为完整链路主方案。

方案 C3：商业 API：TikHub / Just One API，视频号更可能省时间

TikHub SDK 宣称统一覆盖 16+ 社交平台，包括 TikTok、Douyin、YouTube、WeChat 等，并提供 video details、comments、search results 等实时数据接口；它还支持 MCP 集成，适合接入 Claude、LangChain、Coze、n8n。(GitHub)

TikHub 文档里列出了抖音单个视频、最高画质播放链接、视频统计、单个视频评论、评论回复等接口，也列出微信视频号和 YouTube Web API。(TikHub)

Just One API 的公开仓库列出了 Douyin 的视频详情、视频评论、评论回复、分享链接解析；WeChat Channels 的视频搜索、账号视频、视频基础信息、视频下载 URL、视频指标、视频评论、子评论；YouTube 的视频字幕、视频评论列表、子评论列表。(GitHub)

匹配你的需求：高，但不是纯开源。

如果你目标是竞品分析，而不是研究爬虫本身，商业 API 反而可能是最省时间的方案。你的需求只要每条视频 10–20 条评论，调用量不会太大，成本可能低于你维护抖音/视频号风控的时间成本。

推荐动作：把 TikHub / Just One API 作为“少开发、快验证”的备选路线。

3. 我给你的推荐落地路线

路线 1：最稳 MVP，先做 YouTube

适合先验证竞品分析链路。

YouTube URL
→ youtube-transcript-api 获取字幕
→ 如果没有字幕，用 yt-dlp 下载音频
→ OpenAI Whisper API 转写
→ YouTube Data API 抓 20 条评论
→ 输出 markdown/json
→ 丢给 LLM 做竞品分析

优点：

几乎不需要浏览器自动化。
评论可以走官方 API。
字幕优先，不一定要下载视频。
Windows 本地就能跑。
很适合交给 Codex 写一个干净脚本。

缺点：

YouTube 字幕不一定总能取到。
下载音频需注意版权和平台条款。
评论排序要明确：热门、最新、相关性。

推荐评分：4.5/5。

路线 2：抖音优先，用 `jiji262/douyin-downloader` 做试跑

适合你已有明确抖音视频链接的场景。

抖音 URL
→ jiji262/douyin-downloader 下载视频/音频
→ 同工具采集评论 JSON
→ OpenAI Transcriptions API 或本地 Whisper 转写
→ 输出竞品分析输入包

优点：

功能覆盖度非常高。
支持评论采集。
支持 OpenAI 转写。
有 REST API server 和 Docker，后续能接 Dify/OpenClaw。
有 SQLite 去重，适合长期沉淀。

缺点：

抖音风控不可避免。
可能需要浏览器 fallback、Cookie、验证码处理。
不建议一上来跑批量任务。

推荐评分：4/5。

路线 3：视频号不要先追求全自动

建议先这样做：

视频号 URL / 视频详情页
→ 用 wx_channel 或商业 API 获取视频
→ Whisper 转写
→ 评论优先走商业 API；本地工具能取再补
→ 输出竞品分析包

视频号的问题不是“有没有下载器”，而是：

评论接口不稳定；
可能依赖微信 PC 客户端；
常见方案涉及本地证书、代理、页面注入；
直接运行未知 exe 风险较高；
很难做成可靠远程服务。

推荐评分：2.5–3/5。

4. 项目优先级排序

第一优先级：马上试

1. `jiji262/douyin-downloader`

用途：抖音视频下载 + 评论 + 转写候选。

推荐原因：功能列表最贴近你的抖音需求，且不是单纯下载器。它支持单视频、评论、OpenAI 转写、REST API、Docker、SQLite、限速和重试。(GitHub)

推荐动作：交给 Codex 做体检，然后本地小样本试跑 3 条链接。

2. `par_yt2text`

用途：YouTube transcript/comment 一体化验证。

推荐原因：它明确支持 YouTube metadata、transcripts、comments，且没有字幕时可以用 OpenAI Whisper API 或本地 Whisper。(GitHub)

推荐动作：快速试跑，但不要把它当长期主干，先验证输出质量。

第二优先级：作为稳定组件

3. `yt-dlp`

用途：视频/音频下载底层组件。

推荐原因：成熟、覆盖面广，也支持写评论到 infojson。(GitHub)

推荐动作：作为脚本底座，不直接当完整竞品分析工具。

4. `youtube-transcript-api`

用途：YouTube 字幕优先获取。

推荐原因：轻量，不需要 API key 或 headless browser，能取自动字幕。(GitHub)

推荐动作：YouTube 链路首选字幕获取器。

5. YouTube Data API

用途：YouTube 评论官方抓取。

推荐原因：官方 comments.list 支持默认 20 条、最多 100 条，单次调用 quota cost 1，刚好满足你要 10–20 条评论。(Google for Developers)

推荐动作：YouTube 评论优先用官方 API，不建议优先走爬虫。

第三优先级：收藏/后续接入

6. `MediaCrawler`

用途：抖音/小红书/快手/B站等评论和内容采集架构。

推荐原因：多平台、评论能力强、架构参考价值高；但依赖 Playwright/Chrome 登录态/Node.js，试跑复杂度更高。(GitHub)

推荐动作：收藏 + 架构学习 + 后续作为评论采集模块候选。

7. `Douyin_TikTok_Download_API`

用途：抖音/TikTok API 服务化。

推荐原因：FastAPI 形态适合你的远程 CentOS Docker 服务；支持视频解析、下载、评论、评论回复。(GitHub)

主要风险：README 明确提示需要自行解决 Cookie 风控，Demo 站点也不保证可用。(GitHub)

推荐动作：作为远程服务候选，不建议先跑。

8. `wx_channel`

用途：视频号本地下载 + 可能的评论 API。

推荐原因：相比其他视频号下载器，它至少提到本地 API 可获取评论列表与回复分页。(GitHub)

主要风险：证书、代理、微信客户端注入、未知 exe。

推荐动作：只在隔离环境试，不建议主机直接运行。

5. 不建议优先做的事

不建议你现在就：

从零写 Agent/Skill。 你当前问题不是 Agent 编排问题，而是平台数据获取问题；Agent 无法降低抖音/视频号风控复杂度。
先做视频号全自动。 视频号链路最脆弱，很多方案涉及本地代理、证书、客户端注入或解密，不适合作为第一阶段主线。
直接运行未知仓库的 exe、安装脚本、证书、代理工具。 尤其是视频号下载器，经常需要管理员权限和证书安装，必须先源码审计或隔离环境测试。
大规模抓取评论。 你的需求只要 10–20 条评论，应该做低频、少量、明确来源的采集，降低封号、风控、合规和隐私风险。

6. 最小可行技术方案

我建议你让 Codex 先做一个平台无关的输出规范，而不是先深挖所有平台：

{
  "platform": "youtube | douyin | wechat_channels",
  "source_url": "...",
  "video_id": "...",
  "title": "...",
  "author": "...",
  "published_at": "...",
  "transcript": {
    "source": "official_caption | whisper_api | local_whisper",
    "language": "zh-CN",
    "text": "..."
  },
  "comments": [
    {
      "author": "...",
      "text": "...",
      "like_count": 0,
      "published_at": "...",
      "reply_count": 0
    }
  ],
  "raw_files": {
    "audio": "...",
    "video": "...",
    "comments_json": "..."
  }
}

然后每个平台只负责填这个结构。

7. 推荐给 Codex 的任务描述

你可以直接复制给 Codex：

请帮我做一个“竞品视频分析前置采集脚本”的技术验证，不要从零开发大型 Agent。

目标：
给定一个视频链接，输出：
1. 视频基本信息
2. 语音转文字稿
3. 视频下 10-20 条评论
4. JSON + Markdown 两种输出

优先平台：
第一阶段只做 YouTube。
第二阶段预留 Douyin。
第三阶段预留 WeChat Channels。

我的环境：
Windows 11，Python/uv/pip 可用，无 WSL，无 Docker；远程 CentOS 可 Docker。

请优先验证：
1. YouTube：
   - youtube-transcript-api 是否能取字幕
   - 取不到字幕时用 yt-dlp 下载音频
   - 用 OpenAI Whisper API 转写音频
   - 用 YouTube Data API 抓 20 条评论
2. Douyin：
   - 调研 jiji262/douyin-downloader 是否能通过命令行或库方式完成：
     a. 单视频下载
     b. 评论采集
     c. OpenAI Transcriptions API 转写
   - 不要大规模请求，不要绕过验证码，不要写高频爬虫
3. 输出结构：
   - 保存 transcript.txt
   - 保存 comments.json
   - 保存 analysis_input.md

安全要求：
- 不读取或上传浏览器 Cookie
- 不运行未知 shell 脚本
- 不安装未知证书
- 不直接运行未知 exe
- 所有 API Key 从 .env 读取，不写入代码
- 默认只处理用户手动提供的公开视频链接

请输出：
1. 推荐依赖
2. 最小可运行命令
3. 代码结构
4. 风险点
5. 下一步是否值得接入 Douyin / WeChat Channels

8. 最终推荐

现在最值得做的是：

YouTube MVP：
youtube-transcript-api + yt-dlp + OpenAI Whisper + YouTube Data API

抖音候选：
jiji262/douyin-downloader

视频号候选：
先不自动化，优先 wx_channel / 商业 API / 半手工下载 + Whisper

一句话判断：有现成轮子，不必先开发 Agent/Skill；你真正需要的是一个“多平台采集适配器 + 统一 JSON 输出”的小脚本。

23 KiB Raw Blame History Unescape Escape

1

检索结论：现阶段最值得走“三段式现成链路”

1. 快速结论

2. 最接近你需求的现成项目/方案

A. YouTube：成熟度最高，基本不用造轮子

方案 A1：par_yt2text，最接近“单工具完成 YouTube 转写 + 评论”

方案 A2：yt-dlp + youtube-transcript-api + YouTube Data API，最稳的组件拼装方案

方案 A3：youtube-insights，只解决 YouTube 评论