# 1

你除了评估外，能否先做检索呢？
比如，我现在有一个诉求，想爬抖音、视频号或者youtube上的视频，搜索一下现有的github，或者其他工作，有没有现成能用的；不用自己开发一个Agent/Skill。

更准确的需求是：
我现在想做竞品分析，我可以找到准确的要爬取的视频链接，我最终要的不是一个视频，而是视频的语音转文字稿，同时能配套这个视频下的10条或者20条评论。
我拿到文字稿、评论后，就可以去做竞品分析了。

那么前期，这个链路就是：
1. 爬视频 -> 生成语音 -> 生成语音转文字稿；
2. 爬评论

我可以用codex帮我去做脚本，甚至直接做执行。
想看看现在有没有现成的，不用重新造轮子。

可以，**可以先做“需求检索 + 现成方案筛选”，再做项目评估**。这类问题比单仓库评估更适合先检索，因为你真正要的不是“爬虫项目”，而是一条可落地链路：

> 已知视频链接 → 拿到视频/音频 → 转写成文字稿 → 抓 10–20 条评论 → 输出给竞品分析。

结合你当前 Windows 本地、CentOS 远程、偏 API/低成本、不想重造 Agent/Skill 的使用背景判断：**YouTube 可以基本不造轮子；抖音有较接近的现成工具；视频号风险和不稳定性最高，最好优先考虑 API 服务或半手工方案。** 

# 检索结论：现阶段最值得走“三段式现成链路”

## 1. 快速结论

**结论：不建议从零开发 Agent/Skill。建议先用现成工具拼一条轻量流水线。**

优先级如下：

| 平台      | 现成可用程度 | 推荐路径                                                                                 | 结论         |
| ------- | -----: | ------------------------------------------------------------------------------------ | ---------- |
| YouTube |      高 | `yt-dlp` / `youtube-transcript-api` / YouTube Data API / `par_yt2text`               | 最适合先跑通     |
| 抖音      |     中高 | `jiji262/douyin-downloader` 或 `MediaCrawler` / `Douyin_TikTok_Download_API` / TikHub | 可以试跑，但要防风控 |
| 视频号     |     中低 | `wx_channel` / 商业 API / 半手工下载 + 转写                                                   | 不建议先深度自动化  |
| 多平台统一   |      中 | TikHub / Just One API                                                                | 成本可控时最省开发  |

我的推荐动作：

* **第一步先做 YouTube MVP**：最稳，最少登录态问题，先验证“视频转写 + 评论入库 + 竞品分析”工作流。
* **第二步接抖音**：优先试 `jiji262/douyin-downloader`，因为它同时覆盖“下载、评论、可选 OpenAI 转写、REST API、Docker”这些点。
* **第三步再考虑视频号**：视频号优先用 API 服务或本地下载器半自动处理，不建议一开始投入自动爬评论和下载的稳定化工程。

---

# 2. 最接近你需求的现成项目/方案

## A. YouTube：成熟度最高，基本不用造轮子

### 方案 A1：`par_yt2text`，最接近“单工具完成 YouTube 转写 + 评论”

这个项目的 README 明确写了：可以从 YouTube 视频中提取 metadata、transcripts 和 comments；如果没有 transcript，可以用 OpenAI Whisper API 或本地 Whisper 转写音频。它需要 Python 3.11、Google API Key，如果用 OpenAI Whisper API 则还需要 OpenAI API Key；也支持 Windows、Linux、macOS。([GitHub][1])

**匹配你的需求：高。**

它正好对应：

```text
YouTube URL
→ transcript 或 Whisper 转写
→ comments
→ 保存输出
```

优点是链路完整；缺点是项目星数很低，目前更像“好用的小工具/脚手架”，不是大生态项目。它适合你先用 Codex 做一次技术体检，看看评论、字幕、保存格式是否可靠。([GitHub][1])

**推荐动作：本地试跑 + Codex 轻体检。**

---

### 方案 A2：`yt-dlp` + `youtube-transcript-api` + YouTube Data API，最稳的组件拼装方案

`yt-dlp` 是视频/音频下载的事实标准之一，并且支持 `--write-comments`，可以把视频评论写入 infojson；它也支持从浏览器读取 cookies，但这会带来隐私和合规风险，能不用就不用。([GitHub][2])

`youtube-transcript-api` 可以获取 YouTube 视频 transcript/subtitles，包括自动生成字幕，并且不需要 API key 或 headless browser；适合“先拿现成字幕，拿不到再 Whisper”。([GitHub][3])

YouTube 官方 Data API 的 `comments.list` 可以返回评论，默认 20 条，`maxResults` 支持 1 到 100，单次调用 quota cost 是 1；这正好满足你“10 条或 20 条评论”的需求。([Google for Developers][4])

**匹配你的需求：最高。**

推荐链路：

```text
1. youtube-transcript-api 先取字幕
2. 取不到字幕 → yt-dlp 只下载音频
3. OpenAI Whisper / faster-whisper 转写
4. YouTube Data API 抓 10–20 条评论
5. 输出 JSON / Markdown / CSV
```

**推荐动作：优先作为 YouTube 标准链路。**

---

### 方案 A3：`youtube-insights`，只解决 YouTube 评论

`youtube-insights` 是一个简单脚本，用来在不使用 YouTube API 的情况下下载 YouTube 评论，支持 `--limit` 限制评论数量，也可以导出 JSONL、TXT、CSV，并且 README 示例里明确展示了抓 10 条评论的命令。([GitHub][5])

它适合当评论备用方案，但不负责视频转写。

**推荐动作：收藏备用，不作为主方案。**

---

## B. 抖音：有现成项目，但风控和登录态是核心风险

### 方案 B1：`jiji262/douyin-downloader`，目前最贴近你需求

这是这次检索里，**最像你要的抖音端现成工具**。它支持单个视频下载、短链接解析、作者主页批量下载、评论采集、评论保存为 `*_comments.json`、REST API server、SQLite 去重、Docker、限速、重试、浏览器 fallback，还支持“Video transcription Optional, using OpenAI Transcriptions API”。([GitHub][6])

它的功能列表里直接覆盖：

```text
抖音链接
→ 视频下载
→ 评论采集
→ OpenAI 转写
→ JSON/SQLite/REST API
```

这比单纯下载器更接近你的竞品分析前置链路。它也有 Dockerfile、tests、CLI、server 目录，工程形态比很多临时脚本更完整。([GitHub][6])

**匹配你的需求：高。**

但要注意：抖音抓取很容易受登录态、验证码、风控、接口变化影响。这个项目自己也设计了 browser fallback、manual CAPTCHA、rate limiting，说明它也意识到平台风控问题。([GitHub][6])

**推荐动作：优先交给 Codex 做技术体检，然后 Windows 本地小样本试跑。**

---

### 方案 B2：`MediaCrawler`，更适合“评论/内容采集”，不是专门视频转写链路

`MediaCrawler` 是多平台自媒体采集项目，支持小红书、抖音、快手、B站、微博、贴吧、知乎等公开信息抓取；技术原理是 Playwright 登录态缓存，并通过浏览器上下文获取签名参数。([GitHub][7])

它对抖音支持关键词搜索、指定帖子 ID 爬取、二级评论、创作者主页、登录态缓存、IP 代理池等能力。([GitHub][7])

但它不是专门为“给定视频链接 → 下载音频 → 转写 → 评论”做的。它更适合作为：

```text
评论采集器
竞品账号/关键词采集器
多平台数据采集架构参考
```

它需要 Python、uv、Node.js，抖音和知乎需要 Node.js >=16；默认使用 Chrome CDP 模式复用登录态，必要时使用 Playwright。([GitHub][7])

**匹配你的需求：中高。**

适合你后续做“抖音评论抓取模块”或“竞品账号批量观察”，但不一定是第一优先级。

**推荐动作：收藏 + 架构学习 + 后续再试跑。**

---

### 方案 B3：`Douyin_TikTok_Download_API`，适合部署成 API，但要处理 Cookie 风控

这个项目基于 PyWebIO、FastAPI、HTTPX，支持抖音/TikTok 数据爬取、在线批量解析、下载无水印视频或图集、API 调用等。([GitHub][8])

它支持抖音视频数据解析、用户主页作品、用户喜欢/收藏、用户信息、合辑、直播流、单个视频评论、评论回复、作品 ID 提取等；TikTok 也支持视频解析、主页作品、评论和评论回复。([GitHub][8])

但项目 README 明确提示：由于抖音风控，部署后需要自行获取 Douyin 网站 Cookie 并在配置里替换；Demo 站点也不保证 Douyin 解析/API 长期可用。([GitHub][8])

**匹配你的需求：中高。**

它更适合你的 CentOS 远程 Docker 服务化，但它的 Cookie 和风控维护成本可能高于 `jiji262/douyin-downloader` 的单机试跑。

**推荐动作：作为远程 API 服务候选，不作为第一试跑对象。**

---

## C. 视频号：有下载器，但“转写 + 评论”完整链路不稳

### 方案 C1：`nobiyou/wx_channel`，视频号下载 + 本地 API 评论列表，值得关注

`wx_channel` 是微信视频号下载工具，支持单个下载、批量下载、加密视频自动解密、断点续传、去重、CSV 下载记录、JSON 数据导出，并且 README 写到“评论列表可通过本地 API 获取视频评论列表与回复分页”。([GitHub][9])

这点非常接近你的需求：

```text
视频号视频下载
→ 本地 API 获取评论
→ 再接 Whisper 转写
```

但它涉及证书安装、本地代理、微信客户端页面注入等机制，安全和合规风险明显高于 YouTube/抖音常规 API 方案。README 也显示它需要下载 exe、首次安装证书、打开微信视频号页面后自动注入下载按钮。([GitHub][9])

**匹配你的需求：中。**

它值得试，但不建议直接在主力 Windows 环境里运行未知 exe。更稳妥做法是先让 Codex/Claude Code 静态审计源码，或在隔离 Windows 虚拟机里试。

**推荐动作：只作为视频号候选，先源码体检，不直接运行二进制。**

---

### 方案 C2：`qiye45/wechatVideoDownload`、`ltaoo/wx_channels_download`，更偏下载器

`qiye45/wechatVideoDownload` 支持视频号视频、直播回放、直播、图片下载，使用方式是开始监听后打开微信视频号，软件自动监听视频；可直接下载或复制链接后手动下载/解密。([GitHub][10])

`ltaoo/wx_channels_download` 也是微信视频号下载器，需要以管理员身份运行，首次会自动安装证书，然后在微信 PC 端视频下方注入下载按钮；README 里也有“仅用于技术交流学习和研究”的免责声明。([GitHub][11])

这两个更适合解决：

```text
视频号视频拿到本地
→ 自己用 Whisper 转写
```

但它们没有明显覆盖“评论 10–20 条”这个需求。

**匹配你的需求：中低。**

**推荐动作：只作为视频号下载备用，不作为完整链路主方案。**

---

### 方案 C3：商业 API：TikHub / Just One API，视频号更可能省时间

TikHub SDK 宣称统一覆盖 16+ 社交平台，包括 TikTok、Douyin、YouTube、WeChat 等，并提供 video details、comments、search results 等实时数据接口；它还支持 MCP 集成，适合接入 Claude、LangChain、Coze、n8n。([GitHub][12])

TikHub 文档里列出了抖音单个视频、最高画质播放链接、视频统计、单个视频评论、评论回复等接口，也列出微信视频号和 YouTube Web API。([TikHub][13])

Just One API 的公开仓库列出了 Douyin 的视频详情、视频评论、评论回复、分享链接解析；WeChat Channels 的视频搜索、账号视频、视频基础信息、视频下载 URL、视频指标、视频评论、子评论；YouTube 的视频字幕、视频评论列表、子评论列表。([GitHub][14])

**匹配你的需求：高，但不是纯开源。**

如果你目标是竞品分析，而不是研究爬虫本身，**商业 API 反而可能是最省时间的方案**。你的需求只要每条视频 10–20 条评论，调用量不会太大，成本可能低于你维护抖音/视频号风控的时间成本。

**推荐动作：把 TikHub / Just One API 作为“少开发、快验证”的备选路线。**

---

# 3. 我给你的推荐落地路线

## 路线 1：最稳 MVP，先做 YouTube

适合先验证竞品分析链路。

```text
YouTube URL
→ youtube-transcript-api 获取字幕
→ 如果没有字幕，用 yt-dlp 下载音频
→ OpenAI Whisper API 转写
→ YouTube Data API 抓 20 条评论
→ 输出 markdown/json
→ 丢给 LLM 做竞品分析
```

优点：

* 几乎不需要浏览器自动化。
* 评论可以走官方 API。
* 字幕优先，不一定要下载视频。
* Windows 本地就能跑。
* 很适合交给 Codex 写一个干净脚本。

缺点：

* YouTube 字幕不一定总能取到。
* 下载音频需注意版权和平台条款。
* 评论排序要明确：热门、最新、相关性。

**推荐评分：4.5/5。**

---

## 路线 2：抖音优先，用 `jiji262/douyin-downloader` 做试跑

适合你已有明确抖音视频链接的场景。

```text
抖音 URL
→ jiji262/douyin-downloader 下载视频/音频
→ 同工具采集评论 JSON
→ OpenAI Transcriptions API 或本地 Whisper 转写
→ 输出竞品分析输入包
```

优点：

* 功能覆盖度非常高。
* 支持评论采集。
* 支持 OpenAI 转写。
* 有 REST API server 和 Docker，后续能接 Dify/OpenClaw。
* 有 SQLite 去重，适合长期沉淀。

缺点：

* 抖音风控不可避免。
* 可能需要浏览器 fallback、Cookie、验证码处理。
* 不建议一上来跑批量任务。

**推荐评分：4/5。**

---

## 路线 3：视频号不要先追求全自动

建议先这样做：

```text
视频号 URL / 视频详情页
→ 用 wx_channel 或商业 API 获取视频
→ Whisper 转写
→ 评论优先走商业 API；本地工具能取再补
→ 输出竞品分析包
```

视频号的问题不是“有没有下载器”，而是：

* 评论接口不稳定；
* 可能依赖微信 PC 客户端；
* 常见方案涉及本地证书、代理、页面注入；
* 直接运行未知 exe 风险较高；
* 很难做成可靠远程服务。

**推荐评分：2.5–3/5。**

---

# 4. 项目优先级排序

## 第一优先级：马上试

### 1. `jiji262/douyin-downloader`

**用途：抖音视频下载 + 评论 + 转写候选。**

推荐原因：功能列表最贴近你的抖音需求，且不是单纯下载器。它支持单视频、评论、OpenAI 转写、REST API、Docker、SQLite、限速和重试。([GitHub][6])

推荐动作：**交给 Codex 做体检，然后本地小样本试跑 3 条链接。**

---

### 2. `par_yt2text`

**用途：YouTube transcript/comment 一体化验证。**

推荐原因：它明确支持 YouTube metadata、transcripts、comments，且没有字幕时可以用 OpenAI Whisper API 或本地 Whisper。([GitHub][1])

推荐动作：**快速试跑，但不要把它当长期主干，先验证输出质量。**

---

## 第二优先级：作为稳定组件

### 3. `yt-dlp`

**用途：视频/音频下载底层组件。**

推荐原因：成熟、覆盖面广，也支持写评论到 infojson。([GitHub][2])

推荐动作：**作为脚本底座，不直接当完整竞品分析工具。**

---

### 4. `youtube-transcript-api`

**用途：YouTube 字幕优先获取。**

推荐原因：轻量，不需要 API key 或 headless browser，能取自动字幕。([GitHub][3])

推荐动作：**YouTube 链路首选字幕获取器。**

---

### 5. YouTube Data API

**用途：YouTube 评论官方抓取。**

推荐原因：官方 comments.list 支持默认 20 条、最多 100 条，单次调用 quota cost 1，刚好满足你要 10–20 条评论。([Google for Developers][4])

推荐动作：**YouTube 评论优先用官方 API，不建议优先走爬虫。**

---

## 第三优先级：收藏/后续接入

### 6. `MediaCrawler`

**用途：抖音/小红书/快手/B站等评论和内容采集架构。**

推荐原因：多平台、评论能力强、架构参考价值高；但依赖 Playwright/Chrome 登录态/Node.js，试跑复杂度更高。([GitHub][7])

推荐动作：**收藏 + 架构学习 + 后续作为评论采集模块候选。**

---

### 7. `Douyin_TikTok_Download_API`

**用途：抖音/TikTok API 服务化。**

推荐原因：FastAPI 形态适合你的远程 CentOS Docker 服务；支持视频解析、下载、评论、评论回复。([GitHub][8])

主要风险：README 明确提示需要自行解决 Cookie 风控，Demo 站点也不保证可用。([GitHub][8])

推荐动作：**作为远程服务候选，不建议先跑。**

---

### 8. `wx_channel`

**用途：视频号本地下载 + 可能的评论 API。**

推荐原因：相比其他视频号下载器，它至少提到本地 API 可获取评论列表与回复分页。([GitHub][9])

主要风险：证书、代理、微信客户端注入、未知 exe。

推荐动作：**只在隔离环境试，不建议主机直接运行。**

---

# 5. 不建议优先做的事

不建议你现在就：

1. **从零写 Agent/Skill。**
   你当前问题不是 Agent 编排问题，而是平台数据获取问题；Agent 无法降低抖音/视频号风控复杂度。

2. **先做视频号全自动。**
   视频号链路最脆弱，很多方案涉及本地代理、证书、客户端注入或解密，不适合作为第一阶段主线。

3. **直接运行未知仓库的 exe、安装脚本、证书、代理工具。**
   尤其是视频号下载器，经常需要管理员权限和证书安装，必须先源码审计或隔离环境测试。

4. **大规模抓取评论。**
   你的需求只要 10–20 条评论，应该做低频、少量、明确来源的采集，降低封号、风控、合规和隐私风险。

---

# 6. 最小可行技术方案

我建议你让 Codex 先做一个平台无关的输出规范，而不是先深挖所有平台：

```json
{
  "platform": "youtube | douyin | wechat_channels",
  "source_url": "...",
  "video_id": "...",
  "title": "...",
  "author": "...",
  "published_at": "...",
  "transcript": {
    "source": "official_caption | whisper_api | local_whisper",
    "language": "zh-CN",
    "text": "..."
  },
  "comments": [
    {
      "author": "...",
      "text": "...",
      "like_count": 0,
      "published_at": "...",
      "reply_count": 0
    }
  ],
  "raw_files": {
    "audio": "...",
    "video": "...",
    "comments_json": "..."
  }
}
```

然后每个平台只负责填这个结构。

---

# 7. 推荐给 Codex 的任务描述

你可以直接复制给 Codex：

```text
请帮我做一个“竞品视频分析前置采集脚本”的技术验证，不要从零开发大型 Agent。

目标：
给定一个视频链接，输出：
1. 视频基本信息
2. 语音转文字稿
3. 视频下 10-20 条评论
4. JSON + Markdown 两种输出

优先平台：
第一阶段只做 YouTube。
第二阶段预留 Douyin。
第三阶段预留 WeChat Channels。

我的环境：
Windows 11，Python/uv/pip 可用，无 WSL，无 Docker；远程 CentOS 可 Docker。

请优先验证：
1. YouTube：
   - youtube-transcript-api 是否能取字幕
   - 取不到字幕时用 yt-dlp 下载音频
   - 用 OpenAI Whisper API 转写音频
   - 用 YouTube Data API 抓 20 条评论
2. Douyin：
   - 调研 jiji262/douyin-downloader 是否能通过命令行或库方式完成：
     a. 单视频下载
     b. 评论采集
     c. OpenAI Transcriptions API 转写
   - 不要大规模请求，不要绕过验证码，不要写高频爬虫
3. 输出结构：
   - 保存 transcript.txt
   - 保存 comments.json
   - 保存 analysis_input.md

安全要求：
- 不读取或上传浏览器 Cookie
- 不运行未知 shell 脚本
- 不安装未知证书
- 不直接运行未知 exe
- 所有 API Key 从 .env 读取，不写入代码
- 默认只处理用户手动提供的公开视频链接

请输出：
1. 推荐依赖
2. 最小可运行命令
3. 代码结构
4. 风险点
5. 下一步是否值得接入 Douyin / WeChat Channels
```

---

# 8. 最终推荐

**现在最值得做的是：**

```text
YouTube MVP：
youtube-transcript-api + yt-dlp + OpenAI Whisper + YouTube Data API

抖音候选：
jiji262/douyin-downloader

视频号候选：
先不自动化，优先 wx_channel / 商业 API / 半手工下载 + Whisper
```

一句话判断：**有现成轮子，不必先开发 Agent/Skill；你真正需要的是一个“多平台采集适配器 + 统一 JSON 输出”的小脚本。**

[1]: https://github.com/paulrobello/par_yt2text "GitHub - paulrobello/par_yt2text: Extract metadata, transcripts, and comments from YouTube videos with optional audio transcription using OpenAI Whisper API · GitHub"
[2]: https://github.com/yt-dlp/yt-dlp "GitHub - yt-dlp/yt-dlp: A feature-rich command-line audio/video downloader · GitHub"
[3]: https://github.com/jdepoix/youtube-transcript-api?utm_source=chatgpt.com "jdepoix/youtube-transcript-api: This is a python ..."
[4]: https://developers.google.com/youtube/v3/docs/comments/list "Comments: list  |  YouTube Data API  |  Google for Developers"
[5]: https://github.com/schneiderkamplab/youtube-insights "GitHub - schneiderkamplab/youtube-insights: Simple script for downloading Youtube comments without using the Youtube API · GitHub"
[6]: https://github.com/jiji262/douyin-downloader "GitHub - jiji262/douyin-downloader: A practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback support. 抖音批量下载工具，去水印，支持视频、图集、合集、音乐(原声)。免费！免费！免费！ · GitHub"
[7]: https://github.com/NanmiCoder/MediaCrawler "GitHub - NanmiCoder/MediaCrawler: 小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 ｜ 评论爬虫、微博帖子 ｜ 评论爬虫、百度贴吧帖子 ｜ 百度贴吧评论回复爬虫  | 知乎问答文章｜评论爬虫 · GitHub"
[8]: https://github.com/Evil0ctal/Douyin_TikTok_Download_API "GitHub - Evil0ctal/Douyin_TikTok_Download_API: 「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音、快手、TikTok、Bilibili数据爬取工具，支持API调用，在线批量解析及下载。 · GitHub"
[9]: https://github.com/nobiyou/wx_channel "GitHub - nobiyou/wx_channel: 微信视频号下载工具 · GitHub"
[10]: https://github.com/qiye45/wechatVideoDownload "GitHub - qiye45/wechatVideoDownload: 微信视频号下载工具，支持视频号视频、直播回放、直播、图片下载 · GitHub"
[11]: https://github.com/ltaoo/wx_channels_download "GitHub - ltaoo/wx_channels_download: 微信视频号下载器 · GitHub"
[12]: https://github.com/TikHub/TikHub-API-Python-SDK "GitHub - TikHub/TikHub-API-Python-SDK: High-performance asynchronous Douyin(抖音) TikTok Xiaohongshu(小红书) Kuaishou(快手) Weibo(微博) Instagram YouTube(油管) Twitter(X) Captcha Solver(验证码解决器) Temp Mail(临时邮箱) API(接口). · GitHub"
[13]: https://docs.tikhub.io/4579297m0 "自述文档 - 中文 - TikHub.io API Docs"
[14]: https://github.com/ddddshop/crawl-data-api "GitHub - justoneapi/crawl-data-api: Just One API - Data API Service: Xiaohongshu, RedNote, Taobao, Tmall, Douyin, Douyin E-commerce, Google Search API, SERP API, TikTok, TikTok Shop, Kuaishou, Sina Weibo, Bilibili, Douban, Xiaohongshu Pugongying, Douyin Xingtu, WeChat, Youku, Beike, IMDb, JD.com, Toutiao, Zhihu, Amazon, Facebook, Twitter, Temu, Reddit, Shopee, YouTube, Instagram · GitHub"