knowledge-vault/discussions/technology/OpenClaw/爬抖音视频.md

167 lines
5.7 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 1
我们现在开始准备试一条自动化的工作:爬视频。我的规划:
1. 我找到一条爆款抖音视频我发给你这个视频的URL
2. 你根据URL下载视频至本地放到`/media/downloads/`下
3. 你从视频中提取音频,也放到`/media/downloads/`下
4. 你将音频变成文字稿,文字稿放到`/root/.openclaw/workspace/wantsong/Work/自媒体/文字稿`下
后续还有其他步骤,但是我们可以先考虑/讨论前面这4步。
其实核心是根据我的URL取得视频的文字稿下载视频、生成音频都是中间步骤若你有更好的办法可以跳过这两步更好。
我希望:
1. 先讨论做法
2. 做法讨论完成后,我们测试
3. 测试成功的话希望能把这个过程形成一个Skill以便后续我发给你URL就可以自动爬取文字稿
对此,你有什么想法么?
好问题!让我先说说我的想法 👇
## 🔍 核心目标拆解
你的最终目标是**文字稿**,中间步骤(下载视频+提取音频)是为了到达目标的路径。
## 🛠 技术路径分析
### 最理想方案:一步到位
- **yt-dlp** 可以直接尝试提取字幕(`--write-subs --write-auto-subs`
- ⚠️ 抖音的字幕需要登录cookie否则可能拿不到
### fallback 方案(如果拿不到字幕)
| 步骤 | 工具 | 说明 |
|-----|------|-----|
| 下载视频 | yt-dlp | 需要cookie才能下抖音 |
| 提取音频 | ffmpeg | `ffmpeg -i video.mp4 -vn audio.mp3` |
| 音频转写 | whisper.cpp (本地) 或 API | 本地免费API更快 |
## 🤔 需要讨论的问题
1. **cookie 问题**你抖音登录的cookie有没有没有的话需要提供或者用yt-dlp的 `--cookies-from-browser chrome` 试试)
2. **转写方案**:本地用 whisper.cpp免费但慢 vs API付费但快你倾向哪个
3. **目录确认**
- `/media/downloads/` —— 视频+音频
- `/root/.openclaw/workspace/wantsong/Work/自媒体/文字稿` —— 文字稿
- 这两个路径OK吗
---
我的建议:**先试试能否直接用 yt-dlp 拿到字幕**(如果能拿到,就跳过视频+音频步骤,最简单)。
你觉得咋样?先讨论还是直接开干?🎯
# 2
> 需要cookie才能下抖音
我怎么拿到cookie
我在我本地机器上登录抖音了这个cookie怎么取怎么给你
还是我需要在你所在的机器上登录这个机器没有UI界面。
**转写方案**可以考虑先用whisper.cpp我看看效果
**目录确认**,你可以看看你能访问到,有没有读写权限。
目录权限OK ✅
---
## 🍪 Cookie 问题
你在本地浏览器登录了抖音cookie需要导出来给我。有几种方式
### 方式1浏览器插件推荐
装个插件如 **Cookie-Editor**Chrome/Firefox都有点一下就导出JSON很方便
### 方式2开发者工具
1. 打开抖音网页F12
2. → Application → Cookies → 复制内容
3. 粘贴给我
### 方式3直接试试
你可以先发视频URL给我我试试用 yt-dlp 能否直接下载有些视频可能不需要cookie。不行再说。
---
## 📝 下一步
1. 你先发个抖音视频URL给我试试
2. 如果需要cookie你导出给我
3. 同时我准备 whisper.cpp 的环境
咋样,要不来一条试试?🎬
# 3
我选了一条视频,`https://www.douyin.com/jingxuan/search/%E8%AE%A4%E7%9F%A5?aid=706b7a7b-9ddd-4bcf-b9b1-624dfefb12f6&modal_id=7607090241048427941&type=general`
cookie我放在了`/root/.openclaw/workspace/wantsong/Work/自媒体/cookie.json`文件中,你需要的话可以取。
试一下,看行不行。
看到了——请求返回 `content-length: 0`说明Cookie不够用。抖音的防护比较严。
## 📋 当前情况
| 问题 | 状态 |
|-----|------|
| yt-dlp 已安装 | ✅ |
| Cookie格式转换 | ✅ |
| 实际下载 | ❌ Cookie失效/需要刷新 |
## 🔧 可能的解决方案
### 方案A你在本地浏览器重新导出Cookie
打开抖音网页F12 → Application → Cookies → 全部复制给我(可能需要最新的 `__ac_nonce``__ac_signature`
### 方案B用你的本地电脑来下载
你本地有浏览器,如果装 yt-dlp可以直接
```bash
yt-dlp --cookies-from-browser chrome "视频URL"
```
这样cookie自动提取然后传视频文件给我
### 方案C换一个不需要登录的渠道
比如用 **TikHub**第三方API或者你直接告诉我视频内容我手打 😂
---
你倾向哪个要不要先用方案B试试——你本地下一个传视频文件给我📦
# 4
我们变更一下计划:
1. 我自行下载视频,然后放到`/media/uploads/`下
2. 然后你根据这个视频,读取文字,看要不要生成音频过程,若需要音频,那音频也放在`/media/uploads/`下
3. 文字稿最后是markdown格式放在`/root/.openclaw/workspace/wantsong/Work/自媒体/文字稿`下
我现在`/media/uploads/`放了一个mp4你可以看到就这一个文件。
你试一下新计划。
还没搞定 😅
问题是:**网络不通 HuggingFace**模型下不下来ping 8.8.8.8 通,但 huggingface 不通,可能是 DNS 或墙的问题)
## 🔧 几个选择
### 方案A用 Dify 智能体转写
你之前提到有"张辽"之类的智能体,能否让 Dify 帮忙转写?(你把音频/视频发给它)
### 方案B我试试其他源下载模型
比如从 GitHub 或其他镜像
### 方案C你在本地转写好给我
本地网络通的話可以用 Whisper Desktop转好直接给我 markdown
---
你倾向哪个?或者你有其他 API key 可以用?🎯
# 6
音频转写,技术上准备怎么实现?
要到HuggingFace下载什么模型多大