227 lines
6.7 KiB
Markdown
227 lines
6.7 KiB
Markdown
# 文生图与图生图执行边界调研
|
||
|
||
```yaml
|
||
status: investigation
|
||
date: 2026-06-23
|
||
scope:
|
||
- text-to-image
|
||
- image-to-image
|
||
- video-workbench local execution workflow
|
||
non_goals:
|
||
- 不直接生图
|
||
- 不验证最终图片质量
|
||
- 不设计视频生成或剪辑流程
|
||
```
|
||
|
||
## 一、结论
|
||
|
||
在 GPT V2 改造后，文生图和图生图都属于 Codex / video-workbench 的阶段6以后执行层能力。
|
||
|
||
GPT V2 只提供：
|
||
|
||
- 视觉目标；
|
||
- 画面功能；
|
||
- 页面 / 镜头功能；
|
||
- 人物、场景、风格、模板、图示系统；
|
||
- 参考图需求；
|
||
- 验收关注点。
|
||
|
||
Codex 负责判断某个资产应走文生图还是图生图，并负责最终提示词、试跑、review、失败归因和版本落盘。
|
||
|
||
核心规则：
|
||
|
||
> 文生图用于从文字规格生成初始资产；图生图用于在已有参考资产上保持、变体、修正或扩展。
|
||
|
||
## 二、文生图适用场景
|
||
|
||
文生图适合没有强参考图依赖、可以通过文字规格清楚定义的资产。
|
||
|
||
典型场景：
|
||
|
||
- 科普视频的概念隐喻图；
|
||
- 培训 PPT 的概念页背景；
|
||
- 客户方案 PPT 的商务图示背景；
|
||
- 信息图或流程图的初始视觉方向；
|
||
- `visual-system/` 的第一轮风格试跑；
|
||
- `slides/sNN/` 的第一版页面 / 镜头资产。
|
||
|
||
输入来源：
|
||
|
||
- GPT V2 阶段4通用表达与视觉系统；
|
||
- GPT V2 阶段5页面 / 分镜 / 内容骨架；
|
||
- `execution-plan.md` 中的当前批次策略；
|
||
- `visual-system/visual-system.md` 中的当前接受版本；
|
||
- 单元级 `sNN-unit-spec.md` 和 `sNN-visual-brief.md`。
|
||
|
||
输出文件通常是：
|
||
|
||
```text
|
||
slides/sNN/sNN-v1-prompt.md
|
||
slides/sNN/sNN-v1-image.png
|
||
slides/sNN/sNN-v1-review.md
|
||
```
|
||
|
||
或在视觉系统试跑阶段：
|
||
|
||
```text
|
||
visual-system/iterations/<round-id>-prompt.md
|
||
visual-system/iterations/<round-id>-image.png
|
||
visual-system/iterations/<round-id>-review.md
|
||
```
|
||
|
||
## 三、图生图适用场景
|
||
|
||
图生图适合已经有可用参考资产，并且新图需要保留某些视觉锚点时使用。
|
||
|
||
典型场景：
|
||
|
||
- 人物身份、服装、姿态、表情需要保持一致；
|
||
- PPT 模板已经接受，需要生成同一体系下的其他页面背景；
|
||
- 科普视频已经固定母题，需要生成后续镜头的同风格变体；
|
||
- 某张图片构图基本正确，只需要修改局部问题；
|
||
- 需要把外部平台生成的可用图转成项目统一风格；
|
||
- 需要在不破坏核心构图的情况下修正文字、图标、密度、光线或主体位置。
|
||
|
||
图生图的输入不应直接来自 GPT V2。它应来自项目内已经接受或待迭代的资产：
|
||
|
||
```text
|
||
visual-system/refs/
|
||
visual-system/iterations/
|
||
slides/sNN/sNN-vN-image.png
|
||
```
|
||
|
||
图生图提示词必须显式拆分：
|
||
|
||
- must_preserve：必须保持什么；
|
||
- must_change：必须修改什么；
|
||
- can_change：可以自由变化什么；
|
||
- must_avoid：必须避免什么；
|
||
- reference_role：参考图在本轮中的作用；
|
||
- acceptance_criteria：本轮通过标准。
|
||
|
||
输出文件仍按单元版本命名：
|
||
|
||
```text
|
||
slides/sNN/sNN-v2-prompt.md
|
||
slides/sNN/sNN-v2-image.png
|
||
slides/sNN/sNN-v2-review.md
|
||
```
|
||
|
||
## 四、和 `visual-system/` 的关系
|
||
|
||
`visual-system/` 是文生图和图生图的共同上游。
|
||
|
||
推荐顺序：
|
||
|
||
```text
|
||
GPT V2 阶段4
|
||
→ Codex 提炼 visual-system materialization targets
|
||
→ 文生图生成第一轮公共风格 / 模板 / 角色 / 场景参考
|
||
→ review
|
||
→ 接受的资产进入 visual-system 当前接受版本或 refs
|
||
→ 图生图用于保持一致性、扩展变体或修正问题
|
||
```
|
||
|
||
不要把图生图当成默认起点。没有稳定参考图时，图生图容易放大错误锚点。
|
||
|
||
也不要把文生图当成全流程唯一手段。项目一旦有已接受视觉系统，后续需要一致性的资产应优先考虑图生图或参考图约束。
|
||
|
||
## 五、和 `execution-plan.md` 的关系
|
||
|
||
`execution-plan.md` 应记录当前批次使用文生图还是图生图。
|
||
|
||
建议记录字段：
|
||
|
||
```md
|
||
## Current Round
|
||
- round:
|
||
- units_or_assets:
|
||
- generation_mode: text-to-image | image-to-image | mixed
|
||
- reference_assets:
|
||
- prompts_to_generate:
|
||
- images_to_generate:
|
||
- review_focus:
|
||
- next_action:
|
||
```
|
||
|
||
对于小批次试错，`execution-plan.md` 应说明本轮为什么选择这些单元：
|
||
|
||
- 代表不同页面类型；
|
||
- 覆盖高风险镜头；
|
||
- 检查人物一致性；
|
||
- 检查 PPT 模板复用；
|
||
- 检查文字 / 图表承载策略；
|
||
- 检查视觉母题是否能扩展。
|
||
|
||
## 六、和 `slides/slides.md` 的关系
|
||
|
||
`slides/slides.md` 只记录单元事实，不替代执行策略。
|
||
|
||
建议在表格中记录生成模式：
|
||
|
||
```md
|
||
| unit | batch | mode | prompt | image | review | accepted | notes |
|
||
| --- | --- | --- | --- | --- | --- | --- | --- |
|
||
| s01 | batch-01 | text-to-image | v1 | v1 | pass | yes | establishes opening style |
|
||
| s05 | batch-01 | image-to-image | v2 | v2 | revise | no | preserved style but composition too dense |
|
||
```
|
||
|
||
## 七、文字、公式、图表承载策略
|
||
|
||
不再使用全局 `no readable text` 规则。
|
||
|
||
Codex 在执行层判断信息由哪里承载：
|
||
|
||
- PPT 层；
|
||
- 页面 / 网页层；
|
||
- 图片层；
|
||
- 后期编辑层；
|
||
- 图标、图示或抽象符号；
|
||
- 其他工具。
|
||
|
||
判断依据是媒介目标，而不是固定禁令：
|
||
|
||
- 培训 PPT、科普 PPT、公式讲解、流程图、框架图可能需要文字、标签、公式或节点。
|
||
- 科普视频的背景图、隐喻图、氛围图通常不应让图像模型生成正文。
|
||
- MV / 剧情图通常更重视人物、场景、光线和情绪，不应塞入解释性文字。
|
||
|
||
## 八、失败归因
|
||
|
||
文生图常见失败：
|
||
|
||
- 隐喻漂移；
|
||
- 构图过散；
|
||
- 页面留白不足；
|
||
- 假文字或伪图表；
|
||
- 风格和项目公共系统不一致；
|
||
- 视觉资产像海报，不像可讲解页面组件。
|
||
|
||
图生图常见失败：
|
||
|
||
- 参考图锚点过强，改不动；
|
||
- 参考图锚点过弱，一致性丢失；
|
||
- 人物身份漂移；
|
||
- 模板被破坏；
|
||
- 局部修改造成整体构图退化；
|
||
- 版本之间差异不可控。
|
||
|
||
这些失败应记录到：
|
||
|
||
```text
|
||
visual-system/visual-system.md
|
||
slides/sNN/sNN-vN-review.md
|
||
```
|
||
|
||
## 九、当前采用规则
|
||
|
||
1. Codex 是最终图像提示词 owner。
|
||
2. GPT V2 不输出最终文生图或图生图提示词。
|
||
3. 文生图用于初始资产生成和低参考依赖资产。
|
||
4. 图生图用于参考资产已经存在后的保持、变体、修正和扩展。
|
||
5. `visual-system/` 先物化，单元资产再小批次推进。
|
||
6. `execution-plan.md` 记录每轮采用文生图、图生图或 mixed。
|
||
7. `slides/slides.md` 记录每个单元的实际生成模式和版本状态。
|
||
8. 单元资产使用 `sNN-vN-type.ext` 命名。
|
||
9. 是否让图片承载文字、公式、标签或图表，由执行层按媒介目标判断。
|
||
10. 本调研不证明最终图片质量，只固化本地执行边界。
|