6.7 KiB

Raw Permalink Blame History

文生图与图生图执行边界调研

status: investigation
date: 2026-06-23
scope:
  - text-to-image
  - image-to-image
  - video-workbench local execution workflow
non_goals:
  - 不直接生图
  - 不验证最终图片质量
  - 不设计视频生成或剪辑流程

一、结论

在 GPT V2 改造后，文生图和图生图都属于 Codex / video-workbench 的阶段6以后执行层能力。

GPT V2 只提供：

视觉目标；
画面功能；
页面 / 镜头功能；
人物、场景、风格、模板、图示系统；
参考图需求；
验收关注点。

Codex 负责判断某个资产应走文生图还是图生图，并负责最终提示词、试跑、review、失败归因和版本落盘。

核心规则：

文生图用于从文字规格生成初始资产；图生图用于在已有参考资产上保持、变体、修正或扩展。

二、文生图适用场景

文生图适合没有强参考图依赖、可以通过文字规格清楚定义的资产。

典型场景：

科普视频的概念隐喻图；
培训 PPT 的概念页背景；
客户方案 PPT 的商务图示背景；
信息图或流程图的初始视觉方向；
visual-system/ 的第一轮风格试跑；
slides/sNN/ 的第一版页面 / 镜头资产。

输入来源：

GPT V2 阶段4通用表达与视觉系统；
GPT V2 阶段5页面 / 分镜 / 内容骨架；
execution-plan.md 中的当前批次策略；
visual-system/visual-system.md 中的当前接受版本；
单元级 sNN-unit-spec.md 和 sNN-visual-brief.md。

输出文件通常是：

slides/sNN/sNN-v1-prompt.md
slides/sNN/sNN-v1-image.png
slides/sNN/sNN-v1-review.md

或在视觉系统试跑阶段：

visual-system/iterations/<round-id>-prompt.md
visual-system/iterations/<round-id>-image.png
visual-system/iterations/<round-id>-review.md

三、图生图适用场景

图生图适合已经有可用参考资产，并且新图需要保留某些视觉锚点时使用。

典型场景：

人物身份、服装、姿态、表情需要保持一致；
PPT 模板已经接受，需要生成同一体系下的其他页面背景；
科普视频已经固定母题，需要生成后续镜头的同风格变体；
某张图片构图基本正确，只需要修改局部问题；
需要把外部平台生成的可用图转成项目统一风格；
需要在不破坏核心构图的情况下修正文字、图标、密度、光线或主体位置。

图生图的输入不应直接来自 GPT V2。它应来自项目内已经接受或待迭代的资产：

visual-system/refs/
visual-system/iterations/
slides/sNN/sNN-vN-image.png

图生图提示词必须显式拆分：

must_preserve：必须保持什么；
must_change：必须修改什么；
can_change：可以自由变化什么；
must_avoid：必须避免什么；
reference_role：参考图在本轮中的作用；
acceptance_criteria：本轮通过标准。

输出文件仍按单元版本命名：

slides/sNN/sNN-v2-prompt.md
slides/sNN/sNN-v2-image.png
slides/sNN/sNN-v2-review.md

四、和 `visual-system/` 的关系

visual-system/ 是文生图和图生图的共同上游。

推荐顺序：

GPT V2 阶段4
→ Codex 提炼 visual-system materialization targets
→ 文生图生成第一轮公共风格 / 模板 / 角色 / 场景参考
→ review
→ 接受的资产进入 visual-system 当前接受版本或 refs
→ 图生图用于保持一致性、扩展变体或修正问题

不要把图生图当成默认起点。没有稳定参考图时，图生图容易放大错误锚点。

也不要把文生图当成全流程唯一手段。项目一旦有已接受视觉系统，后续需要一致性的资产应优先考虑图生图或参考图约束。

五、和 `execution-plan.md` 的关系

execution-plan.md 应记录当前批次使用文生图还是图生图。

建议记录字段：

## Current Round
- round:
- units_or_assets:
- generation_mode: text-to-image | image-to-image | mixed
- reference_assets:
- prompts_to_generate:
- images_to_generate:
- review_focus:
- next_action:

对于小批次试错，execution-plan.md 应说明本轮为什么选择这些单元：

代表不同页面类型；
覆盖高风险镜头；
检查人物一致性；
检查 PPT 模板复用；
检查文字 / 图表承载策略；
检查视觉母题是否能扩展。

六、和 `slides/slides.md` 的关系

slides/slides.md 只记录单元事实，不替代执行策略。

建议在表格中记录生成模式：

| unit | batch | mode | prompt | image | review | accepted | notes |
| --- | --- | --- | --- | --- | --- | --- | --- |
| s01 | batch-01 | text-to-image | v1 | v1 | pass | yes | establishes opening style |
| s05 | batch-01 | image-to-image | v2 | v2 | revise | no | preserved style but composition too dense |

七、文字、公式、图表承载策略

不再使用全局 no readable text 规则。

Codex 在执行层判断信息由哪里承载：

PPT 层；
页面 / 网页层；
图片层；
后期编辑层；
图标、图示或抽象符号；
其他工具。

判断依据是媒介目标，而不是固定禁令：

培训 PPT、科普 PPT、公式讲解、流程图、框架图可能需要文字、标签、公式或节点。
科普视频的背景图、隐喻图、氛围图通常不应让图像模型生成正文。
MV / 剧情图通常更重视人物、场景、光线和情绪，不应塞入解释性文字。

八、失败归因

文生图常见失败：

隐喻漂移；
构图过散；
页面留白不足；
假文字或伪图表；
风格和项目公共系统不一致；
视觉资产像海报，不像可讲解页面组件。

图生图常见失败：

参考图锚点过强，改不动；
参考图锚点过弱，一致性丢失；
人物身份漂移；
模板被破坏；
局部修改造成整体构图退化；
版本之间差异不可控。

这些失败应记录到：

visual-system/visual-system.md
slides/sNN/sNN-vN-review.md

九、当前采用规则

Codex 是最终图像提示词 owner。
GPT V2 不输出最终文生图或图生图提示词。
文生图用于初始资产生成和低参考依赖资产。
图生图用于参考资产已经存在后的保持、变体、修正和扩展。
visual-system/ 先物化，单元资产再小批次推进。
execution-plan.md 记录每轮采用文生图、图生图或 mixed。
slides/slides.md 记录每个单元的实际生成模式和版本状态。
单元资产使用 sNN-vN-type.ext 命名。
是否让图片承载文字、公式、标签或图表，由执行层按媒介目标判断。
本调研不证明最终图片质量，只固化本地执行边界。

6.7 KiB Raw Permalink Blame History Unescape Escape