# 文生图与图生图执行边界调研 ```yaml status: investigation date: 2026-06-23 scope: - text-to-image - image-to-image - video-workbench local execution workflow non_goals: - 不直接生图 - 不验证最终图片质量 - 不设计视频生成或剪辑流程 ``` ## 一、结论 在 GPT V2 改造后,文生图和图生图都属于 Codex / video-workbench 的阶段6以后执行层能力。 GPT V2 只提供: - 视觉目标; - 画面功能; - 页面 / 镜头功能; - 人物、场景、风格、模板、图示系统; - 参考图需求; - 验收关注点。 Codex 负责判断某个资产应走文生图还是图生图,并负责最终提示词、试跑、review、失败归因和版本落盘。 核心规则: > 文生图用于从文字规格生成初始资产;图生图用于在已有参考资产上保持、变体、修正或扩展。 ## 二、文生图适用场景 文生图适合没有强参考图依赖、可以通过文字规格清楚定义的资产。 典型场景: - 科普视频的概念隐喻图; - 培训 PPT 的概念页背景; - 客户方案 PPT 的商务图示背景; - 信息图或流程图的初始视觉方向; - `visual-system/` 的第一轮风格试跑; - `slides/sNN/` 的第一版页面 / 镜头资产。 输入来源: - GPT V2 阶段4通用表达与视觉系统; - GPT V2 阶段5页面 / 分镜 / 内容骨架; - `execution-plan.md` 中的当前批次策略; - `visual-system/visual-system.md` 中的当前接受版本; - 单元级 `sNN-unit-spec.md` 和 `sNN-visual-brief.md`。 输出文件通常是: ```text slides/sNN/sNN-v1-prompt.md slides/sNN/sNN-v1-image.png slides/sNN/sNN-v1-review.md ``` 或在视觉系统试跑阶段: ```text visual-system/iterations/-prompt.md visual-system/iterations/-image.png visual-system/iterations/-review.md ``` ## 三、图生图适用场景 图生图适合已经有可用参考资产,并且新图需要保留某些视觉锚点时使用。 典型场景: - 人物身份、服装、姿态、表情需要保持一致; - PPT 模板已经接受,需要生成同一体系下的其他页面背景; - 科普视频已经固定母题,需要生成后续镜头的同风格变体; - 某张图片构图基本正确,只需要修改局部问题; - 需要把外部平台生成的可用图转成项目统一风格; - 需要在不破坏核心构图的情况下修正文字、图标、密度、光线或主体位置。 图生图的输入不应直接来自 GPT V2。它应来自项目内已经接受或待迭代的资产: ```text visual-system/refs/ visual-system/iterations/ slides/sNN/sNN-vN-image.png ``` 图生图提示词必须显式拆分: - must_preserve:必须保持什么; - must_change:必须修改什么; - can_change:可以自由变化什么; - must_avoid:必须避免什么; - reference_role:参考图在本轮中的作用; - acceptance_criteria:本轮通过标准。 输出文件仍按单元版本命名: ```text slides/sNN/sNN-v2-prompt.md slides/sNN/sNN-v2-image.png slides/sNN/sNN-v2-review.md ``` ## 四、和 `visual-system/` 的关系 `visual-system/` 是文生图和图生图的共同上游。 推荐顺序: ```text GPT V2 阶段4 → Codex 提炼 visual-system materialization targets → 文生图生成第一轮公共风格 / 模板 / 角色 / 场景参考 → review → 接受的资产进入 visual-system 当前接受版本或 refs → 图生图用于保持一致性、扩展变体或修正问题 ``` 不要把图生图当成默认起点。没有稳定参考图时,图生图容易放大错误锚点。 也不要把文生图当成全流程唯一手段。项目一旦有已接受视觉系统,后续需要一致性的资产应优先考虑图生图或参考图约束。 ## 五、和 `execution-plan.md` 的关系 `execution-plan.md` 应记录当前批次使用文生图还是图生图。 建议记录字段: ```md ## Current Round - round: - units_or_assets: - generation_mode: text-to-image | image-to-image | mixed - reference_assets: - prompts_to_generate: - images_to_generate: - review_focus: - next_action: ``` 对于小批次试错,`execution-plan.md` 应说明本轮为什么选择这些单元: - 代表不同页面类型; - 覆盖高风险镜头; - 检查人物一致性; - 检查 PPT 模板复用; - 检查文字 / 图表承载策略; - 检查视觉母题是否能扩展。 ## 六、和 `slides/slides.md` 的关系 `slides/slides.md` 只记录单元事实,不替代执行策略。 建议在表格中记录生成模式: ```md | unit | batch | mode | prompt | image | review | accepted | notes | | --- | --- | --- | --- | --- | --- | --- | --- | | s01 | batch-01 | text-to-image | v1 | v1 | pass | yes | establishes opening style | | s05 | batch-01 | image-to-image | v2 | v2 | revise | no | preserved style but composition too dense | ``` ## 七、文字、公式、图表承载策略 不再使用全局 `no readable text` 规则。 Codex 在执行层判断信息由哪里承载: - PPT 层; - 页面 / 网页层; - 图片层; - 后期编辑层; - 图标、图示或抽象符号; - 其他工具。 判断依据是媒介目标,而不是固定禁令: - 培训 PPT、科普 PPT、公式讲解、流程图、框架图可能需要文字、标签、公式或节点。 - 科普视频的背景图、隐喻图、氛围图通常不应让图像模型生成正文。 - MV / 剧情图通常更重视人物、场景、光线和情绪,不应塞入解释性文字。 ## 八、失败归因 文生图常见失败: - 隐喻漂移; - 构图过散; - 页面留白不足; - 假文字或伪图表; - 风格和项目公共系统不一致; - 视觉资产像海报,不像可讲解页面组件。 图生图常见失败: - 参考图锚点过强,改不动; - 参考图锚点过弱,一致性丢失; - 人物身份漂移; - 模板被破坏; - 局部修改造成整体构图退化; - 版本之间差异不可控。 这些失败应记录到: ```text visual-system/visual-system.md slides/sNN/sNN-vN-review.md ``` ## 九、当前采用规则 1. Codex 是最终图像提示词 owner。 2. GPT V2 不输出最终文生图或图生图提示词。 3. 文生图用于初始资产生成和低参考依赖资产。 4. 图生图用于参考资产已经存在后的保持、变体、修正和扩展。 5. `visual-system/` 先物化,单元资产再小批次推进。 6. `execution-plan.md` 记录每轮采用文生图、图生图或 mixed。 7. `slides/slides.md` 记录每个单元的实际生成模式和版本状态。 8. 单元资产使用 `sNN-vN-type.ext` 命名。 9. 是否让图片承载文字、公式、标签或图表,由执行层按媒介目标判断。 10. 本调研不证明最终图片质量,只固化本地执行边界。