文生图是输入一段文字、输出一张图像的 AI 能力:你写下一句"一只戴红围巾的猫坐在窗台上",模型就生成一张符合描述的新图。它不是在网上找图拼贴,也不是照着模板描画,而是按文字条件从头算出一张现实中不存在的图。先划一条边界:文生图说的是"任务"本身,扩散模型只是实现它的一种路线,把两者画等号会越学越乱。
模型内部到底在做什么
今天主流的文生图模型大多走扩散路线,大致分三步。第一步,文字编码器把提示词变成语义向量,模型借此知道猫、红围巾、窗台分别是什么、彼此什么关系。第二步,从一张纯噪声图出发,一步步去噪,每一步都对照文字条件修正画面,直到噪声变成可辨认的图像。第三步,解码器把结果还原成像素。关键在第二步:模型从没"见过"你要的这张图,它学的是海量图文对里的对应关系,生成等于按学到的规律重新组合。
| 能力 | 输入 | 输出 | 典型用法 |
|---|---|---|---|
| 文生图 | 只有文字 | 全新图像 | 海报、插画、概念图 |
| 图生图 | 文字加参考图 | 改过的图 | 换背景、改风格、修图 |
| 图像理解 | 图像加问题 | 文字答案 | 看图问答、读表、识物 |
四个常见误解
第一,提示词越长越好。错。关键信息清晰、主次分明比堆词重要,词一多,模型反而抓不住重点。第二,一次就能出完美图。文生图更像抽卡:构图、细节、手部经常要改三五轮才可用,把它当"一句话出成品"会失望。第三,生成图等于能随意商用。能不能商用看平台条款和用途,涉及真实人物、品牌商标、版权风格时尤其要小心。第四,模型真的"理解"画面。它学到的是图文之间的统计对应,能画出"看起来对"的图,不等于知道图里东西在现实中是什么。
什么时候用它最划算?创意发散、配图、概念验证、风格试错,这些场景它又快又便宜。反过来,讲究精确事实的示意图、真实人物肖像、带小字的正式物料,别只靠它:小字容易写错,人手和面部细节也常翻车,出图后务必人工检查。想搞清它背后的生成机制,可以读扩散模型词条;想知道模型"看图"和"画图"的区别,对照视觉语言模型词条。