来源：神秘的程序员们
作者：西乔
原标题：《Adobe 也加入内卷战场，推出AI图像生成产品 Firefly，宣称自己是没有原罪的AI模型》
几个小时前，Adobe 刚刚发布了自家的 AI图像生成模型套件 Adobe Firefly，现在还不能开放给用户使用，但可以申请 waitlist （不需要是 Adobe CC 的用户）firefly.adobe.com。
目前可以申请内测的两个工具：
1. 像 Midjourney 或 Stable Diffusion 那样的传统文本到图像生成。
2. 给文字加上AI生成的纹理和图案，类似于AI辅助的 WordArt。
让我们来看看效果 （以下作品都来自内测用户的分享，并经过了人为的编辑挑选）：
Adobe 宣称自己将拥抱时代变革。会将AI生成深度整合到自己的产品中，而不是做一个旁观者。过去的一年中，各种AI生成模型的涌现，对 Adobe 的典型用户——数字艺术创意工作者，造成了非常大的冲击，无论是正在发生的创意工作流的改变，还是整个行业的发展方向的不确定性。
目前 Adobe Firefly Beta 的生成服务还只能通过网站获得，但 Adobe 的生成AI和Sensei副总裁 Alexandru Costin 说，Firefly 将和 Photoshop、Illustrator 和 Premiere 紧密集成在一起，这样客户就不需要知道背后是否为 AI 生成。
除了上面两个典型工具，在Firefly 官网，Adobe 还给出了未来可能包含在自家AI模型套件中的工具，包括
- 用文字提示给矢量图像重新上色
- 将素描稿转化为上色高
- 从文本提示直接生成可编辑的矢量图像
- 内嵌于图像处理工具的 inpainting 和 outpainting
- 基于3D模型生成图案（我猜类似于在将 blender 里的3D对象生成为深度图后做输入控制）
- 从文本提示生成无缝图案、笔刷、模板 等
- 多图混合 mixup
- AI 驱动的 位图放大
Inpainting
Extend Image (outpainting)
3D 生成 图像
草稿上色
无缝纹理生成
用文本生成矢量图像
上传图像用于 fine-tune
Adobe 努力使起AI生成工具比竞争对手的更好用，当然它也更好的条件实现这一点，直接将AI融合到现有的成熟创意工作流中。
从官方发布的demo视频看，Firefly 将现在常见 T2I模型里 prompt 的 修饰词（modify）按类型转化为 GUI 界面，比如风格、色调、构图、灯光 这些修饰词，都变成了在界面上点击的选项。可想未来 inpaint 这些功能可以直接与各种选区及笔刷工具整合，AI生成出来的图案和笔刷样式、草稿上色、局部放大也可以直接无缝应用。
Firefly 目前能产生的最大分辨率的图片为 2000*2000 像素。使用 Firefly 生成的图像将包含一个内容凭证 （Content Credentials），包含创作者信息、该图像是否由AI生成，以及模型信息、用于生成时的操作指令及相关资源。
另外内测期间，使用Firefly生成的图像和文本不可用于商业用途。
Firefly 发布的另一个焦点是 Adobe 宣称自己没有盗用艺术家的作品来训练模型。自己用于训练模型的数据要么是版权过期的，要么有许可，要么是Adobe Stock图库中的。Costin表示公司有权使用这些数据， 以此让其品牌免受侵权的指责，不惹恼自己的主要付费用户——数字艺术家们。
Adobe 的官方发布稿里，最后一句话写着：“因此，Adobe Firefly是友军，更是友军里的最强辅助！让我们拭目以待。”
但联想到今年1月份，反AI art 的用户发现了 Adobe 服务的 一个隐私和数据分享的设置，默认开启，使得用户内容可被 Adobe 用于包含 机器学习在内的产品改善。从条款的 learn more 可以发现，这个首选范围包括用户上传到 Adobe cloud 上的所有图片音乐视频、工程文件、资源库；发布到 Adobe stock 图库网站上售卖的图片和视频素材 和 发布到 Behance 个人主页上（Adobe旗下的数字艺术家在线画廊）的所有作品。
当时这个发现立刻在数字艺术家圈里炸了锅，Adobe 成了 Anti AIart 的新靶子，邪恶科技巨头的新典型。许多对AI 持敌对态度的用户宣称已将或会将自己的作品从 adobe 的相关网站上下降，或弃用服务。
这个隐藏颇深且 “默认开启” 的数据授权协议，不禁让人与今天 Adobe 宣称的“ 自己训练数据都获得了创作者许可” 这一表态有所联想。因为同时 Costin 也表示，Adobe计划在内测结束后向为训练数据做出贡献的艺术家做出某种形式的补偿。
Firefly 另一个可能引起争议的计划：Adobe 希望让艺术家帮助训练 Firefly 以生成符合艺术家个人风格的内容 (fine-tune?)。但这有被滥用的潜在风险——冒用且上传别人的作品以克隆他们的风格。Costin 表示 Adobe 正在考虑如何处理这个问题。他提出了将上传的图像与 Adobe 拥有的 Behance 进行比较，以捕捉潜在的艺术盗窃者的想法。但目前还没有最终决定。
同时计划让艺术家用自己的作品对模型帮助训练，以帮助他们生成有个人风格的结果，但这有被滥用的潜在风险：冒用且上传别人的作品以克隆他们的风格。
对此，Adobe的想法是与 Behance 主页上（Adobe旗下的数字艺术家在线画廊）上艺术家本人作品进行比较，鉴别冒用行为，但目前还没有最终决定。我个人感觉这一计划的可行性漏洞很大。
Adobe 还计划发起 "Do Not Train" 协议，提供工具让艺术家将拒绝训练的申明嵌入图像的元数据中，这样将不会被纳入之自家模型的训练数据中。但目前还没有其它模型的创建者或训练者同意尊重这一协议。
与此对照，Stabilility AI (开发训练 Stable Diffusion 的公司) 已经承诺在 SD V3版本中，支持 Spawing.ai 联盟中艺术家们的训练退出请求，这个联盟提供了 “ Have I Been Trained？” 这一网站工具，帮助艺术家们查询 SD用于训练的开源 5B Laion 图片语料库里是否包含了自己的作品，如果包含，则这些作品可能被用于 SD模型的训练。
Spawning 宣布自己已经跟 ArtStation 及 Shutterstock 合作，接受在这两个网站上发布作品的艺术家们的退出请求，目前已经收集了涉及近八千万张图像的退出申请。
相关链接
https://firefly.adobe.com/faq
https://www.theverge.com/2023/3/21/23648315/adobe-firefly-ai-image-generator-announced
https://spawning.substack.com
https://twitter.com/spawning_/status/1603126330261897217?lang=en
