Cointime

扫码下载App
iOS & Android

Midjourney 劲敌再现! 谷歌 StyleDrop「定制大师」引爆 AI 艺术圈

谷歌 StyleDrop 一出,瞬间在网上刷屏了。

给定梵高的星空,AI 化身梵高大师,对这种抽象风格顶级理解后,做出无数幅类似的画作。

再来一张卡通风,想要绘制的物体呆萌了许多。

甚至,它还能精准把控细节,设计出原风格的 logo。

StyleDrop 的魅力在于,只需要一张图作为参考,无论多么复杂的艺术风格,都能解构再复刻。

网友纷纷表示,又是淘汰设计师的那种 AI 工具。

StyleDrop 爆火研究便是来自谷歌研究团队最新出品。

论文地址:https://arxiv.org/pdf/2306.00983.pdf

现在,有了 StyleDrop 这样的工具,不但可以更可控地绘画,还可以完成之前难以想象的精细工作,比如绘制 logo。

就连英伟达科学家将其称为「现象级」成果。

「定制」大师

论文作者介绍道,StyleDrop 的灵感来源 Eyedropper(吸色 / 取色工具)。

同样,StyleDrop 同样希望大家可以快速、毫不费力地从单个 / 少数参考图像中「挑选」样式,以生成该样式的图像。

一只树懒能够有 18 种风格:

一只熊猫有 24 种风格:

小朋友画的水彩画,StyleDrop 完美把控,甚至连纸张的褶皱都还原出来了。

不得不说,太强了。

还有 StyleDrop 参考不同风格对英文字母的设计:

同样是梵高风的字母。

还有线条画。线条画是对图像的高度抽象,对画面生成构成合理性要求非常高,过去的方法一直很难成功。

原图中奶酪阴影的笔触还原到每种图片的物体上。

参考安卓 LOGO 创作。

此外,研究人员还拓展了 StyleDrop 的能力,不仅能定制风格,结合 DreamBooth,还能定制内容。

比如,还是梵高风,给小柯基生成类似风格的画作:

再来一个,下面这只柯基有种埃及金字塔上的「狮身人面像」的感觉。

如何工作?

StyleDrop 基于 Muse 构建,由两个关键部分组成:

一个是生成视觉 Transformer 的参数有效微调,另一个是带反馈的迭代训练。

之后,研究人员再从两个微调模型中合成图像。

Muse 是一种基于掩码生成图像 Transformer 最新的文本到图像的合成模型。它包含两个用于基础图像生成 (256 × 256) 和超分辨率 (512 × 512 或 1024 × 1024) 的合成模块。

每个模块都由一个文本编码器 T,一个 transformer G,一个采样器 S,一个图像编码器 E 和解码器 D 组成。

T 将文本提示 t∈T 映射到连续嵌入空间 E。G 处理文本嵌入 e∈E 以生成视觉 token 序列的对数 l∈L。S 通过迭代解码从对数中提取视觉 token 序列 v∈V,该迭代解码运行几步的 transformer 推理,条件是文本嵌入 e 和从前面步骤解码的视觉 token。

最后,D 将离散 token 序列映射到像素空间 I。总的来说,给定一个文本提示 t,图像 I 的合成如下:

图 2 是一个简化了的 Muse transformer 层的架构,它进行了部分修改,为的是支持参数高效微调(PEFT)与适配器。

使用 L 层的 transformer 处理在文本嵌入 e 的条件下以绿色显示的视觉 token 序列。学习参数θ被用于构建适配器调优的权重。

为了训练θ,在许多情况下,研究人员可能只给出图片作为风格参考。

研究人员需要手动附加文本提示。他们提出了一个简单的、模板化的方法来构建文本提示,包括对内容的描述,后面跟着描述风格的短语。

例如,研究人员在表 1 中用「猫」描述一个对象,并附加「水彩画」作为风格描述。

在文本提示中包含内容和风格的描述至关重要,因为它有助于从风格中分离出内容,这是研究人员的主要目标。

图 3 则是带反馈的迭代训练。

当在单一风格参考图像(橙色框)上进行训练时,StyleDrop 生成的一些图像可能会展示出从风格参考图像中提取出的内容(红色框,图像背景中含有与风格图像类似的房子)。

其他图像(蓝色框)则能更好地从内容中拆分出风格。对 StyleDrop 进行好样本(蓝色框)的迭代训练,结果在风格和文本保真度之间取得了更好的平衡(绿色框)。

这里研究人员还用到了两个方法:

-CLIP 得分

该方法用于测量图像和文本的对齐程度。因此,它可以通过测量 CLIP 得分(即视觉和文本 CLIP 嵌入的余弦相似度)来评估生成图像的质量。

研究人员可以选择得分最高的 CLIP 图像。他们称这种方法为 CLIP 反馈的迭代训练(CF)。

在实验中,研究人员发现,使用 CLIP 得分来评估合成图像的质量是提高召回率(即文本保真度)的有效方式,而不会过多损失风格保真度。

然而从另一方面看,CLIP 得分可能不能完全与人类的意图对齐,也无法捕捉到微妙的风格属性。

-HF

人工反馈(HF)是一种将用户意图直接注入到合成图像质量评估中的更直接的方式。

在强化学习的 LLM 微调中,HF 已经证明了它的强大和有效。

HF 可以用来补偿 CLIP 得分无法捕捉到微妙风格属性的问题。

目前,已有大量研究关注了文本到图像的扩散模型的个性化问题,以合成包含多种个人风格的图像。

研究人员展示了如何以简单的方式将 DreamBooth 和 StyleDrop 结合起来,从而使风格和内容都能实现个性化。

这是通过从两个修改后的生成分布中采样来完成的,分别由风格的θs 和内容的θc 指导,分别是在风格和内容参考图像上独立训练的适配器参数。

与现有的成品不同,该团队的方法不需要在多个概念上对可学习的参数进行联合训练,这就带来了更大的组合能力,因为预训练的适配器是分别在单个主题和风格上进行训练的。

研究人员的整体采样过程遵循等式 (1) 的迭代解码,每个解码步骤中采样对数的方式有所不同。

设 t 为文本提示,c 为无风格描述符的文本提示,在步骤 k 计算对数如下:

其中:γ用于平衡 StyleDrop 和 DreamBooth——如果γ为 0,我们得到 StyleDrop,如果为 1,我们得到 DreamBooth。

通过合理设置γ,我们就可以得到合适的图像。

实验设置

目前为止,还没有对文本 - 图像生成模型的风格调整进行广泛的研究。

因此,研究人员提出了一个全新实验方案:

- 数据收集

研究者收集了几十张不同风格的图片,从水彩和油画,平面插图,3D 渲到不同材质的雕塑。

- 模型配置

研究人员使用适配器调优基于 Muse 的 StyleDrop 。对于所有实验,使用 Adam 优化器更新 1000 步的适配器权重,学习速率为 0.00003。除非另有说明,研究人员使用 StyleDrop 来表示第二轮模型,该模型在 10 多个带有人工反馈的合成图像上进行训练。

- 评估

研究报告的定量评估基于 CLIP,衡量风格一致性和文本对齐。此外,研究人员进行了用户偏好研究,以评估风格一致性和文本对齐。

如图,研究人员收集的 18 个不同风格的图片,StyleDrop 处理的结果。

可以看到,StyleDrop 能够捕捉各种样式的纹理、阴影和结构的细微差别,能够比以前更好地控制风格。

为了进行比较,研究人员还介绍了 DreamBooth 在 Imagen 上的结果,DreamBooth 在 Stable Diffusion 上的 LoRA 实现和文本反演的结果。

具体结果如表所示,图像 - 文本对齐(Text)和视觉风格对齐(Style)的人类评分(上)和 CLIP 评分(下)的评价指标。

(a) DreamBooth,(b) StyleDrop,和 (c) DreamBooth + StyleDrop 的定性比较:

这里,研究人员应用了上面提到的 CLIP 分数的两个指标——文本和风格得分。

对于文本得分,研究人员测量图像和文本嵌入之间的余弦相似度。对于风格得分,研究人员测量风格参考和合成图像嵌入之间的余弦相似度。

研究人员为 190 个文本提示生成总共 1520 个图像。虽然研究人员希望最终得分能高一些,但其实这些指标并不完美。

而迭代训练(IT)提高了文本得分,这符合研究人员的目标。

然而,作为权衡,它们在第一轮模型上的风格得分有所降低,因为它们是在合成图像上训练的,风格可能因选择偏见而偏移。

Imagen 上的 DreamBooth 在风格得分上不及 StyleDrop(HF 的 0.644 对比 0.694)。

研究人员注意到,Imagen 上的 DreamBooth 的风格得分增加并不明显(0.569 → 0.644),而 Muse 上的 StyleDrop 的增加更加明显(0.556 →0.694)。

研究人员分析,Muse 上的风格微调比 Imagen 上的更有效。

另外,在细粒度控制上, StyleDrop 捕捉微妙的风格差异,如颜色偏移,层次,或锐角的把控。

网友热评

要是设计师有了 StyleDrop,10 倍速工作效率,已经起飞。

AI 一天,人间 10 年,AIGC 正在以光速发展,那种晃瞎人眼的光速!

工具只是顺应了潮流,该被淘汰的已经早被淘汰了。

对于制作 Logo 来说这个工具比 Midjourney 好用得多。

参考资料:

https://styledrop.github.io/

评论

所有评论

推荐阅读

  • IPO在即,灰度创始人Barry Silbert回归出任董事会主席

    Grayscale Investments 在提交保密 IPO 申请后,宣布四项高管任命并迎回创始人 Barry Silbert 担任董事会主席。新任命的高管包括:首席运营官 Diana Zhang、首席营销官拉蒙娜·波士顿 Ramona Boston、首席传讯官 Andrea Williams、首席人力资源官 Maxwell Rosenthal。四位高管都将向灰度首席执行官 Peter Mintzberg 汇报,他们均来自传统金融巨头,包括桥水基金、阿波罗全球管理、高盛和城堡投资。 Barry Silbert 于 2013 年创立灰度,于 2023 年底辞去灰度董事长一职,此次将接替 Mark Shifke 担任董事会主席,Shifke 将继续留任董事会,目前董事会成员已增至五人。公司表示正在考虑增加独立董事。 Barry Silbert 表示:「我很荣幸能够在公司乃至更广泛的数字资产生态系统的关键时刻重新加入灰度董事会。我始终坚信公司的长期定位以及引领公司前进的领导团队。」

  • SharpLink Gaming增持18,680枚以太坊,总持有498,884枚

    据链上分析师 Onchain Lens 监测,SharpLink Gaming(股票代码:SBET)今日再次增持18,680枚以太坊,价值约6,663万美元。此次增持后,该公司以太坊储备总量达到498,884枚,总价值约18亿美元。

  • Bullish向美国证交会提交IPO申请,拟募资6.29亿美元

    数字资产交易所Bullish及其子公司CoinDesk已向美国证券交易委员会(SEC)提交首次公开募股(IPO)申请。根据申请文件,Bullish计划发行2030万股,发行价区间为28-31美元/股,最高募资金额为6.29亿美元,对应公司估值约42亿美元。 Bullish业务范围包括数字资产现货交易、杠杆交易和衍生品交易,同时为稳定币发行机构提供流动性服务。财务数据显示,该公司2025年第一季度数字资产销售额达8020万美元,净亏损3.49亿美元。Bullish曾于2023年以7260万美元收购加密货币媒体平台CoinDesk。

  • 欧盟将对美国的贸易反制措施暂停6个月

    市场消息:欧盟将对美国的贸易反制措施暂停6个月

  • 去中心化操作系统 OpenMind 完成 2000 万美元融资,Pantera Capital 领投

    智能机器去中心化操作系统 OpenMind 宣布完成 2000 万美元融资,Pantera Capital 领投,Coinbase Ventures、Digital Currency Group 和 Ribbit 等参投。 据悉,这家初创公司正在开发一款名为 FABRIC 的“硬件无关”操作系统,旨在支持“智能机器融入日常生活”。该协议为支持人工智能的机器人提供了一种通信和协调的方式。

  • 加强个人境外收入监管 境外买卖股票收入也要缴税

    《金融时报》刊文,据了解,近期有纳税人收到了税务部门通知,告知其需要依法办理境外所得申报并缴纳相应税款。“根据我国个人所得税法,个人股票交易所得属于财产转让所得,应当适用20%的税率按次征收。其中,个人在境内二级市场的股票交易所得暂免征收个人所得税;在境外直接进行股票交易所得没有免税规定,需要在取得所得的次年申报纳税。”吉林财经大学税务学院院长张巍解释说。为了更加合理的征收,我国税务部门在征管时,允许纳税人按照纳税年度盈亏相抵,但不允许跨年互抵。依法纳税是每个公民应尽的义务。个人未申报或者未如实申报境外所得,除了会被税务机关要求补缴税款外,还会被加收滞纳金,情形严重的还可能被稽查部门立案检查,将面临税务处罚。纳税人如果发现自己此前申报个税时,存在少报、漏报境外所得的,要及时补正。

  • IOSG Weekly Brief|从AI x Web3技术堆栈展开infra新叙事 #219

    最近大型语言模型(LLMs)的迅猛发展引发了人们对利用人工智能(AI)改造各行业的兴趣。区块链行业也未能幸免,AI x Crypto 叙事的出现使其备受瞩目。本文探讨了融合AI和加密的三种主要方式,并探讨了区块链技术在解决AI行业问题上的独特机遇。

  • ABCDE:从一级市场视角看待AI+Crypto

    时隔ChatGPT发布一年多,最近市场上关于AI+Crpyo的讨论再次热闹起来,AI被视作24–25年牛市一个最为重要的赛道之一,就连V神本人都发文《The promise and challenges of crypto + AI applications》(Crypto+AI 应用前景和挑战)探讨未来AI+Cryto可能的探索方向。

  • Cointime 12月5日晚间要闻速递

    1.OpenSea:正在与Thirdweb联系,以了解部分NFT藏品的安全漏洞

  • 生成式AI基础设施公链BP-FLAC完成1000万美元融资,亚马逊等参投

    11月20日消息,生成式AI基础设施公链BP-FLAC宣布完成1000万美元融资,Eureka Partners、Westlabs、Mybitdata Ltd.、Decentra Labs、科技巨头亚马逊和NVIDIA,以及中东家族办公室Alkhabeer Fund参投。该公司主要依靠全球GPU节点提供算力分配,以用于训练AI,同时利用零知识算法解决AI训练中的数据隐私问题,并为提供算力支持的用户提供代币奖励,新资金将用于该公司全球拓展并构建GPU算力智能分配技术。