云开体育·app官方进口(中国)官方网站IOS/安卓通用版/手机app下载
Midjourney 强敌来了！谷歌谷歌定制巨匠 StyleDrop，牌定将一张图片作为参考，师引术圈不管多庞杂的强敌艺术气概都能复刻。
谷歌 StyleDrop 一出，谷歌云开体育·app官方进口(中国)官方网站IOS/安卓通用版/手机app下载刹时在网上刷屏了。牌定
给定梵高的师引术圈星空，AI 化身梵高巨匠，强敌对这类笼统气概顶级懂得后，谷歌做出有数幅近似的牌定画作。
再来一张卡通风，强敌想要绘制的谷歌物体呆萌了很多。
乃至，它还能精准把控细节，设想出原气概的 logo。
StyleDrop 的魅力在于，只要要一张图作为参考，不管何等庞杂的艺术气概，都能解构再复刻。
网友纷纭表现，又是裁减设想师的那种 AI 工具。
StyleDrop 爆火研讨便是来自谷歌研讨团队最新出品。
此刻，有了 StyleDrop 如许的工具，岂但能够或许或许更可控地绘画，还能够或许或许完成之前难以设想的邃密任务，比方绘制 logo。
就连英伟达迷信家将其称为「景象级」功效。
论文作者先容道，StyleDrop 的灵感来历 Eyedropper（吸色 / 取色工具）。
一样，StyleDrop 一样但愿巨匠能够或许或许疾速、绝不吃力地从单个 / 多数参考图象中「遴选」款式，以天生该款式的图象。
一只树懒能够或许或许有 18 种气概：
一只熊猫有 24 种气概：
小伴侣画的水彩画，StyleDrop 完善把控，乃至连纸张的褶皱都复原出来了。
不得不说，太强了。
还有 StyleDrop 参考不同气概对英笔墨母的kaiyun体育(中国)全站app官网进口下载装置官方网站IOS/安卓通用版/手机APP下载设想：
一样是梵高风的字母。
还有线条画。线条画是对图象的高度笼统，对画面天生构成公道性请求很是高，曩昔的体例一向很难胜利。
原图中奶酪暗影的笔触复原到每种图片的物体上。
参考安卓 LOGO 创作。
别的，研讨职员还拓展了 StyleDrop 的能力，不只能定制气概，连系 DreamBooth，还能定制内容。
比方，仍是梵高风，给小柯基天生近似气概的画作：
再来一个，下面这只柯基有种埃及金字塔上的「狮身人面像」的感受。
StyleDrop 基于 Muse 构建，由两个关头局部构成：
一个是天生视觉 Transformer 的参数有用微调，别的一个是带反应的迭代练习。
以后，研讨职员再从两个微调模子平分解图象。
Muse 是一种基于掩码天生图象 Transformer 最新的文本到图象的分解模子。它包罗两个用于根本图象天生 (256 × 256) 和超分辩率 (512 × 512 或 1024 × 1024) 的分解模块。
每一个模块都由一个文本编码器 T，一个 transformer G，一个采样器 S，一个图象编码器 E 息争码器 D 构成。
T 将文本提醒 t∈T 映照到持续嵌入空间 E。G 处置文本嵌入 e∈E 以天生视觉 token 序列的对数 l∈L。S 经由进程迭代解码从对数中提取视觉 token 序列 v∈V，该迭代解码运转几步的 transformer 推理，前提是文本嵌入 e 和畴前面步骤解码的视觉 token。
最初，D 将团圆 token 序列映照到像素空间 I。总的来讲，给定一个文本提醒 t，图象 I 的分解以下：
图 2 是一个简化了的 Muse transformer 层的架构，它停止了局部点窜，为的是撑持参数高效微调（PEFT）与适配器。
利用 L 层的 transformer 处置在文本嵌入 e 的前提下以绿色显现的视觉 token 序列。进修参数 θ 被用于构建适配器调优的权重。
为了练习 θ，在很多环境下，研讨职员能够或许只给出图片作为气概参考。
研讨职员须要手动附加文本提醒。他们提出了一个简略的、模板化的体例来构建文本提醒，包罗对内容的描写，前面随着描写气概的短语。
比方，研讨职员在表 1 顶用「猫」描写一个工具，并附加「水彩画」作为气概描写。
在文本提醒中包罗内容和气概的描写相当首要，由于它有助于从气概平分离出内容，这是研讨职员的首要方针。
图 3 则是带反应的迭代练习。
当在单一气概参考图象（橙色框）上停止练习时，StyleDrop 天生的一些图象能够或许会展现出从气概参考图象中提取出的内容（白色框，图象背景中含有与气概图象近似的屋子）。
其余图象（蓝色框）则能更好地从内容中拆分出气概。对 StyleDrop 停止好样本（蓝色框）的迭代练习，成果在气概和文本保真度之间获得了更好的均衡（绿色框）。
这里研讨职员还用到了两个体例：
该体例用于丈量图象和文本的对齐水平。是以，它能够或许或许经由进程丈量 CLIP 得分（即视觉和文本 CLIP 嵌入的余弦类似度）来评估天生图象的品质。
研讨职员能够或许或许挑选得分最高的 CLIP 图象。他们称这类体例为 CLIP 反应的迭代练习（CF）。
在尝试中，研讨职员发明，利用 CLIP 得分来评估分解图象的品质是进步召回率（即文本保真度）的有用体例，而不会过量丧失气概保真度。
但是从别的一方面看，CLIP 得分能够或许不能完整与人类的企图对齐，也没法捉拿到奥妙的气概属性。
野生反应（HF）是一种将用户企图间接注入到分解图象品质评估中的更间接的体例。
在强化进修的 LLM 微调中，HF 已证实了它的壮大和有用。
HF 能够或许或许用来弥补 CLIP 得分没法捉拿到奥妙气概属性的题目。
今朝，已有大批研讨存眷了文本到图象的分散模子的特性化题目，以分解包罗多种小我气概的图象。
研讨职员展现了若何以简略的体例将 DreamBooth 和 StyleDrop 连系起来，从而使气概和内容都能完成特性化。
这是经由进程从两个点窜后的天生散布中采样来完成的，别离由气概的 θs 和内容的 θc 指点，别离是在气概和内容参考图象上自力练习的适配器参数。
与现有的制品不同，该团队的体例不须要在多个观点上对可进修的参数停止结合练习，这就带来了更大的组合能力，由于预练习的适配器是别离在单个主题和气概上停止练习的。
研讨职员的全体采样进程遵守等式 (1) 的迭代解码，每一个解码步骤中采样对数的体例有所不同。
设 t 为文本提醒，c 为无气概描写符的文本提醒，在步骤 k 计较对数以下：
此中：γ 用于均衡 StyleDrop 和 DreamBooth—— 若是 γ 为 0，咱们获得 StyleDrop，若是为 1，咱们获得 DreamBooth。
经由进程公道设置 γ，咱们就能够或许或许获得适合的图象。
今朝为止，还不对文本-图象天生模子的气概调剂停止普遍的研讨。
是以，研讨职员提出了一个全新尝试计划：
-数据搜集
研讨者搜集了几十张不同气概的图片，从水彩和油画，立体插图，3D 渲到不同材质的雕塑。
-模子设置装备摆设
研讨职员利用适配器调优基于 Muse 的 StyleDrop 。对一切尝试，利用 Adam 优化器更新 1000 步的适配器权重，进修速度为 0.00003。除非还有申明，研讨职员利用 StyleDrop 来表现第二轮模子，该模子在 10 多个带有野生反应的分解图象上停止练习。
-评估
研讨报告的定量评估基于 CLIP，衡量气概分歧性和文本对齐。别的，研讨职员停止了用户偏好研讨，以评估气概分歧性和文本对齐。
如图，研讨职员搜集的 18 个不同气概的图片，StyleDrop 处置的成果。
能够或许或许看到，StyleDrop 能够或许或许捉拿各类款式的纹理、暗影和布局的纤细不同，能够或许或许比之前更好地节制气概。
为了停止比拟，研讨职员还先容了 DreamBooth 在 Imagen 上的成果，DreamBooth 在 Stable Diffusion 上的 LoRA 完成和文本反演的成果。
详细成果如表所示，图象-文本对齐（Text）和视觉气概对齐（Style）的人类评分（上）和 CLIP 评分（下）的评估方针。
(a) DreamBooth，(b) StyleDrop，和 (c) DreamBooth + StyleDrop 的定性比拟：
这里，研讨职员利用了下面提到的 CLIP 分数的两个方针 —— 文本和气概得分。
对文本得分，研讨职员丈量图象和文本嵌入之间的余弦类似度。对气概得分，研讨职员丈量气概参考和分解图象嵌入之间的余弦类似度。
研讨职员为 190 个文本提醒天生统共 1520 个图象。固然研讨职员但愿终究得分能高一些，但实在这些方针并不完善。
而迭代练习（IT）进步了文本得分，这合适研讨职员的方针。
但是，作为衡量，它们在第一轮模子上的气概得分有所下降，由于它们是在分解图象上练习的，气概能够或许因挑选成见而偏移。
Imagen 上的 DreamBooth 在气概得分上不迭 StyleDrop（HF 的 0.644 对照 0.694）。
研讨职员注重到，Imagen 上的 DreamBooth 的气概得分增添并不较着（0.569 → 0.644），而 Muse 上的 StyleDrop 的增添加倍较着（0.556 → 0.694）。
研讨职员阐发，Muse 上的气概微调比 Imagen 上的更有用。
别的，在细粒度节制上，StyleDrop 捉拿奥妙的气概差别，如色彩偏移，条理，或锐角的把控。
如果设想师有了 StyleDrop，10 倍速任务效力，已腾飞。
AI 一天，人世 10 年，AIGC 正在以光速成长，那种晃瞎人眼的光速！
工具只是适应了潮水，该被裁减的已早被裁减了。
对建造 Logo 来讲这个工具比 Midjourney 好用很多。
参考材料：
//styledrop.github.io/
本文来自微信公家号：新智元 （ID：AI_era）
停止时候：2023-08-04 04:04:48
礼包内容：潮水纤维*50，金币*1
停止时候：2023-08-04 04:04:48
礼包内容：瓶盖*1000
停止时候：2023-08-04 04:04:48
礼包内容：瓶盖*600，潮水纤维*20
朱婷返国首度现身 笑脸满面跟小球迷合影 疗养却参与勾当引争议
日期 2023-08-04 03:01冯小刚养女父亲节晒合照 非亲生出身正面回怼网友：你管得好宽！
日期 2023-08-04 01:25714MB
检查25453MB
检查85243MB
检查6988MB
检查
网友批评
67 顾雨晨
下了淘宝领了券，还非得天猫app下单能力用，脱 裤子放屁！！
2023-08-03 来自湖南 保举
3276 傲娇的占卜师
好商家挺好的
2023-08-03 来自湖南 保举
8275 無解一季
渣滓软件，外面的工具都要钱
2023-08-03 来自湖南 保举
8 这二维码有毒
列位电商大佬快快烧钱啊，让咱们嗨一把吧！
2023-08-03 来自湖南 保举
69225 卍星锐青轴^.^
渣滓软件，外面的工具都要钱
2023-08-03 来自湖南 保举