iPad可用AI绘画交互剪辑神器火了，网友：畏惧吧PS
比PS更懂你的AI图片剪辑器用——MagicQuill（魔法羽毛）来了！
1分钟出图：毋庸打字、浅近勾勒几笔就能剪辑图片。
还相沿胜利在iPad上在线剪辑！
议论团队来自香港科技大学、蚂结合团、浙江大学和香港大学等机构。
咱们先沿途看个例子感受一下——
有了MagicQuill，现时当你想要给东谈主物更换一稔时，就可以胜利画出领子，它会自动帮你补全。
加条项链、去除路东谈主，几秒钟就处理：
你还可以更换发色、让东谈主物戴上花环，以至改造花朵的神采：
只需要1分钟多的时间，就可以驱散上头这样多剪辑遵守，尤其是关于想要快速修改相片的用户来说，几乎太便捷了！
还有更多真理真理的例子，机器东谈主、汽车、蛋糕等，都可以快速修改！
有多位网友评阐发，AI图像剪辑确凿突出马上，“能读懂用户心想”辱骂常具有改日感的用户体验。
以至还有网友说，畏惧吧，PS！
MagicQuill标的是交融精良修改意图
固然现时AI图像剪辑器用是百花皆放，但想要驱散精良剪辑，许多器用的遵守仍是比拟令东谈主捉急。
MagicQuill团队的标的是驱散一个高效且精准的图像剪辑系统，概况在用户进行幽微修改时提供更好的使用体验。
这不仅包括驱散细粒度的图像剪辑划定、还要提供直不雅的用户界面、并及时展望用户意图。
最终团队采用基于扩散模子、文本和掩码的图像剪辑次序、以及多模态大型话语模子（MLLMs） 进行驱散，并想象了勤俭实用的用户界面。
MagicQuill的具体组成
沿途来望望MagicQuill系统的具体组成是什么样的。主要分为3个部分：
1.剪辑处理器
剪辑处理器采选双分支架构，包括内容感知树立分支和结构开垦分支。
内容感知树立分支愚弄UNet架构，结合掩码图像特征和预教训的扩散鸠合进行像素级树立。
结构开垦分支则通过ControINet插入条目划定，确保剪辑操作的精准性。
2.绘画助手
绘画助手通过多模态大型话语模子（MLLM）及时展望用户意图。
具体的任务称为“Draw&Guess”，也即是通过图像凹凸文讲明注解用户笔画并自动生成相干辅导。
团队采选的数据集通过生成边际图和模拟用户笔画进行构建，并使用LLaMA模子进行微调。
3.创意采集器
创意采集器为用户提供了一个勤俭直不雅的界面，它兼容多个平台，团队也提供了在线demo，你可以在电脑或iPad上胜利使用！
界面主要包括辅导区、器用栏、图层料理、主画布、生成图像预览区、执行按钮和参数革新区。
按钮想象相称豪迈，有上传图片、“加多”画笔、“减少”画笔、改神采画笔、橡皮等等。
下方的参数革新区域更相宜有丰富的生图训戒的专科东谈主士：
比如在Base Model Name里，你可以采用不同的基础模子，有相宜生成真正立场的SD1.5/realisticVisionV60B1_v51VAE.safetensors、相宜生成幻想立场的SD1.5/DreamShaper.safetensors等。
你还可以革新Negative Prompt幸免生成部老实容、还有Fine Edge精良边际革新、Grow Size革新笔触大小等等。完竣责任经过如下图所示。
实质遵守怎样呢？
为了更准确地测试MagicQuill的具体遵守，团队还想象了3个考据实验：
1.可控生成评估
将MagicQuill与四个基线次序（SmartEdit、SketchEdit、BrushNet非凡组合）进行比拟，评估剪辑处理器的可控生成身手，尤其暖和边际对皆和神采保真度。
驱散走漏，MagicQuill的剪辑处理器在扫数观点上均优于基线次序，具有更高的边际对皆度和神采保真度。
2.展望准确性评估
为了评估MagicQuill在模拟手绘输入下的语义展望准确性，团队将它的绘画助手与三种起原进的MLLMs （LLaVA-1.5、LLaVA-Next、GPT-4o）进行了比拟。
驱散走漏，绘画助手在扫数测试的MLLMS中说明最好，可以更准确地捕捉和展望用户画图的语义含义。
3.创意采集器有用性评估
团队还通过用户议论评估了创意采集器的遵守和可用性，并比拟了它与基线系统的互异。
用户议论驱散走漏，MagicQuill在扫数评估维度上都显赫优于基线系统，包括复杂性和遵守、一致性和集成、易用性以及总体自在度4个方面。
看来体验过的用户响应都可以呢！
改日责任
团队还暗示，这将是一个遥远的责任，改日他们的标的是膨大系统功能，纳入更多的剪辑类型，如基于参考的剪辑，这将允许用户使用外部图像指挥修改。
他们还野心驱散分层图像生成，可以让剪辑愈加天真、相沿更多复杂合成。
系统也会相沿排版，概况处理更多图像中的文本元素。
现时MagicQuill的代码、论文和Demo都已上线，感兴味的小伙伴可以立时试用起来了！勾搭就鄙人方。
参考勾搭：https://magicquill.art/demo/
— 完 —
量子位 QbitAI · 头条号签约
暖和咱们，第一时间获知前沿科技动态