欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

抠图精细到发丝,Adobe处理6000×6000高分辨率图像

时间:2022-10-12 00:11:12 | 浏览:349

编辑:魔王、小舟抠图是图像和视频编辑与合成的关键技术。通常,深度学习方法会以整个输入图像和相关的 trimap 作为输入,使用卷积神经网络来推断前景蒙版(alpha matte)。这种方法在图像抠图领域实现了 SOTA 结果。但是,由于硬件

编辑:魔王、小舟

抠图是图像和视频编辑与合成的关键技术。通常,深度学习方法会以整个输入图像和相关的 trimap 作为输入,使用卷积神经网络来推断前景蒙版(alpha matte)。这种方法在图像抠图领域实现了 SOTA 结果。但是,由于硬件限制,这些方法在实际的抠图应用中可能会失败,因为现实世界中需要抠图的输入图像大多具备很高的分辨率。

近日,来自伊利诺伊大学香槟分校(UIUC)、Adobe 研究院和俄勒冈大学的研究者提出了一种名为 HDMatt 的新方法,这是首个处理高分辨率输入图像的深度学习抠图方法。

早在 2017 年,Adobe 等机构就发表论文《Deep Image Matting》,采用大规模数据集与深度神经网络学习图像的自然结构,进一步分离图像的前景与背景。而那篇论文的一作 Ning Xu 正是这篇论文的第二作者。只不过,研究者这次将矛头对准了高分辨率图像。

论文地址:https://arxiv.org/pdf/2009.06613.pdf

具体来说,HDMatt 方法使用新型模块设计,以基于 patch 的剪裁 - 拼接方式(crop-and-stitch)为高分辨率输入图像进行抠图,进而解决不同 patch 之间的语境依赖性和一致性问题。基于 patch 的原版推断方法单独计算每个 patch,而该研究提出了新的模块——CrossPatch Contextual module (CPC),该模块由给定的 trimap 指导,对跨 patch 语境依赖性进行建模。

大量实验表明了该方法的有效性及其对于高分辨率输入图像的必要性。HDMatt 方法在 Adobe Image Matting 和 AlphaMatting 基准上均实现了新的 SOTA 性能,并且在更真实的高分辨率图像上获得了优秀的效果。

下图展示了,在处理高分辨率图像时,HDMatt 方法与之前最优方法 ContextNet 的对比结果:

ContextNet 分别应用了下采样 (DS) 和剪裁 (C) 策略。从图中可以看出,DS 导致细节模糊,剪裁则导致跨 patch 不一致问题。

而该研究提出的 HDMatt 方法解决了这两个缺陷,抠图效果与真值(上图 c)最接近,这说明该方法能够拟合精细细节。

该研究的主要贡献有:

这是首个基于深度学习的高分辨率图像抠图方法,在硬件资源限制下使现实世界中的高质量 HR 抠图成为现实。

提出一种新型模块 CPC,用来捕获 patch 之间的长程语境依赖性。在 CPC 内部,新提出的 Trimap-Guided Non-Local(TGNL)操作旨在高效传播来自 reference patch 不同区域的信息。

在定量和定性实验方面,HDMatt 方法在 Adobe Image Matting (AIM)、AlphaMatting 基准和真实高分辨率图像数据集上均实现了新的 SOTA 性能。

HDMatt 方法

为了解决高分辨率图像的抠图问题,该研究提出 HDMatt 方法,该方法首先将输入图像和 trimap 剪裁为 patch,然后估计每个 patch 的 alpha 值。仅使用一个 patch 的信息会导致信息损失以及不同 patch 之间的预测不一致问题。因此,该研究提出新型 Cross-Patch Context Module (CPC) 模块,高效利用每个 query patch 的跨 patch 信息。最后,将每个 patch 的估计 alpha 值连接,输出整个图像最终的前景蒙版。

下图 2 展示了 HDMatt 方法的整体框架:

下图 3 展示了 CPC 模块的工作流程:

实验

Adobe Image Matting 基准数据集

下表 1 展示了 HDMatt 方法与其他 SOTA 方法在 Adobe Image Matting 测试集上的性能对比结果。HDMatt 方法在所有评估度量指标上均优于其他方法。

研究人员还对这些方法(包括 IndexNet 和 ContextNet)的实际效果进行了对比,如下图 4 所示:

从中可以看出,HDMatt 方法能够更好地处理大型未知区域(即极少前景或背景信息的区域)。

AlphaMatting 基准数据集

表 2 列出了在 AlphaMatting 基准数据集上 SAD 指标表现最优的四个方法,HDMatt 方法在具备较大或用户 trimap 的图像上表现优异。这进一步证实了,当 trimap 中存在大量未知区域时,HDMatt 方法可以有效捕获长程语境依赖性。

下图展示了不同方法在 AlphaMatting 测试集上的抠图结果,自左向右分别是输入图像、Trimap、AdaMatting [1]、SampleNet [35]、GCA Matting [24] 和 HDMatt。从图中可以看出,最右一列 HDMatt 方法的抠图效果最精细。

真实图像

除了这些数据集以外,研究人员还在网上收集了一些分辨率最高可达 6000 × 6000 的高分辨率图像,并在这些真实图像上进行测试。

下图 5 展示了将整张图像作为输入时,IndexNet、ContextNet 和 HDMatt 方法的性能。从结果中可以看到,HDMatt 方法能够提取更精细精确的细节,同时推断速度也更快。不过,该方法仍丢失了一些最精微的细节。

基于 Context Patch 的注意力可视化

下图 7 展示了在给定 query patch 上基于选定 context patch 的注意力图:

控制变量研究

下表展示了控制变量研究的结果:

相关资讯

抠图大师都在用的三款抠图工具!AI抠图太智能了!不会PS也没关系

作为自媒体打工人,经常碰到处理图片需要抠图,在日常生活中,普通人也经常遇到这种情况:比如更换证件照颜色、照片背景过于杂乱,都需要把人像或者物品抠下来,换一张背景~如果手动抠图,不仅浪费时间,而且技术根本达不到完美抠图的效果!所以今天就给大家

抠图软件,电脑免费抠图神器,AI智能抠图换背景,图片一键去背景

抠图软件,电脑免费抠图神器,AI智能抠图换背景,图片一键去背景工具。本文分享一个电脑端免费使用的:图片抠图去背景在线工具-remove。抠图软件首先,准备好需要去除背景的图片;抠图软件然后打开这款抠图工具,选择上传图片;或者直接用鼠标将图片

不会抠图?快速精细抠图方法,PS通道+调整边缘抠图的详细说明

这里介绍一种快速抠图的方法,快速完成,不需要一点点抠细节。其实抠图原理大都差不多,抠图用到的工具也无非那么几种,通道、色彩范围、套索工具、魔术棒、调整边缘等等。这里主要用的是通道、色阶和调整边缘。我们先看一下抠好的图。现在我们来说明一下整体

四种ps抠图方法,简单又高效(全套抠图教程+抠图插件免费送)

在学习PS技能的过程中,抠图是最让人头疼的。下面教大家快速抠图的一个方法。抠图作为学习PS和设计,必须掌握的一门技巧,同时也是运用场景最多的一个技巧,需要我们认真学习和掌握。学会今天这篇教程中的抠图方法,相信朋友们在抠图的时候会更加得心应手

PS抠图技巧大全,初学者从何学起抠图工具和掌握抠图技巧

PS抠图是指什么??有什么用途!PS抠图是指利用photoshop的快速选择工具选取图片中的一个部分并闭合起来,然后将闭合部分截取出来的过程。例如将人合成到一副风景画就是用Photoshop把含有人的图片将人从图片中抠出来(抠图),然后把人

PS抠图方式有很多,蒙板抠图又快又干净,你喜欢哪一种?

哈,各位小伙伴,欢迎大家再次来到视频制作那些事儿,今天给大家分享的是PS中非常吃香的抠图方法-蒙版抠图。概述众所周知,PS中的抠图方法那是相当多的,比如说最常用的通道抠图,最简洁的选择主体,最时尚的选择并遮住,钢笔、快速选择、魔棒以及我们今

别再用手动抠图啦!学会这个一键抠图方法,100张图片只用5分钟

最近许多朋友向我反馈他们在抠图时,选择逐个定点手动抠图的方式,总会出现抠图效果存在毛边和抠图不到位的情况,所以想寻求有没有什么简单且效果不错的抠图方法!经过我询问公司的美工同事,得到以下这三个抠图方法,今天就分享出来,让大家以后不再被“抠图

不知道怎么抠图?教你几个简单容易的抠图方法

好用的电脑抠图软件?这还真问到我擅长的部分了。别急,看下去,今天给你推荐电脑端口的五个好用的抠图工具。记得点赞然后放在收藏夹吃灰昂~1.Photokit链接在此:Photo Editor | Free Image Editing Onlin

抠图怎么抠?抠图的方法分享

抠图怎么抠?这个问题,相信这个问题很多小伙伴都不太陌生了,日常我们在处理照片的时候,经常会遇到,那么大家都知道,抠图对于老设计师来说,那就是信手拈来,对于新的设计师来说,就是难上加难,很多小伙伴不知道该如何去抠图,怎么去抠图,不用担心,小编

物品怎么抠图?教你抠图的方法

物品怎么抠图?很多时候我们经常需要对人像进行抠图换背景等操作,但是有的时候我们也需要对物品进行抠图。商家在发布物品宣传图的时候,如果对拍摄的物品的背景不满意。这个时候重新拍摄十分耽误时间,其实完成可以直接将物品抠出来,然后给其更换背景即可。

电商产品3步抠图法,5秒精准抠图换背景,简单又快速

随着信息科技的发达,网购的人群也越来越多,与线下购物不同,在网店的销售过程中,首先展示在人们眼中的必定是商品的图片,于是产品图就成了决定产品销量不可或缺的一部分。今天给大家分享两种除了PS以外的简单的电商抠图法,3步精准抠图换背景,只需5秒

电脑抠图怎么抠?教你一键抠图的方法

电脑抠图怎么抠?一般人拍照时对背景不满意怎么办?大部分人都不是PS大神。那么,有什么办法可以一键解决抠图问题呢?今天小编要给大家安利一款抠图软件【一键抠图】!下面来跟我一起看看操作方法吧!第一步:首先,我们打开【一键抠图】软件。在软件的首页

有了这款一键抠图神器,就算不会PS,也能轻松抠图

有些朋友想要抠图,但又不会ps,就算你会ps,对于一些新手来说,难度也是挺大的,而我就不会ps,所以只能借用这一款抠图神器,轻轻松松就能把图片抠出来,下面就分享给大家。一键抠图这款神器就是一键抠图,在网上搜索或者是到可以下载软件的工具搜索名

一键抠图的5种工具集合!抠图效果很赞

每天最痛苦的事莫过于临近下班老板还在安排工作,当我的老板递给我一沓设计海报让我修改海报背景时,真的头皮发麻,如果一张一张抠图太浪费时间了!不过没关系,最近发现了几款好用的AI抠图工具,一键抠图3秒就能完成!小伙伴一起来看看整理的这5款工具吧

华为的鸿蒙系统,居然隐藏着抠图功能,2秒还能实景抠图

相信很多朋友都在用华为手机,那么你的华为在用EMUI还是Harmony呢?华为手机升级到鸿蒙系统,居然隐藏着抠图功能,2秒还能实景抠图,真是太厉害了。①打开鸿蒙系统桌面,从屏幕底部左侧或右侧,向上滑动,即可进入隐藏的「服务中心」。然后在顶部

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈柏林旅游网西班牙旅游网古天乐影迷网三星手机评测网卡地亚腕表之家张杰歌迷网清远新闻资讯网今日齐齐哈尔笔记本电脑网国际黄金金价网泰勒·斯威夫特歌迷网葡萄品种网黄鹤楼酒资讯网燃气灶品牌网杜康酒股票行情网
IDO钻戒-“I Do”——源自婚礼的誓言,代表着步入婚姻殿堂的爱侣对于爱情忠贞不渝的承诺,是最神圣的爱情宣言。一句“I Do”,结婚钻戒滑入无名指,自此以爱为名,相守一生。IDo钻戒给予消费者与众不同的体验,成就了I Do钻戒的标新立异和非凡价值。
IDO钻戒 cuiluju.cn ©2022-2028版权所有