【FSET-044】Wニューハーフ 月野姫 もえ</a>2006-12-07アキノリ&$AKNR125分钟 AI视频开导速率10倍普及，过曝变色也能逐帧贬责｜好意思图国科大新算法

BlazeBVD团队 投稿量子位 | 公众号 QbitAI【FSET-044】Wニューハーフ 月野姫 もえ2006-12-07アキノリ&$AKNR125分钟

家东说念主们，放置“视频精通”（比如画面俄顷一白）有新招了！

回念念一下，当你看一部老电影或者用手机拍摄的视频时，画面偶尔会出现精通或激情不一致等表象。

为了放置这些，来自好意思图影像有盘算院、中国科学院大学，以及四川大学的有盘算东说念主员提倡了一种新算法。

新算法“BlazeBVD”不错自动放置视频中的精通，而且处理速率格外快，据称比现存顺次快10倍。

更妙的是！这种顺次致使无需事前知说念视频精通的具体类型或进度。

换句话说，它是“盲”的，不错应用于各式不同的视频。

这下，即使拍摄环境光芒变化，或者相机硬件跟不上也无需头疼了。[doge]

当今联系论文已被磋商机视觉顶会ECCV 2024摄取。

感兴味的话，我们接着康康~

BlazeBVD如何放置视频精通？

领先，受经典的STE（精通去除顺次圭臬本领平衡）启发，BlazeBVD引入了直方图援救解决决议。

图像直方图被界说为像素值的分散，它被凡俗应用于图像处理，以调遣图像的亮度或对比度。

打个比喻，图像直方图就像是一个统计表，它告诉我们在一张相片中，不同亮度的像素有若干。

△ 图片由Claude 3.5 Sonnet生成

而STE通过分析视频中每一帧的直方图【FSET-044】Wニューハーフ 月野姫 もえ2006-12-07アキノリ&$AKNR125分钟，然后用一种叫作念高斯滤波的顺次来平滑这些直方图，亚洲幼女先初步矫方正方图分散突变的图像帧，不详让画面看起来愈加踏实，减少精通。

天然STE只对一些渺小的精通有用，但它考证了：

直方图比原始的像素数据更简易，不详更有用地捕捉到视频中的亮度变化和精通。

通过平滑直方图，不错减少视频中的精通表象，让视频看起来更踏实。

因此，哄骗STE和直方图的领导来提高盲视频去精通的质地和速率是可行的。

具体而言，BlazeBVD包括三个阶段。

BlazeBVD三阶段详解

就像医师治病相同，BlazeBVD会领先搜检视频的每一帧。

它引入了STE对视频帧在光照空间下的直方图序列进行篡改。

然后从处理过的帧中索取出迫切信息，比如哪些帧精通最昭着（奇异帧集）、哪些地点光芒需要调遣（滤波后的光照图），艳母在线观看以及哪些地点曝光过度或不及（曝光图）。

接下来，BlazeBVD启动进行开导。

一方面，BlazeBVD使用一个叫作念全局精通去除模块（GFRM）的用具，哄骗之前索取的光照图来调遣统统视频的光芒，确保每一帧的亮度和激情看起来齐很天然。

另一方面，关于一些非凡需要关爱的局部区域，比如曝光过度或不及的地点，BlazeBVD会使用局部精通去除模块（LFRM）。这个模块会哄骗光流信息（就像跟踪物体在视频中的畅通）来开导这些区域的细节。

完成这一步，BlazeBVD临了进行完善责任。

它引入一个轻量级的时序网络（TCM），这个网络就像是视频的“好意思容师”，确保每一帧在视觉上齐是平滑过渡的，莫得突兀的变化。

为了进一步提高视频的一致性，BlazeBVD想象了一种特殊的评分系统（自适应掩模加权赔本）。这个系统会给每一帧打分，确保它们在视觉上的一致性，让统统视频看起来愈加贯通和天然。

至此，BlazeBVD完成了统统“诊疗”经由。

实际竣事

那么，BlazeBVD究竟恶果如何呢？

获胜看已有顺次与BlazeBVD在盲视频去精通任务上的竣事对比：

其中Deflicker为已有顺次，GT（Ground Truth）示意理念念的无精通视频，而KL散度示意处理后的视频与理念念无精通视频之间的相反。KL数值越大，相反越大。

不错看出，BlazeBVD能很好地复原照明直方图，同期幸免出现激情伪影和激情失真（举例第二列男东说念主的手臂）。

再进一步和基线顺次进行量化对比：

BlazeBVD在PSNR（峰值信噪比，数值越高示意视频质地越好）和SSIM（结构相似性指数，数值接近1示意视频质地越好）上得分较高，且在Ewarp（数值越低，视频越连贯一致）得分较低。

一句话，BlazeBVD非凡了已有基线顺次。

为了直不雅展现这种分辨，BlazeBVD与基线顺次的可视化对比如下：

消融实际也考证了BlazeBVD所想象模块的有用性：

玄虚而言，通过对合成视频、着实视频和生成视频的综合实际，BlazeBVD展现了优厚的定性和定量竣事，况兼比起首进的模子推理速率快10倍。

当今联系论文已公开，感兴味不错进一步了解。

论文：https://arxiv.org/html/2403.06243v1【FSET-044】Wニューハーフ 月野姫 もえ2006-12-07アキノリ&$AKNR125分钟