資訊
品
有效且強大的單圖像去霧
使用 Dark Channel Prior 的方法
Xiaoyan Yuan , Mingye Ju *, Zhenfei Gu 和 Shuwang Wang
1
南京資訊工程學院, 南京資訊工程學院, 南京 210023,
中國;yuanxy@njcit.cn (X.Y.);guzf@njcit.cn (Z.G.);wangsw@njcit.cn (西南)
2
南京郵電大學 物聯網學院, 南京 210003
*
通信方式:2014070245@njupt.edu.cn;電話:+86-25-86274529
學術編輯:Marco Leo
收稿日期: 2017-03-14;錄用日期: 2017-05-15;出版日期:2017 年 5 月 17 日
摘要: 在本文中,我們提出了一種單圖像去霧方法,旨在解決固有的
廣泛使用的暗通道先驗 (DCP) 的局限性。更具體地說,我們引入了高斯
混合模型 (GMM),根據 Haze Density 特徵圖將輸入的 Hazy 圖像分割成多個場景。
1
.簡介由於大氣懸浮顆粒在到達相機之前會吸收和散射光線,因此戶外圖像會因惡劣的天氣條件(霧、霾等)而顯著降低,併產生較差的視覺效果,包括對比度降低、顏色模糊和場景細節模糊。對於大多數計算攝影和計算機視覺應用來說,這是一個主要問題,例如衛星成像、物體識別、智慧汽車等,因為它們主要是在假設輸入圖像具有清晰可見性的情況下設計的。因此,去除負面的視覺效果並揭開真實的場景,這通常被稱為 「去霧」,是非常需要的,並且具有很強的意義。然而,由於大氣懸浮粒子的密度、類型和分佈以及環境入射光的偏振態不同,去霧是一個具有挑戰性的病態問題 [1]。
最近,受益於 Narasimhan 和 Nayar [1–3] 提出的大氣散射模型,
已經提出了許多單圖像去霧方法[1–24],並取得了重大進展。
這些基於模型的方法通過獲取朦朧圖像來估計模型係數的值
降解機制,因此,消除負面影響並恢復
場景反照率。一般來說,基於模型的方法的成功在於利用先驗/假設;然而
在某些特定條件下,當先驗/假設無效時,可能會出現限制。例如
Tan [4] 通過操縱 :10.3390/info8020057 增強朦朧圖像的可見性
www.mdpi.com/journal/information
資訊 2017, 8, 57
2 頁,共 27
利用分割結果,結合所提出的天空區域檢測方法,我們可以有效地
識別 DCP 無法很好地處理此問題的天空區域。在天空區域檢測的基礎上,我們
然後提出一種改進的全域大氣光估計方法,以提高估計精度
大氣光。此外,我們提出了一種基於多尺度融合的策略來獲得傳輸
map 的 map,可以顯著減少 Transmission map 的阻塞偽影。進一步
糾正容易出錯的傳輸
在 Sky 區域中,還提出了一種自適應 Sky Region 透射校正方法。最後,由於
針對 GMM 的分割盲性,我們採用引導式總變分 (GTV) 來解決這個問題
同時消除透射貼圖中包含的大量紋理細節。實驗結果驗證
我們方法的力量,並展示了它優於幾種最先進的方法。
關鍵詞:去霧;DCP;融合技術;傳輸校正
對比度基於恢復的圖像具有比相關 Plagued 更高的對比度的假設
圖像。但是,恢復的圖像往往會過度飽和,並且不可避免地會出現塊偽影。塔雷爾
等[10]通過使用濾光片組合來估計面紗,並獲得對比度增強的圖像。儘管
線性複雜性的優勢,朦朧仍然位於深度急劇變化的位置,因為中值濾波器
involved 的邊緣保留性能較差。儘管Fattal的方法 [5] 可以產生令人印象深刻的
通過假設表面著色與局部補丁內的場景透射無關來獲得結果,
該方法對濃霧圖像無效,因為在這種情況下假設被打破。Zhu et al. [6] 發現
顏色衰減先驗 (CAP) 並去除霧霾,方法是創建用於對深度結構進行建模的線性模型。
然而,這種方法被證明對於先驗無效的密集霧霾圖像無效。似
Zhu et al., Ju et al. [8] 建立了一個用於傳輸估計的線性模型,這使我們能夠
直接獲取透射圖,但由於
訓練樣本不足。
值得注意的是,He 等人提出了聲音 DCP [7],這使我們能夠直接估計原石
基於大氣散射模型的透射率。儘管此 DCP 在物理上通常是有效的,並且
可以恢復視覺上令人愉悅的圖像,但仍然存在兩個主要的固有限制。也就是說,天空區域往往
被過度增強,並且全域邊緣一致性容易不準確,正如我們在第 2 節中所指出的那樣。
因此,已經提出了一些相關的改進措施,旨在克服這些問題
局限性 [12–15,18,19,25–28]。例如,為了避免天空區域內的過度增強,
Shi等[27]設計了一種粗略天空區域估計方法來檢測DCP可能失效的區域,並且
資訊 2017, 8, 57
3 頁,共 27
通過將檢測到的天空區域的平均強度與
全域大氣光。但是,此方法在處理密集的霧霾圖像時有其局限性
因為它可能會產生將籠罩在濃霧中的物體解釋為天空區域的錯誤解釋。Li等[28]獲得
基於建議的 Sky 區域 prior 和 color 邊緣檢測的天空區域,並創建顏色
normalization 方法優化天空區域內的透射。儘管如此,特殊的過程
可能無法滿足次要的非天空區域圖像。Ju et al. [15] 設計了一種使用雙
閾值,並進一步校正 Sky 區域內的相應傳輸,但 Fixed threshold
不能應用於各種類型的霧霾圖像。另一方面,為了改進傳輸,即
通過 DCP 獲得,在 [7] 中採用了軟消光技術,而計算效率相對
low 的 ,因此無法應用於實時處理。因此,有幾種基於過濾的方法
提出了提高傳輸細化效率的方法,包括雙邊濾波器 [19],引導
濾波器 [26] 和導向關節雙側濾波器 [12]。儘管 [12,19,26] 的效率要比
使用軟摳圖技術時,去霧效果不穩定,因為這些基於過濾的方法可能是
參數敏感,如 [11] 中所述。
在本文中,我們提出了一種旨在克服固有局限性的單圖像去霧方法
的 DCP。與以前的方法相比,我們的方法有幾個優點:(1)受益於天空
區域檢測方法,我們可以精確識別天空區域並進一步提高估計
通過提出的全域大氣光估計方法確定大氣光的準確性;(2) 要獲取
更精準的透射圖,我們提出了一種多尺度透射圖融合方法
通過DCP估算的兩個具有不同補丁大小的無縫傳輸圖,並進一步糾正
通過提出的自適應天空區域傳輸校正,在天空區域內進行易出錯的傳輸
方法;(3) 我們採用引導全變分 (GTV) 模型來平滑天空區域和
旨在補償 GMM 分割盲區的相鄰區域;同時,廣泛的
可以有效地消除透射貼圖中的紋理細節。
2. 相關工作
2.1. 大氣散射模型當光穿過朦朧的大氣介質時,從物體反射的光會衰減
並分散在通往感測器的路徑上。在數學上,降解過程可以通過以下方式描述
廣泛使用的大氣散射模型[1–3],可以表示如下:
資訊 2017, 8, 57
4 頁,共 27
I
(1)
其中 (x, y) 是像素索引,I(x, y) 是降級的朦朧圖像,Lis 全域大氣光,即
描述散射光強度的 RGB 向量,ρ(x, y) 是場景反照率,β 是散射
係數,d(x, y) 是場景深度。為了表達式的簡單性,我們使用 J(x, y) = L·ρ(x, y) 和 t(x, y) =
e分別表示對應的 recovery image 和 transmission。因此,方程 (1) 可以
重寫為:
I(x, y) = J(x, y) ·t(x, y) + L·(1 − t(x, y))
(2)
通常,單張圖像去霧方法是一個逆問題,可以預測所有相應的
未知係數使用輸入朦朧圖像 I(x, y) 並進一步恢復圖像 J(x, y)。
2.2. DCP局限性分析DCP是由He等[7]提出的,是一種廣泛的無霧戶外圖像的統計方法。
也就是說,在大多數局部色塊中(天空區域除外),至少有一個顏色通道包含圖元
其強度極低,趨於零,可以表示為:
J(x, y)
=J0
(3)
其中 c 是 RGB 顏色通道索引,Ω(x, y) 是以 (x, y) 為中心的局部色塊,J(x, y) 和 J(x, y) 是
分別對應於圖像 J(x, y) 的彩色通道和深色通道。
這個先驗與大氣散射模型相結合,使我們能夠直接估計粗糙
透射,以獲得朦朧的圖像。儘管這種先驗有效,但通過DCP恢復的圖像容易出現
遭受過度增強的 Sky 區域以及較差的全域邊緣一致性。一般來說,原因
可以解釋如下:(1) 場景亮度與大氣相近的區域DCP失敗
亮(例如天空區域),因為對應於天空區域的暗通道明顯高於
零,因此,如果我們直接應用 DCP,傳輸將不可避免地被高估;(2) DCP 為
基於補丁的程式;因此,通過 DCP 估計的傳輸圖可能會受到 Edge Poor 的影響-
consistency 屬性,而這個問題會進一步導致相應的還原
圖像。
資訊 2017, 8, 57
5 頁,共 27
3. 單張圖像去霧方法 在本節中,我們提出了一種旨在克服固有局限性的單張圖像去霧方法
DCP 的;主要過程如圖 1 所示。本質上受到 [16,22] 的啟發,
我們基於霧霾密度特徵圖和場景分割技術對天空區域進行檢測。然後,我們
應用三個關鍵步驟,包括改進的全域大氣光估計、多尺度透射
Map Fusion 和 Adaptive Sky Region 透射校正。接下來,我們介紹引導式總變異
(GTV) 平滑天空區域周圍的邊緣並消除透射中大量的紋理細節
地圖。最後,藉助全域大氣光和透射圖的知識,可以對圖像進行
通過大氣散射模型恢復。
圖 1.我們的方法概述。從輸入的朦胧圖像中,我們首先根據朦朧檢測天空區域
密度特徵圖和場景分割技術。然後,我們應用三個關鍵步驟,包括改進的
全域大氣光估計、多尺度透射圖融合和自適應天空區域
傳輸校正。接下來,我們引入引導式總變分 (GTV) 以進一步優化傳輸
通過大氣散射模型映射和恢復圖像。
3.1. 通過場景分割進行天空區域檢測 如 [6,7,11] 所述,DCP 對於場景物件亮度為
本質上類似於空氣燈。因此,受 [16,22] 的啟發,我們引入了霧度密度特徵圖
[16] 和 GMM 模型 [29] 將朦朧圖像分割成場景,並通過
所提出的天空區域檢測方法。具體操作步驟說明如下。
(a) 霧霾密度特徵圖:
資訊 2017, 8, 57
6 頁,共 27
考慮到朦朧圖像會受到模糊的物體細節的影響,對比度會降低
和淡化表面顏色,因此很難通過場景功能將朦朧的圖像直接分割成場景
萃取。然而,根據大氣散射模型,朦朧
圖像與霧度成正比。也就是說,霧霾最不透明的區域應具有最高的
亮度和最模糊的細節,反之亦然。因此,我們引入了霧霾密度預測模型
[16] 將霧度特徵圖描述為:
S(x, y) = α ·Q(x, y) − β ·Q(x, y)
Q(x, y) = ·
L (x, y)
(4)
Q
(x, y)|
其中 S(x, y) 是霧度特徵圖;α = 1.126 和 β = 0.705 是正則化係數,其中
用於調整每個元件的顯著性;Q(x, y) 和 Q(x, y) 是亮度特徵索引
和朦朧圖像的紋理細節特徵索引 I(x, y);L(x, y) 和 ∇I(x, y) 是亮度
元件和漸變元件,分別對應於朦朧圖像 I(x, y);Ω(x, y) 是
以 (x, y);和 |Ω|是此本地色塊中的相應圖元編號。
在圖 2 中,圖 2a 顯示了兩個霧度圖像,圖 2b 顯示了相應的霧度密度
特徵圖。在可以注意到,得到的霧霾密度特徵圖可以精確地描述空間
霧度分佈的關係,與霧度密度的視覺感知非常一致
(a)
資訊 2017, 8, 57
7 頁,共 27
(b)
圖 2.朦朧圖像和相應的霧度特徵圖。(a):圖像朦朧。(b):相應的
霧度特徵圖通過公式 (4) 獲得。
(b) 場景分割:
在霧霾密度特徵圖 S(x, y) 的基礎上,我們需要將霧霾圖像分割成場景,
分割后,分割場景內的像素應共用大致相同的場景要素。
因此,我們將場景分割轉換為聚類問題。考慮精度要求
和計算成本,我們引入了高斯混合模型 (GMM) [29] 來執行
分割程式。根據[29,30],GMM可以通過K高斯分量混合來描述
model,相關的概率密度函數表示為:
K
K
p(S(x, y)) = ∑ p(k)p(S(x, y)|k) =
(5)
k=1
k=1
其中 S(x, y) 是得到的霧霾密度特徵圖,{π, μ, σ} 是混合比例、平均值和
GMM 的第 k 個分量的方差。方程 (5) 的相關對數似然函數為:
l
l
λ = ∑∑ log{p(S(x, y))}}
(6)
x=1 y=1
其中 land 分別為 S 的寬度和高度。我們進一步採用了期望最大化 (EM)
策略來確定模型參數 {π, μ, σ} 旨在最大化對數似然函數。
因此,後驗概率 ω(S(x, y), k) 定義為:
(7)
然後,我們將模型參數 {π, μ, σ} 計算為:
資訊 2017, 8, 57
8 頁,共 27
N/res μ
= ∑
∑ ω(S(x, y),
k)S(x, y)
x=1 y=1
l
l
(8)
σ= ∑∑ω(S(x, y), k)(S(x, y) − μ)(S(x, y) − μ)
l
l
N= ∑ ∑ ω(S(x, y), k)
其中 res = l·l表示 S 的像素數。此過程以反覆運算方式計算並終止
當似然函數收斂時。
請注意,根據方程,分割精度通常與 K 的值成正比
(5);然而,計算成本是另一個重要的問題。經過反覆測試,我們取 K = 3
作為我們方法的平衡選擇。將顯示圖 2 的相應場景分割結果
在圖 3 中。
(a)
(b)
圖 3.圖 2 的相關場景分割結果。我們將朦朧的圖像分割成三個場景
並分別使用 Red、Green 和 Blue 標記它們。(a):圖 2a 的場景分割結果(左)。
(b) 圖 2a 的場景分割結果(右)。
(c) 天空區域檢測:
資訊 2017, 8, 57
9 頁,共 27
現在我們已經將朦朧圖像分割成 K 個場景,相應的圖元索引集是
表示為 {∆(k), k ∈ [1, K]},那麼我們將根據兩個
注意事項:(1) 借助霧霾密度特徵圖,天空區域(霧霾最不透明
region) 應具有所有分割場景中最高的平均場景特徵值;(2) 事實上,一個
少數特定的戶外圖像不包含天空場景,如果我們簡單地更正
在具有最高特徵值的場景中進行傳輸;因此,有必要檢測並排除這一點
特殊情況。因此,我們創建了天空區域檢測方法,如下所示:
(
∆ˆ表示 S
and
|∆res(k)|
≥ T
(9)
∆=
∅其他
,k ∈ [1, K] 是候選天空區域,其中
其中 ∆ˆ = argmax
具有最高的
特徵值,Tis 天空區域特徵的下邊界,Tis 場景區域的下邊界
率。
根據我們之前的工作 [16],我們將 T= 0.2 設置為場景區域的下邊界值
率。更具體地說,我們進行了廣泛的實驗,以確定相對平衡的
天空區域要素 T 的下邊界。我們從互聯網上隨機收集 200 張朦朧圖像,並獲得
使用不同值的 Sky Region Detection 的準確率(與人工速率判斷相比)
天空區域具有下邊界 T(0.1–0.9),並在圖 4 中提供相應的統計結果。從
圖 4 中,我們可以注意到,當 T= 0.6 時,可以實現最高的天空區域檢測準確率。
圖 4.使用不同天空區域特徵下限值進行天空區域檢測的準確率。
資訊 2017, 8, 57
10 頁,共 27
此外,為了消除聚類誤差和高光雜訊,我們進一步利用了
數學形態學的 Erosion 算子 [31] 來提煉場景分割結果,然後我們
檢測天空區域。如圖 5 所示,我們可以有效地圖 2 的天空區域並對其進行標記
替換為 white。
圖 5.使用我們的方法為圖 2 檢測到的天空區域(標記為白色區域)。(a):檢測到的天空區域
(標記為白色區域)用於圖 2a(左)。(b) 檢測到的天空區域(標記為
白色區域)用於圖 2a(右)。
3.2. 改進的全域大氣光估計方法在現有的去霧方法中,全域大氣光要麼是手動定位的,要麼是使用
獲取朦朧圖像最亮圖元的基本程式 [32,33]。事實上,簡單地定位
朦朧圖像中最亮的像素,因為它可能屬於干涉物件(白色/灰色物件,高 -
光、額外光源等)。
為了提高全域大氣光源位置的精度,我們進行了多項改進
提出。例如,He 等人 [7] 在暗通道中挑選出最亮的0.1%圖元,這是估計的
通過DCP,並將這些像素中強度最高的圖元作為大氣光。Zhu et al. [6]
選擇深度圖中前 0.1% 最亮的圖元,該像素通過顏色衰減先驗 (CAP) 獲得,
,並將這些圖元中強度最高的圖元作為大氣光。但是,
這些方法的準確性在很大程度上取決於先驗的有效性,因此,在某些
假設被打破的特定情況。
在檢測到的天空區域∆或候選天空區域 ∆ˆ 的基礎上,我們可以顯著提高
全域大氣光定位的準確性,因為大多數白色或高光物件將有效地
排除 [20]。
更具體地說,我們首先將候選天空區域 ∆ˆ (因為 ∆可能不存在) 作為搜索
area 的全域大氣光。然後,我們選擇飽和度最低的前 1% 圖元
(a)
(b)
資訊 2017, 8, 57
11 頁,共 27
候選天空區域作為候選全域大氣光圖元,因為 RGB 通道的強度
對應於全域大氣光的圖元應根據 [18] 大致相同。下一個
我們將這些候選全域大氣光圖元中最亮的圖元作為全域大氣
light L.
我們進一步測試了所提出的全域大氣光估計方法,並與 Namer et
等人的方法 [33]、He 等人的方法 [7] 和 Zhu 等人的方法 [6] 對具有挑戰性的朦朧圖像(圖 6)。如
如圖 6 所示,只有我們的方法(在紅色框中)成功定位了大氣光,而
Namer 等人的方法 [33](在綠色框中)、He 等人的方法 [7](在藍色框中)和 Zhu 等人的方法
[6](在黃色框中)都將干擾物件定位為大氣光。
圖 6.具有挑戰性的大氣光定位比較和恢復效果的朦胧圖像
不同大氣光估計結果的比較。(a) 大氣光定位比較,
[6,7,33] 和 OUR 的結果用不同顏色的框表示。(B-E)恢復效果比較;
使用通過 [6,7,33] 獲得的不同大氣光估計結果恢復圖像,並且
我們的。
我們進一步進行了實驗比較,以驗證大氣光估計的影響。
通過[6,7,33]和我們的方法獲得的不同大氣光估計結果,我們
為了公平起見,使用相同的方法(He et al. 的方法 [7])獲取傳輸圖
通過大氣散射模型獲取恢復的圖像。相應的恢復圖像是
分別在圖 6b-e 中演示。通過比較,
我們可以注意到 Figure 6e 具有更好的可見性。
3.3. 多尺度透射圖融合方法 根據大氣散射模型(方程(2)),以估計的全球大氣光,
我們可以直接獲得粗略的傳輸圖 Tvia DCP(使用補丁大小 15 × 15)。但是,DCP 是一個