引 言
隨著計算機技術的不斷發展,各種數字采集設備應運而生,人們的生活中出現了大量的數字圖像,然而,這些數字圖像在獲取、處理、壓縮以及傳輸的過程中將不可避免地發生一定程度的損壞,導致局部信息的缺失。 數字圖像修補技術可以有效地對其進行修復,并使得修補后的圖像完好如初,從而廣泛地應用于人類生活的各個領域,具有十分重要的理論意義和應用價值。
本文由三個部分構成: 第一部分是對數字圖像修補技術進行簡要介紹,包括數字圖像修補技術的概念、目的及研究背景; 第二部分對數字圖像修補技術的研究現狀進行了系統的綜述; 第三部分介紹了數字圖像修補技術廣泛的應用前景。
1 數字圖像修補技術介紹
數字圖像修補技術就是利用圖像中未損壞的信息對圖像中的待修補區域進行信息填補的過程,其目的是恢復破損圖像的完整性,并盡量減少修補的痕跡,使修補后的圖像在整體上能夠被人的視覺心理所接受,即滿足兩個重要條件: 一是修補區域的邊界與已知區域之間的過渡要平滑,二是修補后整幅圖像能夠達到形態上的連通性[1],就好像沒有經過修補一樣自然。
“修補”一詞最早出現在文藝復興時期,那時博物館的藝術修復工作者們希望對中世紀的一些藝術品進行翻新,于是主要采取純手工修補的方式對其裂縫進行填補,從而達到藝術品修復的目的。 然而,該方法操作繁瑣、效率低下,且稍有不慎就會對藝術品造成二次損壞。 之后,隨著計算機技術的不斷發展,Bertalmio 等人[2]
在 2000 年的 SIGGRAPH 國際學術會議上首次開創性地提出了“數字圖像修補”這一名詞,并將計算機技術與圖像修補技術巧妙地結合在一起,試圖借助計算機尋找一種高效的圖像修補方式,從而實現圖像修補技術的自動化或半自動化。 短短十幾年間,數字圖像修補技術以其強大的生命力迅速蓬勃發展起來,成為了數字圖像處理領域一個新的研究熱點。
2 數字圖像修補技術的研究現狀
目前,對數字圖像修補技術的研究主要可以歸納為以下三大方面。
2. 1 基于變分 PDE 的數字圖像修補技術
基于變分 PDE 的數字圖像修補技術是早期的圖像修補方法,主要包括兩大類: 一類是基于偏微分方程( PDE) 的圖像修補方法,另一類是基于變分法的圖像修補方法。 由于 PDE 和變分法可以通過變分原理相互等價推出,因此本文把這兩類方法統稱為變分 PDE 方法[3].
Bertalmio 等人[2]率先提出了基于三階 PDE 的 BSCB 模型,其基本思想是將待修補區域周圍的信息沿等照度線的方向光滑延伸到待修補區域內,從而達到圖像修補的效果。 另外,Chan 等人[4,5]首次將 TV模型和 Mumford-Shah 模型應用于圖像修補領域,并在此基礎上提出了 TV 修補模型和 Mumford-Shah 修補模型。 然而,這兩種方法存在一個共同的缺陷,即不滿足圖像修補的連通性原理,并且修補的圖像中存在拐角。 后來,為了克服這一弊端他們又提出了 CDD 修補模型[6],該模型引入曲率對擴散強度進行調節,從而使大曲率處擴散變強,小曲率處擴散逐漸減弱甚至消失。 之后,Chan 等人[7]將彈性能量應用到圖像修補中,建立了歐拉彈性修補模型,由于該模型重構圖像的水平線為光滑曲線而非直線,因此可以較好地對圖像進行曲線修復,具有良好的連續性。 但是,由于歐拉彈性修補模型是一個四階 PDE 模型,因此數值實現相對復雜,收斂速度較慢。 隨后,Esedoglu 等人[8]又將歐拉彈性修補模型引入到了Mumford-Shah 修補模型中,建立了更加有效的 Mumford-Shah-Euler 模型。 然而,基于變分 PDE 的圖像修補技術僅適合于對小尺度的受損圖像進行修補,對于尺度較大的受損區域,尤其是在紋理比較豐富的情況下,修補區域與周圍的紋理區域之間將會產生明顯的對比,修補效果不夠自然。 2006 年臺雪成等人[9]提出了一種基于 TV-Stokes 方程的圖像修補模型,由于在該模型中加入了零散度條件,使得該算法能夠對較大區域的圖像進行修復,并且取得了較好的修復效果。
2. 2 基于紋理合成的數字圖像修補技術
為了解決基于變分 PDE 的方法在修補大范圍破損圖像時無法解決的圖像紋理填充問題,研究者們進一步提出了基于紋理合成的數字圖像修補技術[10],該方法將紋理合成技術應用于圖像修補領域,其核心思想是仿真并生成局部紋理進行填充[11],取得了較好的修補效果。
一部分研究者利用基于像素的紋理合成方法對圖像進行修補,其中 Bornard 提出的方法比較典型,能夠修補圖像的邊緣,且不易出現邊緣模糊或斷裂的情況,但由于對紋理的全局特征把握不夠,因此當修補區域較為復雜時極易出現錯誤匹配[10]. Harrison[12]率先將基于塊的紋理合成方法應用于圖像修補領域。 隨后,Drori 等人[13]利用自相似原理,采用一種由粗到精的方法逐步逼近并填充待修補區域,取得了較好的修補效果,然而由于該算法的復雜程度較高,故修補速度較慢。 另外,Borikar 等人[14]結合圖像紋理的方向性特點給出了一種快速填充算法。 Criminisi 等人[15]提出的修補思路是,首先對修補區域邊界點的優先權進行計算,選擇出優先級最高的圖像塊,然后在圖像的已知區域中搜索其最佳匹配塊并進行匹配復制,以此類推,直到待修補區域全部匹配復制完成,即達到了圖像修補的目的。 這種紋理合成主要由優先權計算、搜索和復制三個步驟組成[8]. 該方法一經提出,便立刻引起了廣大研究者們的注意,隨后基于該方法的改進層出不窮,并取得了較好的成果。
2. 3 基于圖像分解的數字圖像修補技術
基于圖像分解的數字圖像修補技術是一種將變分 PDE 方法與紋理合成方法相結合的混合方法,該方法的核心思想是,首先利用圖像分解技術將圖像分解為結構和紋理兩部分,然后分別對它們進行有針對性的修補,即對紋理部分使用紋理合成技術進行修補,對結構部分運用變分 PDE 方法進行修補,從而對癥下藥達到理想的圖像修補效果。 Bertalmio 等人[16]率先采用 Meyer 提出的 TV 分解模型[17]將圖像分解為結構部分和紋理部分,然后用他們所建立的 BSCB 模型[2]修補結構部分,用紋理合成技術修補紋理部分,最后再將兩部分進行疊加得到恢復后的圖像。 還有一些研究者也提出了類似的方法,針對圖像的不同部分選取合適的修補方法,并取得了令人滿意的結果。
3 數字圖像修補技術的應用前景
3. 1 對文物書畫、舊照片及老電影進行修補
一些舊照片以及書畫等文物由于年代比較久遠,在存儲的過程中不可避免地會發生一定程度的損壞或變質,直接對原始照片或文物進行修補不僅需要復雜的人工操作而且存在著較大的風險,一旦操作不當將會加重其損壞的程度,甚至造成不可挽回的后果。 這時我們可以利用數碼設備將原始的照片以及書畫等文物掃描為數字圖像,應用數字圖像修補技術對其自動進行恢復,這樣既不會對原始圖片造成任何損壞,又可以獲得完美的修補效果。
3. 2 對圖像中遮擋文字的移除
在日常生活中人們為了更加有效地表達和說明,時常會將圖像與文字信息搭配起來,比如廣告詞、旁白、新聞標題等,但是,當我們僅僅對文字的背景圖像感興趣時,這些文字就會影響我們對背景圖像的欣賞。 這時我們可以應用數字圖像修補技術對圖像中文字所在的區域進行修補,就好像是把文字從圖像中移除了一樣,從而使背景圖像恢復本來的面貌。
3. 3 特效制作。
在攝影、廣告宣傳以及影視制作等方面,人們為了達到某些特殊的視覺效果,通常會應用數字圖像修補技術對圖像中某些特定的物體進行隱藏或移除,從而帶給人們視覺上的沖擊及新鮮感,因此,數字圖像修補技術在特效制作領域發揮了極其重要的作用。
3. 4 數字放大
數字放大的目的是由原始圖像再生出具有更高分辨率的圖像,它在日常生活中的應用十分廣泛,然而,在圖像放大的過程中圖像的質量將不可避免地受到影響,即會出現圖像失真的現象。 數字圖像修補技術可以有效地對該問題進行解決,它不僅能夠保持圖像的清晰度,而且能夠保持圖像邊緣的光滑性,從而得到高品質的放大圖像。
3. 5 圖像編碼
圖像編碼也稱圖像壓縮,指在滿足一定保真度的前提下對圖像信號進行高效的編碼和壓縮,從而減少數據的存儲量,以便于圖像的存儲和傳輸。 在編碼過程中,一部分的圖像數據將會被省略,當人們希望獲取完整的原始圖像時,就需要對編碼后的圖像進行解壓,即恢復省略掉的圖像數據,這時通過應用數字圖像修補技術對省略掉的信息進行填充,就可以得到解壓后的圖像,從而使原始圖像的真實信息得到有效的還原。
4 總 結
隨著科學技術的不斷發展和相關理論的不斷完善,數字圖像修補技術必將廣泛地應用于軍事、生物醫學、通信工程、航空航天、文化藝術等相關領域,在人類生活的方方面面發揮極其重要的作用和價值。
可是,作為數字圖像處理領域的一個年輕的分支,目前的數字圖像修補技術還不夠成熟和完美,比如尚且缺乏一套公認的圖像修補評價體系,無法對修補后的圖像進行客觀的定量評價。 然而,也正因為如此,數字圖像修補技術擁有著廣闊的研究前景和發展空間,需要人們在思想和方法上不斷地進行改進和創新,從而推動圖像處理領域的發展。
參考文獻:
[1] 祝軒。 基于偏微分方程的圖像去噪、修復及放大研究[D]. 西安: 西北大學,2008.
[2] BERTALMIO M,SAPIRO G,CASELLES V,et al. Image inpainting[C]. Proceedings of the SIGGRAPH,2000.
[3] 張紅英。 數字圖像修復技術的研究與應用[D]. 成都: 電子科技大學,2006.