大數(shù)據(jù)文摘出品
作者：蔣寶尚
Photoshop是迄今為止世界上最暢銷的圖象編輯軟件。它已成為許多涉及圖像處理的行業(yè)的標(biāo)準(zhǔn)。
PS的出生也頗有傳奇色彩，它最初是由托馬斯·諾爾（Thomas Knoll）和約翰·諾爾（John Knoll）這對兄弟于1987年為了完成研究論文而制作的。
但是直到1990年后，這個(gè)軟件才由Adobe公司首次發(fā)布。從出生到發(fā)布期間困難重重不足為外人道。
經(jīng)歷了幾十年的發(fā)展，PS已經(jīng)成為了Adobe公司最大的收入來源。尤其是在中國，PS確實(shí)幫助很多普通人實(shí)現(xiàn)了“網(wǎng)紅夢” ，更是被授予了“亞洲四大邪術(shù)之一”的稱號。
Adobe最近宣布開發(fā)出了一項(xiàng)新技術(shù) —— “圖像處理反偵查” ，使用AI就可以檢測出圖像是否被PS了。
研究成果是Adobe公司和加州大學(xué)伯克利分校的科學(xué)家合作取得的，使用這項(xiàng)新技術(shù)可以輕松識別圖像中被拼接、復(fù)制以及刪除的部分。
這是反PS效果，由左至右依次為：經(jīng)修改的圖像、檢測到修改、自動還原后的圖像、原始圖像。
由于Photoshop也是Adobe公司的，在吐槽Adobe自己打自己之外，更多的是直呼Adobe這種功能是魔鬼嗎？畢竟現(xiàn)在的小青年，拍照不PS都不好意思發(fā)朋友圈~
不過也有拍手叫好的小伙伴，因?yàn)槭苓^PS美顏的苦~例如下面的這個(gè)案例~
其實(shí)，有些PS的圖，如果仔細(xì)看也能夠看出來，但這款工具準(zhǔn)確率更高。Adobe表示，與人眼53%的準(zhǔn)確率相比，他們的工具識別準(zhǔn)確率高達(dá)99％。
但是“照騙”的小伙伴暫時(shí)可以松一口氣，因?yàn)槟壳癆dobe沒有立即打算將這項(xiàng)最新成果進(jìn)行商業(yè)化。
兩年開發(fā)兩種算法來殺自己
傳統(tǒng)的反PS方法，非專業(yè)人士不可為，畢竟使用光線分析工具來判斷一張照片是不是原始圖片需要很深的功底。
以下是操作步驟，你估摸估摸~
基于從一張照片表面上不同部分所取得的線索，制作出整張照片的光譜模型，這對包含單一色彩表面的照片尤其有效。用戶可以指定某個(gè)需要鑒別的照片表面進(jìn)行分析，就可以得到一套系數(shù)來代入一個(gè)復(fù)雜的、反映該表面周圍整體光線環(huán)境的方程式，然后與其他表面的分析、計(jì)算結(jié)果進(jìn)行比較，如果其差異超出了特定范圍，則這張照片就有可能曾被處理過。
而這項(xiàng)研究利用卷積神經(jīng)網(wǎng)絡(luò)識別PS過的人臉圖片，直接了當(dāng)?shù)母嬖V你哪張照片PS過了、PS了哪里、最初的模樣是個(gè)啥。
此大殺器是由Adobe 研究科學(xué)家 Richard Zhang、Oliver Wang 以及 UC Berkeley 的 Shen-Yu Wang、Andrew Owens 與 Alexei A. Efros 參與完成。
目前，研究成果以成論文，并放在了arxiv上面~
論文地址：
https://arxiv.org/pdf/1906.05856.pdf
其實(shí)，早在2018年Adobe公司在CVPR 2018上展示了機(jī)器是如何在更短時(shí)間內(nèi)自動識別出照片的修改痕跡的。當(dāng)時(shí)的那篇論文并不能看作計(jì)算機(jī)視覺領(lǐng)域的一大突破，但是看到Adobe這個(gè)“PS專業(yè)戶”發(fā)明“反PS工具”還是很有趣的。
論文地址：
http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhou_Learning_Rich_Features_CVPR_2018_paper.pdf
那次的論文展示了如何用機(jī)器學(xué)習(xí)發(fā)現(xiàn)圖像的三種改變：拼接、復(fù)制、刪除。
為了發(fā)現(xiàn)這些特點(diǎn)，科學(xué)家們通常會在圖像的隱藏層中尋找線索。只要這些圖像經(jīng)過編輯，它們會留下數(shù)字化痕跡，例如圖像傳感器產(chǎn)生的顏色和亮度的不一致性（也被稱為圖像噪聲）。當(dāng)你將兩張不同的照片拼在一起，或者從另一張圖中復(fù)制粘貼其中一部分，背景噪聲是不匹配的，就像用有些許色差的油漆掩蓋墻壁上的污漬。
換句話說，研究人員訓(xùn)練了一個(gè)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)來識別圖像處理。第一種方法是識別 RGB 的變化，第二種是識別噪點(diǎn)。這項(xiàng)技術(shù)將這兩種方法結(jié)合起來用，以此實(shí)現(xiàn)更準(zhǔn)確的識別。
而最新的這項(xiàng)研究主要針對 Adobe Photoshop 自帶的功能臉部感知液化（Face Aware Liquify）。
因?yàn)槟槻扛兄夯梢韵茸R別人臉五官，然后用戶可以使用它進(jìn)行相應(yīng)的修改，如眼睛大小、額頭寬窄、瘦臉、鼻高等，還可以輕松調(diào)出微笑唇。
在這篇論文中提出了兩種模型：一種是全局分類模型，任務(wù)是預(yù)測人臉是否發(fā)生改變；另一種是局部分類模型，可以用來識別發(fā)生改變的位置。
首先用ResNet50架構(gòu)訓(xùn)練一個(gè)二元分類器。確定圖片是否被修改過。在最后的評估過程測量了圖片像素（即是否為高清）對模型的影響，以及為了增強(qiáng)穩(wěn)健性，還對數(shù)據(jù)進(jìn)行了增強(qiáng)，所使用的方法包括調(diào)整圖片大小，調(diào)整圖片的對比度和飽和度等的。
另外，研究人員通過編寫 Photoshop 腳本創(chuàng)建了圖像訓(xùn)練集，幾千張，幾千張的從網(wǎng)上抓取圖片進(jìn)行訓(xùn)練。
這還不夠，研究人員還請了美術(shù)方面的專家?guī)退麄兪謩有薷膱D片擴(kuò)大訓(xùn)練集。
該研究所用數(shù)據(jù)集的具體數(shù)據(jù)。
不同的目標(biāo)對應(yīng)不同的損失函數(shù)
研究人員預(yù)測從原圖 X_orig ∈ R^(H×W×3) 到修改后的圖 X 的光流場（optical flow field）U? ∈ R^(H×W×2)。之后，研究人員嘗試將圖像恢復(fù)為原圖。
研究人員訓(xùn)練了一個(gè)光流場預(yù)測模型F來預(yù)測像素扭曲場（perpixel warping field），衡量其與每個(gè)樣本真實(shí)光流場 U 之間的距離（通過計(jì)算原圖和修改后的圖之間的光流得到）。
下圖展示了光流場的一些示例。
損失函數(shù)公式如下所示：
通過逆扭曲來恢復(fù)原圖。重建損失函數(shù)為：
其中，X是修改后的圖像，U是真值光流場，L_epe表示光流場之間的誤差。
研究者試圖使光流場更加平滑流暢，于是使用以下?lián)p失函數(shù)：
而直接使用該重建損失函數(shù)會導(dǎo)致低紋理區(qū)域出現(xiàn)模糊和偽影，于是研究者聯(lián)合訓(xùn)練以上三個(gè)損失函數(shù)：
最后，算法模型的全局評估結(jié)果如下?
相關(guān)報(bào)道：
https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/
