CVPR2021 Stylized Neural Painting

· 論文描述

通過該方法生成的繪畫在整體外觀、局部紋理上都具有很高的保真度；該方法也可以與神經風格遷移共同優化，后者可以進一步遷移其他圖像的視覺樣式。

####### 文末會提供基于ModelArts的Stylized Neural Painting實操案例使用方式

本案例能夠從最初的原始圖像中很好地捕捉到了對象的全局外觀，然后從圖像的宏觀到微觀逐漸過渡，以此生成一個具有一定風格（油畫畫風、馬克筆畫風、矩形畫風、水彩畫畫風等）的繪畫作品

不同于以往基于筆劃的繪制方法，比如使用了分步貪婪搜索、遞歸神經網絡或強化學習，本文將筆劃預測重新定義為一個“參數搜索”過程，目的是以自我監督的方式最大化輸入和渲染輸出之間的相似性。

給定一個空畫布h0，一步一步地繪制并疊加在每一步迭代渲染的筆劃。在每個繪圖步驟t中，經過訓練的神經渲染器G接受一組筆劃參數xt（例如，形狀、顏色、透明度和紋理），并生成筆劃前景和alpha蒙版。然后在每一步過程中去混合畫布、前景和alpha蒙版，并確保整個渲染通道是可區分的。

由于以前的神經筆劃渲染器在面對復雜的渲染場景時，可能會遇到參數耦合問題，例如，具有真實世界紋理和顏色過渡的筆刷。因此，本文重新設計了神經渲染器，并將渲染結構分解為柵格化網絡和著色網絡，這兩個網絡可以聯合訓練并以更好的形狀和顏色逼真度進行渲染。以最大限度提高輸入和渲染輸出之間的相似性。

通過使用柵格化網絡和著色網絡的雙通道神經網絡渲染器，實現顏色和形狀的解耦。用這種方法生成的圖像，無論在整體外觀上還是局部紋理上都具有較高的保真度。

當我們直接從像素空間優化圖像時，使用像素損失可以很好地完成工作。然而，在優化筆劃參數時，像素丟失并不總是保證有效的梯度下降。特別是當渲染筆劃和它的ground truth不共享重疊區域時，將出現零梯度問題。如下圖：

當我們把一個正方形的筆劃a沿著s方向移動到它的目標B上時，當a和B之間沒有重疊時，像素損失將保持不變。這將導致損失函數中出現零梯度問題，如圖（b）所示。

與圖（c）相比，圖（c）中的最優運輸損失不存在這樣的問題，因為損失與a和B之間的物理距離相關。

· 了解更多

想進一步了解更多，可以參閱以下鏈接：

·效果

我使用了暨南大學拱門的照片生成油畫，效果如下：

我們可以觀察到，雖然對圖片細節的刻畫不是很多，整體上的效果還是非常不錯的。

· 結論

本文貢獻：

?提出了一種基于筆劃的圖像到繪畫翻譯的新方法。我們將筆劃預測重新框定為一個參數搜索過程。我們的方法可以在同一框架下與神經風格轉換聯合優化。

?我們探討了參數搜索的零梯度問題，并從最佳運輸角度來看待行程優化。我們引入了一個可微的傳輸損耗，并改進了筆劃收斂性和繪制結果。

?我們設計了一個新的神經渲染器架構，具有雙通道渲染通道（著色+柵格化）。其提出的渲染器能夠更好地處理形狀和顏色的分離，并比以前的神經渲染器有著更大的優勢。

· ModelArts案例實現

1：數據準備

進入stylized-neural-painting該鏈接，保存至自己的obs桶

2：開啟新的瀏覽頁面，輸入網址 huaweicloud.ai ,點擊左上角“華為云”，進入華為云界面

3：在搜索欄輸入 ModelArts ，進入控制臺，并在左側菜單欄“開發環境”選項選擇“notebook”，并創建一個新的notebook，選用“GPU”免費算力規格即可。

4：靜候啟動完成后，點擊“打開JupyterLab”，選擇“pytorch-1.0.0”版本的notebook。

5：進入notebook，輸入以下指令運行，將案例拷貝至notebook上。代碼如下（中文部分路徑需要大家自行調整）：

import moxing as mox

mox.file.copy_parallel("obs://你的桶名/你的路徑名/stylized-neural-painting","stylized-neural-painting")

當指令運行框由 [*] 變成 [數字] 時，在左邊文件欄刷新即可看到代碼文件。

打開stylized-neural-painting.ipynb文件即可開始運行。

（建議雙擊進入拷貝完成的文件夾，將里面所有的文件剪切，并放在根目錄）

6：找到stylized-neural-painting.ipynb，打開它，運行環境選擇pytorch。

7：根據提示運行代碼，并根據自己的需要調試參數。本項代碼中附上了四種不同的畫筆及其輕量版本，并且含有對應的神經風格轉換的代碼實例。

（右鍵文件選擇下載，即可把藝術照保存到本地）

AI

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。