中國(guó)寫(xiě)意水墨畫(huà)與其他繪畫(huà)種類(lèi)(如西方繪畫(huà))不同, 用寥寥幾筆描述具體的景物對(duì)象或場(chǎng)景, 表達(dá)畫(huà)家的創(chuàng)作意圖及藝術(shù)個(gè)性. 寫(xiě)意水墨畫(huà)以其獨(dú)特的藝術(shù)性吸引越來(lái)越多的人學(xué)習(xí)創(chuàng)作水墨畫(huà), 包括沒(méi)有繪畫(huà)基礎(chǔ)的業(yè)余愛(ài)好者. 同時(shí), 目前大多數(shù)的圖形類(lèi)商業(yè)軟件(如 Adobe® Illustrator, Adobe® Photoshop, CorelDRAW®等)均是支持中國(guó)藝術(shù)風(fēng)格的生成工具. 然而, 生成高質(zhì)量的繪畫(huà)作品通常需要專(zhuān)業(yè)的知識(shí)與技能, 且現(xiàn)有的繪畫(huà)工具在繪制技巧方面要求復(fù)雜和準(zhǔn)確的輸入, 同時(shí), 某些利用風(fēng)格遷移生成繪畫(huà)的工具僅僅將特定的風(fēng)格整體遷移至輸入的對(duì)象, 極少考慮局部的筆畫(huà)形態(tài)與顏色.

　　本文實(shí)現(xiàn)一種基于簡(jiǎn)單交互的繪畫(huà)生成工具, 通過(guò)在真實(shí)的花卉照片上進(jìn)行基于筆畫(huà)的風(fēng)格遷移, 可生成中國(guó)水墨畫(huà)風(fēng)格的繪畫(huà)作品. 在實(shí)踐中, 無(wú)論繪畫(huà)零基礎(chǔ)的用戶(hù), 還是繪畫(huà)初學(xué)者和專(zhuān)家, 均可用簡(jiǎn)單的涂鴉式筆畫(huà)生成高質(zhì)量的繪畫(huà)作品, 或提升繪畫(huà)技巧.

　　1 相關(guān)工作

　　非真實(shí)感繪制 (non-photorealistic rendering, NPR)是指利用不同的筆刷模型, 輸出具有藝術(shù)風(fēng)格的筆畫(huà), 像手繪一樣描繪特定的物體[1]. 近年來(lái), 已有一些與 NPR 相關(guān)的優(yōu)秀工作值得學(xué)習(xí)和借鑒. 主要有 3 個(gè)方面的工作.

　　1.1 基于物理的模型為了給用戶(hù)提供直觀、自然的感受, 像畫(huà)筆一樣的輸入設(shè)備通過(guò)對(duì)筆或其他媒介的物理屬性進(jìn)行建模, 模擬繪畫(huà)的物理過(guò)程. 其中, Curtis 等[2]利用淺水流體模擬方法模仿水彩的不同藝術(shù)效果. Chu等[3]設(shè)計(jì)一個(gè)實(shí)時(shí)繪畫(huà)系統(tǒng)來(lái)模擬在具有吸收力的紙上墨擴(kuò)散的效果. 同時(shí), Xu 等[4]提出一種用于中國(guó)書(shū)法和繪畫(huà)的“電子筆刷”, 僅用 4 種屬性定義了真實(shí)畫(huà)筆的基本特征. 目前, Chu 等[5]提出一系列技術(shù), 解決了傳統(tǒng)的三維筆刷模型中顏色細(xì)節(jié)過(guò)分損失和低效率計(jì)算的問(wèn)題. Lu 等[6]提出一個(gè)交互式的數(shù)據(jù)驅(qū)動(dòng)的繪畫(huà)系統(tǒng), 它可以利用真實(shí)媒體的掃描圖像合成新的筆畫(huà), 避免了復(fù)雜的物理模擬的計(jì)算. 對(duì)于數(shù)字化繪畫(huà)軟件, 用戶(hù)就像使用真實(shí)的畫(huà)筆一樣, 操控鼠標(biāo)或數(shù)碼筆進(jìn)行繪畫(huà), 如Adobe® brush packages, ArtRage, 及Corel® Painter. 然而, 對(duì)于沒(méi)有大量繪畫(huà)經(jīng)驗(yàn)的普通用戶(hù)來(lái)說(shuō), 輕松而準(zhǔn)確地操作虛擬畫(huà)筆是復(fù)雜而困難的. 在物理仿真水墨畫(huà)方面, 一些仿真系統(tǒng)實(shí)現(xiàn)了各類(lèi)水墨畫(huà)的典型藝術(shù)效果[7-9].

　　1.2 基于圖像的模型與物理模型相比, 此類(lèi)模型避免了大規(guī)模的計(jì)算量和復(fù)雜的操控. 基于筆畫(huà)渲染的方法通過(guò)加入離散元素, 如筆畫(huà)或點(diǎn)畫(huà), 被廣泛地應(yīng)用于自動(dòng)將真實(shí)照片轉(zhuǎn)換為繪畫(huà)[10]. 在模擬西方繪畫(huà)方面, Hertzmann 等[11]使用“圖像類(lèi)比”技術(shù)處理照片圖像, 生成一些具有藝術(shù)效果的圖像; 然而, 因?yàn)橥�一幅中�?guó)畫(huà)圖像的不同地方可能采用不同的風(fēng)格進(jìn)行繪制, 其算法無(wú)法區(qū)分這些地方, 所以它在處理中國(guó)繪畫(huà)時(shí), 得到的結(jié)果并不理想. 為了改進(jìn)繪畫(huà)渲染中筆畫(huà)的定位效果, Zhao 等[12]提出一個(gè)筆畫(huà)處理方法, 讓用戶(hù)通過(guò)控制一些直觀的參數(shù)來(lái)簡(jiǎn)單地調(diào)整繪畫(huà)風(fēng)格. 在模擬東方繪畫(huà)方面, 有一些工作模仿中國(guó)山水畫(huà)里的一些特殊的藝術(shù)效果. 如 Way 等[13-14]合成出中國(guó)繪畫(huà)中由皴法繪制的巖石紋理, 以及將中國(guó)傳統(tǒng)山水畫(huà)中 6 種主要的皴法紋理建模并應(yīng)用到地形三維模型上. 方建文等[15]實(shí)現(xiàn)了水墨效果的三維角色模型在水墨效果場(chǎng)景中的實(shí)時(shí)漫游. Yu 等[16]通過(guò)收集若干筆畫(huà)紋理, 合成出類(lèi)似手繪作品中山和霧的典型紋理. 此外, Xu 等[17]利用一種墨跡模型從三維模型中提取分類(lèi)的筆畫(huà), 并在模型表面附上典型的筆畫(huà)紋理 (如勾、皴、染和點(diǎn)). 在文獻(xiàn)[18-19]中, 通過(guò)量化筆畫(huà)的筆法及其形狀和墨色的藝術(shù)特征, 中國(guó)古代書(shū)法、繪畫(huà)作品的書(shū)寫(xiě)與繪畫(huà)過(guò)程被動(dòng)態(tài)再現(xiàn). Xie 等[20]設(shè)計(jì)了一個(gè)基于草繪的交互式系統(tǒng), 通過(guò)筆畫(huà)軌跡自動(dòng)估算方法將真實(shí)的照片轉(zhuǎn)換為日本的墨畫(huà)繪畫(huà). 與本文的研究目的類(lèi)似, Bang 等[21] 依據(jù)傳統(tǒng)的東方繪畫(huà)的技法, 將輸入的照片圖像自動(dòng)生成類(lèi)似東方手繪風(fēng)格的圖像. Dong 等[22]利用紋理映射及紋理合成技術(shù)也實(shí)現(xiàn)了自動(dòng)生成具有中國(guó)水墨風(fēng)格的圖像. 然而, 大多數(shù)已有的關(guān)于模仿東方繪畫(huà)風(fēng)格的模型主要是處理整個(gè)圖像, 而不是構(gòu)成圖像的筆畫(huà), 這樣很難表達(dá)出中國(guó)畫(huà)豐富且多變的藝術(shù)特性.

　　1.3 基于深度網(wǎng)絡(luò)的模型隨著深度學(xué)習(xí)等人工智能前沿技術(shù)的快速發(fā)展, 深度學(xué)習(xí)技術(shù)在繪畫(huà)作品的合成方面取得了很好的效果: 在基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, cnN)的方法中, Gatys 等[23]通過(guò)基于 CNN 的風(fēng)格遷移算法分離并再組合圖像的內(nèi)容與風(fēng)格; Liao 等[24]的圖像風(fēng)格遷移方法通過(guò) CNN 找到圖像之間語(yǔ)義的對(duì)應(yīng)關(guān)系, 從而實(shí)現(xiàn)圖像光照、顏色、紋理和繪畫(huà)風(fēng)格的遷移和藝術(shù)圖像合成. 在基于生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks, GAN)的方法中, 有通過(guò) GAN 實(shí)現(xiàn)紋理合成與風(fēng)格轉(zhuǎn)換[25], 以及利用單一的網(wǎng)絡(luò)生成不同風(fēng)格的圖像[26-27]. 對(duì)于集多種風(fēng)格特點(diǎn)于一幅圖像的中國(guó)繪畫(huà)來(lái)說(shuō), 此類(lèi)模型在區(qū)分風(fēng)格區(qū)域及準(zhǔn)確識(shí)別并提取特征的問(wèn)題上存在一定的局限性.

　　2 本文方法概述

　　文中工具的核心設(shè)計(jì)思想是基于筆畫(huà)的風(fēng)格化方法. 以一條用戶(hù)輸入的線條為例, 圖 1 展示了自動(dòng)地將一幅真實(shí)的花卉照片圖像風(fēng)格化為一幅國(guó)畫(huà)風(fēng)格的繪畫(huà)作品的中間結(jié)果以及最終結(jié)果. 該方法主要由 3 個(gè)部分組成:(1) 用戶(hù)輸入筆畫(huà)的修正. 在用戶(hù)在繪畫(huà)樣板圖像 S I 上勾出風(fēng)格筆畫(huà)及在照片圖像 P I 上勾出目標(biāo)筆畫(huà)后, 分析這些筆畫(huà)附近的圖像特征, 從而根據(jù)用戶(hù)意圖得到作為候選風(fēng)格模板和骨架路徑的準(zhǔn)確的筆畫(huà)輪廓. 值得注意的是, 因?yàn)橹袊?guó)寫(xiě)意繪畫(huà)追求自由并崇尚個(gè)性化的藝術(shù)創(chuàng)作, 所以用戶(hù)輸入的骨架路徑不需要嚴(yán)格地與 P I 上對(duì)象的實(shí)際邊緣一致. (2) 最佳風(fēng)格模板的選擇. 一旦確定風(fēng)格模板的候選筆畫(huà)和目標(biāo)筆畫(huà)的骨架路徑, 將把影響選擇候選模板筆畫(huà)的因素形式化為能量方程, 為骨架路徑選擇最佳的筆畫(huà). (3) 目標(biāo)筆畫(huà)的生成. 確定了風(fēng)格模板和骨架路徑之后, 通過(guò)筆畫(huà)寬度計(jì)算和風(fēng)格化紋理合成, 把風(fēng)格模板上的風(fēng)格特征映射至骨架路徑, 包括筆畫(huà)形狀和墨色.

　　2.1 筆畫(huà)的修正由于眾所周知的“胖手指”問(wèn)題, 觸摸式設(shè)備的輸入呈現(xiàn)準(zhǔn)確性低、誤差大的特征. 為了使本文方法具有魯棒性和可操作性, 選擇此類(lèi)設(shè)備作為實(shí)現(xiàn)用戶(hù)交互的平臺(tái). 給定一個(gè)用戶(hù)筆畫(huà) s (其寬度由用戶(hù)指定的手指寬度決定), 其中軸為 M , 筆畫(huà)輪廓的兩側(cè)分別為 SL 和 S R , 對(duì)于照片 P I 上的 s , 為了保證自由和藝術(shù)創(chuàng)作的特性, 僅通過(guò)它的中軸對(duì)其進(jìn)行修正; 對(duì)于繪畫(huà)樣本 S I 上的 s , 提出“相向搜索”算法來(lái)收緊 s 的兩側(cè)線條, 并準(zhǔn)確地識(shí)別出繪畫(huà)中對(duì)應(yīng)的筆畫(huà)(如圖 2 所示), 它包括 2 個(gè)部分: (1) 假設(shè) M , SL 和 S R 分別被擬合為非均勻有理 B 樣條曲線 M( )t , SL ( )t 及 S R ( )t , 將曲線 M( )t 分為 n 段, 為了覆蓋用戶(hù)輸入的筆畫(huà) s (手指軌跡), 再將一系列以手指寬度為直徑的圓形分布在每條曲線段的端點(diǎn)處. 于是, 筆畫(huà)輪廓的兩側(cè)與全部圓形相切的點(diǎn)將在 SL ( )t 和 S R ( )t 上分割出相同數(shù)目的片段, 且這些切點(diǎn)被看做 SL ( )t 和 S R ( )t 上的關(guān)鍵點(diǎn). (2) 假設(shè)從 SL ( )t 到 S R ( )t 的線條的方向( )t 被定義為正向搜索方向, 若分別沿著 ( )t (紅色箭頭) 和 -( )t (綠色箭頭)計(jì)算每個(gè)像素灰度值的方向?qū)��?shù) D 和 D- , 則在方向?qū)��?shù)為全局最小值的點(diǎn)上重置關(guān)鍵點(diǎn).

　　2.2 最佳風(fēng)格模板的選擇當(dāng)用戶(hù)在繪畫(huà)樣本上涂出不止一個(gè)風(fēng)格筆畫(huà)時(shí), 上述筆畫(huà)修正階段將產(chǎn)生多個(gè)具有準(zhǔn)確輪廓的候選風(fēng)格筆畫(huà). 正如之前所討論的, 若考慮中國(guó)繪畫(huà)中筆畫(huà)形態(tài)多種多樣, 從候選筆畫(huà)中選出最佳的筆畫(huà)作為風(fēng)格模板是困難的. 因此, 本文方法設(shè)計(jì)一個(gè)能量方程來(lái)自動(dòng)地選出最佳筆畫(huà), 使它的骨架形態(tài)與照片上的骨架路徑高度一致.

　　3 實(shí)驗(yàn)結(jié)果與分析

　　在 Windows 平臺(tái)上, 應(yīng)用 Matlab 與 C++編程技術(shù), 本文實(shí)現(xiàn)一個(gè)實(shí)時(shí)的繪畫(huà)工具(圖 6 顯示用戶(hù)手指標(biāo)記出的骨架路徑和風(fēng)格模板), 以操作系統(tǒng)為 Windows 10 的觸屏筆記本電腦(主要配置為第 5 代 Microsoft Surface Pro, Intel® CoreTM i5 處理器和 8 GB 內(nèi)存)作為測(cè)試設(shè)備.

　　本文利用大量包含花卉的照片和繪畫(huà)作品進(jìn)行測(cè)試, 如圖 7 中的荷花小品畫(huà)(即包含單一的繪畫(huà)對(duì)象和小尺寸的畫(huà)布), 輸入不同的花卉照片(第 1 列), 根據(jù)不同的繪畫(huà)風(fēng)格(第 2 列), 本文的工具生成的高質(zhì)量的繪畫(huà)結(jié)果(第 3 列), 其中清晰可見(jiàn)與原畫(huà)風(fēng)格相似的筆畫(huà). 圖 8~圖 10 中的牽牛花、梅花及荷花的大幅繪畫(huà)作品通過(guò)每一個(gè)筆畫(huà)充分展示了原畫(huà)中的風(fēng)格細(xì)節(jié), 體現(xiàn)了用戶(hù)的創(chuàng)作意圖以及國(guó)畫(huà)完整的視覺(jué)效果和審美特征, 其中包含若干裝飾元素, 如葉、莖、花蕊等. 圖 8 和圖 9 的右上角分別為牽牛花和梅花的照片, 左側(cè)為指定經(jīng)典的繪畫(huà)風(fēng)格, 文中工具生成相應(yīng)的繪畫(huà)作品(右下角); 圖 10 和圖 11 的左側(cè)為輸入的繪畫(huà)對(duì)象的照片, 右側(cè)為實(shí)現(xiàn)的工具所生成的完整繪畫(huà)作品, 且圖 10 中的裝飾元素直接取自輸入的繪畫(huà)圖像并按用戶(hù)意圖置于結(jié)果中. 另外, 圖 11 中的蝦為熱門(mén)繪畫(huà)對(duì)象的代表.

　　3.1 裝 飾一幅完整的繪畫(huà)作品除了主要的對(duì)象外, 通常還包含一些裝飾元素. 對(duì)于花卉畫(huà)來(lái)說(shuō), 葉子、花蕊、莖和草常用來(lái)襯托花的美感, 并保證畫(huà)面的完整性. 在多數(shù)繪畫(huà)作品中, 裝飾元素存在 2 種情況: (1) 用細(xì)線條繪制的完整的元素. 本文實(shí)現(xiàn)的工具允許用戶(hù)直接從輸入的繪畫(huà)圖像中選取元素, 并根據(jù)其意圖通過(guò)簡(jiǎn)單的圖像變換(平移、旋轉(zhuǎn)及縮放)操作分布于結(jié)果圖像中. (2) 繪制不完整的元素. 本文方法應(yīng)用 Yu 等[16] 的算法將元素缺失的部分補(bǔ)充完整. 圖 12 顯示了荷葉圖像被補(bǔ)充完整的實(shí)例: 其中, 左側(cè)包含 2 張不完整的荷葉圖, 右側(cè)為依據(jù)已有算法填補(bǔ)出的完整荷葉. 圖 10 第 1 幅繪畫(huà)結(jié)果展示了由該元素裝飾的整幅繪畫(huà)效果.

　　3.2 局限性本文方法可以生成光滑且相對(duì)獨(dú)立的筆畫(huà). 然而, 在某些情況下, 它并不能獲得令人滿(mǎn)意的結(jié)果. 如某些特殊技法產(chǎn)生的繪畫(huà)效果, 像中國(guó)山水畫(huà)中的皴法, 其中包含的筆畫(huà)輪廓很難用樣條曲線表示; 還有一種情況是由潑墨技法或多個(gè)相互重疊的筆畫(huà)所生成的復(fù)雜繪畫(huà)作品, 像西方油畫(huà), 圖 12 裝飾元素的缺失補(bǔ)充的示例因?yàn)轭伾�混�? 其中的多層紋理很難被分離. 而花卉水墨畫(huà)是國(guó)畫(huà)中極其重要的一類(lèi), 也是國(guó)畫(huà)中最具代表性的畫(huà)種, 它涵蓋典型的筆畫(huà)和常用的技法, 故本文方法已解決水墨畫(huà)的多數(shù)情況, 具有通用性.

　　3.3 對(duì)比分析通過(guò)與相關(guān)方法進(jìn)行對(duì)比, 證明了本文方法的有效性. 本文選擇研究動(dòng)機(jī)相似的 3 項(xiàng)研究成果進(jìn)行對(duì)比. (1) 與商業(yè)軟件 Adobe® Photoshop 軟件生成的日本水墨畫(huà)的效果對(duì)比. 如圖 13 所示, 本文的工具所生成的具有中國(guó)繪畫(huà)風(fēng)格的圖像更清晰地展現(xiàn)出水墨畫(huà)局部筆畫(huà)形態(tài)與顏色的風(fēng)格特征. (2) 與 Xie 等[20]的交互式由照片生成日本水墨畫(huà)的方法進(jìn)行對(duì)比. 他們的方法圍繞日本水墨畫(huà)中的一般化的風(fēng)格特點(diǎn), 用 6 種紋理組合結(jié)合用戶(hù)指定色彩對(duì)筆畫(huà)中的繪畫(huà)軌跡進(jìn)行渲染; 而本文方法關(guān)注中國(guó)繪畫(huà)名作中藝術(shù)家的高質(zhì)量風(fēng)格特征, 并依據(jù)筆畫(huà)的形態(tài)合成出具有原畫(huà)中的墨色風(fēng)格的紋理. 如圖 14 所示, 本文方法生成的結(jié)果更具豐富的紋理特征. (3) 與基于 CNN 圖像風(fēng)格遷移的方法[23]進(jìn)行對(duì)比. 此類(lèi)深度學(xué)習(xí)的技術(shù)處理風(fēng)格遷移的問(wèn)題具有一定的優(yōu)勢(shì): 基于“黑盒”的學(xué)習(xí)模式可將圖像的全部特征提取, 比人工提取圖像規(guī)則更高效、準(zhǔn)確; 然而, 它在處理多風(fēng)格混合的圖像(如中國(guó)繪畫(huà)作品)時(shí), 可能存在局限性, 如國(guó)畫(huà)中的背景留白, 多種筆法技巧創(chuàng)作的不同風(fēng)格的筆畫(huà)紋理等. 如圖 15所示, 與圖 7中顯示的本文方法的風(fēng)格化結(jié)果相比, 其結(jié)果未能表現(xiàn)原有作品中的風(fēng)格特征.

　　4 結(jié) 語(yǔ)

　　為了生成具有中國(guó)花卉水墨畫(huà)風(fēng)格的筆畫(huà), 本文提出了一個(gè)低交互要求的繪畫(huà)工具; 它設(shè)計(jì)一種風(fēng)格遷移的方法來(lái)降低用戶(hù)繪畫(huà)操作的復(fù)雜度和精準(zhǔn)度. 利用文中論述的自動(dòng)筆畫(huà)修正、最佳風(fēng)格模板選擇、筆畫(huà)寬度計(jì)算及紋理合成等技術(shù), 可以沿著用戶(hù)輸入的粗略線條生成具有某種繪畫(huà)風(fēng)格的筆畫(huà). 總之, 本文認(rèn)為該方法能幫助繪畫(huà)知識(shí)有限的用戶(hù)創(chuàng)作屬于他們的作品, 同時(shí), 在筆畫(huà)的基礎(chǔ)上實(shí)現(xiàn)對(duì)照片進(jìn)行風(fēng)格化的目的.

　　未來(lái)的工作將探索更多的景物對(duì)象和繪畫(huà)風(fēng)格, 如中國(guó)人物畫(huà)和西方水彩畫(huà), 并把它們整合到現(xiàn)有的工作框架中, 以提高現(xiàn)有方法的通用性. 將深度學(xué)習(xí)技術(shù)與現(xiàn)有的方法相結(jié)合, 探索深度網(wǎng)絡(luò)表征水墨畫(huà)的風(fēng)格的原理以及網(wǎng)絡(luò)學(xué)習(xí)規(guī)則的方法. 本文筆畫(huà)修正技術(shù)可能對(duì)中國(guó)水墨畫(huà)與書(shū)法中交叉重疊筆畫(huà)的拆分有所幫助, 因此, 基于草繪的筆畫(huà)分割將是另一個(gè)值得研究的方向.

　　參考文獻(xiàn)(References):

　　[1] Gooch B, Gooch A. Non-photorealistic rendering[M]. Wellesley: A K Peters Press, 2001

　　[2] Curtis C J, Anderson S E, Seims J E, et al. Computer-generated watercolor[C] //Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM Press, 1997: 421-430

　　《生成中國(guó)花卉水墨畫(huà)的筆畫(huà)風(fēng)格化方法 》來(lái)源：《計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)》，作者：楊麗潔1), 徐添辰2,3)*, 吳恩華2,3,4)