跳到主要內容

現代美術學報 | 40期

關於繪畫衍生層的實踐與省思:像素介面與風格轉移

Experiments and Reflections on Painting's Derivative Layer: Pixel-interface and Style Transfer

  • 文章名稱
  • 作者
    李炳曄
    LI Ping-Yeh

作者簡介

國立臺北教育大學藝術與造形設計學系 助理教授
Assistant Professor, Department of Arts and Design, National Taipei University of Education

一、 引言

繪畫是人類知識與經驗的外在儲存器,從繪畫(圖像技藝)到攝錄科技(類 比記憶),再從攝錄科技到數位影像(演算介面),呈現出人類視覺文化史 中極為有趣的演化,也突顯人類傳遞知識與經驗、保存文化記憶的載體一直 不斷革新與變動的事實(邱誌勇 2020)。近幾年,運用機器學習輔助影像 設計或產生性視覺的系統,也正廣泛被開發與應用,人類藝術史中龐大的古 典繪畫影像也成為機器學習系統的養分,呈現出前所未有的風貌與意涵。這 更讓人對於「繪畫與當代影像介面的關係?」以及「繪畫在影像介面中被轉 變為什麼?」等問題產生好奇。本實踐導向研究以人類之圖像演化過程為出 發點、當下機器學習的風潮為對照、繪畫的演算衍生作為觀眾的經驗現象, 以反思性(Reflective)的書寫,陳述所得到的省思與未來可能性,本研究成 果亦以展覽形式發表 1 。

 

二、繪畫在影像科技中的另類體現

傅拉瑟(Vilém Flusser)曾於著作中提出,在相機作為一種智能工具(Smart tool)被發明後,提升了人類在工具設備(apparatus)上操作的層次:藝術 家從對畫筆的操作,轉向對工具設備的符號之自由遊戲(play)(Flusser 2000, 28–29)。近兩年,繪畫在影像科技中的另類體現也呼應了傅拉瑟的預 測,美術館、博物館透過不同的展示科技呈現出繪畫的獨特面貌,在這些呈 現的背後,即是符號與資料的運算。
 

2019年9月倫敦國家畫廊與倫敦國王學院合作,同時獲得Google藝術與文 化的支持,成立NGX(National Gallery X),透過藝術、科技與工程的跨領 域研究,意圖創造藝術人文與科技間的創新與溝通。NGX的精神為:「於 今日創造明日的博物館」(Creating Tomorrow’s Museum Today)。2020年, 因應新型冠狀肺炎疫情,倫敦國家畫廊史無前例地暫時關閉,為服務在家 防疫的藝文愛好者,NGX推出由Analema Group製作的Kima: Colour in 360 (2020),製作團隊挑選梵谷於1889年所畫的A Wheatfield, with Cypresses (麥田與柏樹),以及莫內於1907年所畫的Water-Lillies, Setting Sun (睡 蓮,夕陽)兩幅倫敦國家畫廊典藏的重要畫作,透過科技融入,將其轉換 為在家就可以體驗的沉浸式虛擬實境空間 2 。NGX共同館長、藝術家Ali Hossaini指出:「我們必須將國家畫廊帶到人們的家中,Analema提供了 畫作之精華、突破了國界的限制。」觀眾在家透過手機、YouTube App和 Google cardboard,就可體驗〈麥田與柏樹〉、〈睡蓮,夕陽〉作為一種沉浸 空間 3 。這個線上的沉浸體驗由抽象聲光所組成,以雙聲道和360度影音讓 觀眾用探索的方式重新感知繪畫,並邀請觀眾挖掘在原作中的色彩關聯。有 趣的是,此沉浸經驗似乎能引導觀眾回歸一種「更原始」的感受,有點像是 閉上眼看到的光、或夢境中的回音,色彩從單一到繽紛、從靜態到動態,與 觀賞繪畫原作的經驗非常不同,幾乎可以說是另一種抽象體驗。

 

於2018年10月,Edmond de Belamy (2018)成為第一幅在佳士得被售出的, 以生成性對抗網絡(Generative adversarial network,GAN)完成的肖像畫, 由巴黎藝術團體Obvious於2018年完成。該作品被印製於畫布上,並隸屬於一系列名為貝拉米家族(La Famille de Belamy)的生成圖像。此演算法以線上藝術百科全書(WikiArt)所彙整的14至19世紀的15,000張肖像進行 訓練,此演算技術可回溯到美國AI藝術家Robbie Barrat之創作。生成對抗 網絡(GAN)由一個生成網絡與一個判別網絡組成,而訓練過程是此兩個 網絡之間的遊戲:生成網路試圖偽造出假的影像,而判別網路則試圖判別影 像是來自真實資料或是偽造的。當判別器發現兩者之間的差異時,生成器調 整其參數以使此差異消失,直到最後,生成器會精確地再現資料分佈,而判 別器持續隨機猜測、無法鑑別真實與模型的不同。這樣的生成性對抗系統, 極適合用於產生「接近真實」的影像,或者至少對人類觀察者而言,有許多 接近真實的特徵。在這個生成系統的訓練過程中,15,000張人類肖像繪畫被 作為「真實資料」,完成之圖像,成為某種趨近於人類肖像畫的形式:在色 調、造型、構圖之模仿下,形成一幅幅半模糊的人類形象。而繪畫在此生成 系統中作為「真實資料」,其所謂的「真實性」僅指涉表象的、以像素色彩 呈現的部分,繪畫原材質的物理屬性(例如:畫布、媒介、肌理)被拋在其 後,而其像素色彩被放在最前端,成為被判斷的依據。 

 

2019年7月起,荷蘭國家博物館(Rijksmuseum) 展開The Operation Night Watch (夜巡修復行動)計畫,館長Taco Dibbits表示,夜巡修復行動的研 究團隊為林布蘭特(Rembrandt Harmenszoon van Rijn)於1642年完成之畫 作The Night Watch拍攝多達 528 次照片,再藉由神經網路把每列 22 張照片 共 24 列圖片進行數位縫合,最終完成了每個像素之間的僅距離 0.02 毫米, 總畫質達448億像素(44,804,687,600像素)的〈夜巡〉數位攝影。這張數 位化的〈夜巡〉,不僅未來將成為後續修復時的重要依據,目前也以原始解 析度呈現於網站 4 ,觀眾以瀏覽器就可以突破時空限制地觀賞此畫,若將畫面放到最大,可飽覽繪畫表面細微地、時間留下的裂紋,幾乎感覺畫作就在 鼻尖,尤其是在畫面邊緣可見畫家留下的筆刷紋路,十分引人入勝,我們看見以影像像素作為呈現的繪畫,已經逼近繪畫原作以色粉混和出的細膩畫素 (pixels),而瀏覽器成為放大鏡(甚至顯微鏡),逼近肉眼直觀繪畫的經驗。 

 

繪畫作為一種歷史悠久的媒介,具備特定的物理屬性,它是一種從基底材、 媒介與色粉逐步堆疊而成的層次,必然具有類似塗層(Coating)的工序, 或是在二度空間中加減、調度與分配的視覺形式,無論是抽象的或是寫實 的。在過去的博物館/美術館體系下,也是依據上述的物理屬性,來發展出 針對繪畫層次、明度、彩度、保存性的展示與收藏系統。例如:最佳觀賞距 離、燈光色溫、溫溼度控制、修復機制…等。然而,從上述三個近期的專案, 呈現出兩種代表性的操作方向:一、透過影像科技精準再現繪畫之物理屬 性與細膩的畫素(Pixels),例如:夜巡修復行動計畫將繪畫帶到超近的距 離―一種修復師的視角、飽覽層次的視角。二、透過影像科技將繪畫轉變為 「另一種層次或形式」的經驗,繪畫原作的物理屬性幾乎全然被拋棄,例如 Kima: Colour in 360、Edmond de Belamy。從以上當前的例子,我們看到繪畫 與影像科技相互依存的關係,也看到更加多元的操作正在進行。 

 

三、繪畫「衍生層」所引發的問題

呼應此繪畫與影像科技相互依存的關係,本研究認為繪畫之「衍生層」 (Derivative layer)具有關鍵性的討論空間,所謂「衍生層」意指繪畫被影像科技所賦予的、無法擺脫的塗層,它與繪畫相互依存,成為當下繪畫被觀賞 的主要途徑。本文以「層」為概念書寫,目的在於延續繪畫以層次堆疊的特 性,也帶有「不同層次之間相互區隔、但相互影響」的本質,換而言之,衍 生層之資料來自於繪畫基底層(基底材、色粉、媒介、肌理、保護層…等) 的掃描與數位化,但衍生層既然不屬於基底層,其呈現與體驗又不必然與基 底層相符合。繪畫「衍生層」的認知引發新的問題,例如:站立在繪畫原作 前觀賞的經驗,與透過影像介面觀賞繪畫的經驗形成強烈斷裂,甚至到了 讓人無法連結彼此的地步(例如:上述的Kima: Colour in 360就是很好的例 子),這也讓繪畫的邊界,也就是「繪畫的衍生層是否屬於繪畫?」的問題, 成為值得討論的焦點。 

 

關於上述「衍生層是否屬於繪畫」的提問,德希達(Jacques Derrida)於 1978年之著作《繪畫中的真理 The Truth in Painting》曾闡述類似的討論:「附 飾理論」(parergon)(Derrida 1987, 37–82),即關於繪畫之「邊框」或「附 屬」的理論。Parergon是希臘語,意指所有附屬於藝術作品,卻又不屬於它 內在形式或意義的東西。例如:繪畫的畫框、雕塑的披布、宮殿的柱廊。附 飾是包圍作品的邊界,它把作品括弧起來,同時扮演「與外界相通」的角色, 使外界的注意力集中在作品身上。然而,正因為附飾與內、外皆相通,德希 達論述了「附飾」的模糊性與矛盾性,並藉此意圖證明康德美學內外二元對 立的根基是有問題的。 

 

德希達之論點為:「附飾(畫框)被召喚、和組裝成為(繪畫的)補充物, 因為在它(畫框)所包圍的事物(繪畫)中,有某種內部不確定性(Internal Indetermination)」(Rodowick 2001, 134)。「畫框從兩個立足點上脫離:在作品的立足點上,畫框是與環境融為一體的;而在環境的立足點上,畫框 又與作品融為一體,畫框往兩個方向消失。」(Bernstein 1992, 169)。換而 言之,畫框既不屬於作品、又不屬於環境。而「一旦此『附飾』的邏輯被理 解時,關於甚麼是屬於作品內部、甚麼是屬於作品外部的認知工作,就變得 不完整了,成為認識論上的不可能性(epistemically impossible)」(Bernstein 1992, 169)。簡而言之,德希達的提問是:為什麼要有附飾呢?如果藝術作 品真是純粹、完整、內在自足的,那為什麼還需要外在的附飾?這個內部不 確定性,成為德希達劃破二元對立的美學基礎的關鍵。透過聚焦於畫框的邏 輯的討論,德希達質疑:藝術具有本質、具有完整性、藝術就是藝術的概念― 也就是康德所建立的美學體系。 

 

延伸上述思維,繪畫被當代影像介面所賦予的「衍生層」,亦可以被視為一 種附飾、畫框―衍生層從繪畫而來卻不屬於繪畫;從繪畫的立足點上,衍 生層與當代的科技環境融為一體;但從環境的立足點上,衍生層又來自於 繪畫作品本身。藝評家Gianni Romano曾描述此繪畫與媒體的不可分割性: 繪畫因媒體的普及、等級制度的喪失,早已造成多面向的變化,包含媒體 介入創作過程(例如:畫家描繪一幅影像)、視覺語言的交互使用(例如: 在媒體中出現的繪畫),創作者可以借助網路上的圖片進行構思、構圖與創 作;觀眾也能隨意放大、平移、觀賞繪畫局部細節,繪畫的成像本身已具備 影像的特質(Romano 2000)。既然繪畫與媒體在當下的操作上已不可分, 那麼,更早期的繪畫影像,會如何交疊新媒體科技的特質呢?在此所謂的新 媒體特質,以Lev Manovich所提出的五個原則:數值化的再現(Numerical Representation)、模組化(Modularity)、自動性(Automation)、可變性(Variability)、轉碼化(Transcoding)(Manovich 2001, 27:45)作為主要參照。 

 

 

 

綜合上述,本研究以「衍生層」作為繪畫視覺、新媒體介面交互作用的研究 對象,以數位科技轉化繪畫基底層,形構生成重新配置後的繪畫影像作為命 題,意圖探討繪畫影像於新媒體介面中多樣化的型態。因應此關於多樣性的 探討,本研究意圖「以描述性、但又富有啟發性的方式傳達思想,而非訴諸 於適合的理論標準。」(Bowers 2012, 68),因此援引「透過設計的研究」 (Research through design)之邏輯,將設計實踐視為本研究的重要部分,此 研究方法將可能性轉為真實、可觀察(observable)的對象,並藉此在理論與 實體間建立橋樑(Giaccardi andStappers 2020)。研究者在構思、概念發展、 實體化原型的過程中,也面臨目標與實證之間的對抗,以及理論思想與實際 物理構造的衝突(Giaccardi andStappers 2020)。下一段中,本研究將描寫此 設計實踐的過程與洞察,意圖通過系統性的實踐(Candy 2006)、公開發表 與呈現作品以達到客觀及原創性的理解(Scrivener 2002),以及在本文中以 註釋作品(Annotated Portfolio)(Bowers 2012)的方式,輔助衍生層所引發 的相關論述。 

 

四、新媒體實驗:探索衍生層的多種形式

針對衍生層的假設,本研究進行四種設計實踐:(一) 靜態像素介面、(二)
 動態像素介面、(三) 立體像素介面、(四) 繪畫風格轉移,意圖透過實驗、 紀錄與洞察,探討繪畫影像與Manovich所論述的新媒體特質之交互作用:

 

(一) 靜態像素介面 靜態像素介面的實驗目標,在於理解當繪畫轉為像素資料後,會如何對應 Manovich所探討之自動性(Automation)與可變性(Variability)?在此實驗 中,我們擷取繪畫影像的片斷,讓它在影像介面中轉換成為另一種形式與經 驗,繪畫以光、動態或立體造型的形式呈現,在電腦記憶體中被重新編組、 分散為碎片,並產生隨機的拼湊與位移的視覺感,同時也加入時間性的蛻 變。在取材上,為了達到更普遍的影像辨識度,本系列以較易辨識的古典肖 像名作進行多種實驗。以下就其中一件作品:〈吞噬者〉(2020)的開發流 程輔助說明。 


 1. 從繪畫影像到像素:Processing的圖像處理與像素分析 

〈農神吞噬其子〉(Saturn Devouring His Son, 1819-1823)為西班牙浪漫主 義派畫家法蘭西斯科.哥雅(Francisco Goya 1746 -1828)之畫作,描繪羅馬 神話中的農神Saturn為了防止兒子們奪權,而將他們全部吞噬。此畫隱喻 了世代間青年與老年之間的衝突、時間作為一種吞噬萬物的存在,也反映了 當時候西班牙立憲革命(1820-1823)青年人的殞落與耗損,是蘊意豐富的 繪畫作品。而2010年後,本作品更成為網路迷因(Internet Meme)圖像, 於社群媒體間更加廣泛流傳,農神Saturn被用來指涉任何具破壞力的事件 或物件 5 。取其辨識度最高的局部,本研究擷取Saturn的臉龐作為參照, 並將其解析度調降,以符合之後的LED陣列介面需求(圖1、圖2)。透過 Processing語法,我們也同時將參照的像素色彩,依序儲存成為Arduino快閃 記憶體(Flash Memory)可以讀取的PROGMEM序列(Array)格式 4 。

 

2. 從像素到介面:RGB LED陣列介面設計 

為了構造出實體化的原型,本研究使用Arduino Mega 2560晶片結合LED陣 列光板進行設計。在操作時主要需排除Arduino晶片之記憶體十分有限的問 題 7 ,以及多片光板所需的穩定供電。以PROGMEM序列(Array)格式成 功在晶片中儲存上千筆像素資料、並完成初步測試後,以鋁擠條、角鐵、電 源供應器,組裝靜態像素介面(如圖3、圖4),在此構造中,每一顆RGB LED都具有色光資料的特性:皆由紅(R)、綠(G)、藍(B)三個色光 資料所組成,當繪畫影像在程式中被重新排列、位移、隨機、代換、錯置的 時候,我們可以更直觀地看到操作的結果。

 

3. 從介面到演算(衍生):多種程式實驗

靜態像素介面實體完成後,本研究開始一系列的程式實驗,意圖達到繪畫影 像在記憶體中被重新編組、被裁切為更小的片斷、位移、加入時間性蛻變等狀態,以下以表格列舉〈吞噬者〉(2019)之程式實驗與結果: 

 

除了上述的程式實驗之外,本研究也依據繪畫原作之構圖,拼湊出不規則的 形狀;也透過在程式設計中結合上述多個演算法,產生更自主性與隨機性的 演算。操作者可以調整顯示畫作的尺幅,來解構關於繪畫觀賞距離的慣性, 例如:將像素極端放大的操作,可以將原作轉化為更幾何、極簡、動態的視 覺經驗。本研究以此為基礎開發多件作品,作為繪畫影像於靜態像素介面中 操作自由度的佐證(圖16)。 

 

透過實際展出,本研究亦發現在像素介面的運算與呈現過程中,顏色的排 序、位移、亮度漸變,都會導致整體消耗電流量的起伏。若運算後的像素介 面增加了藍色色光的面積,就會增大電流的需求,而此電流量的起伏,會影 響LED陣列的穩定性,倒致LED明暗度有些微的不均勻,或是部分LED 偏黃或偏暗。當電流量過大、過熱時,電源供應器也會自動啟動散熱模式, 讓風扇開始運轉,發出如同呼吸般的聲響。這些行為都是由影像介面自動產生,卻直接影響觀看時的體驗。 

 

4. 洞察:繪畫影像的可變性與自動性 

本系列靜態像素介面的實踐,將繪畫影像轉化為可以操作的像素資料,將之 隨機排列、位移、代換、錯置、漸變,繪畫原作的構圖、配色、造型皆在影 像介面中被重新調度成為一種新的狀態,也產生新的經驗。在本研究中,尤 其以像素分類(SortArray)的操作(參考圖10、圖11)差異性最大,當我 們把R、G、B資料都重新排列組合時(例如:將所有R的數據從小排到大、 但將G的數據從大排到小),所形成的畫面會轉為抽象的色塊,和原作的 視覺經驗相去最遠。由此可見,繪畫影像在此像素介面中具備的高度的「可 變性」與「自動性」,繪畫影像可以在編碼中轉變為其他的影像、連結到更 具差異性的經驗。在此所述之自動性(automation),與過去超現實主義的 自動性繪畫(automatic drawing)截然不同,較接近Manovich所言之:「因 為軟體與演算法的發展,人類的意圖,可以至少部分地從藝術表現過程中消 除」(Manovich 2001, 27:32)。而影像介面運作時的變化與聲響,也直接轉 變觀看的經驗。 

 

(二) 動態像素介面 

動態像素介面實驗接續了上述靜態像素介面的開發 8 ,但加入了馬達滑軌來 操作LED陣列光板的動態位移 9 ,本系列實驗意圖打破繪畫影像在物理世 界中的靜止狀態,使之轉變為動態的視覺經驗,以下分「單軌平移顯像」與 「雙軌交錯顯像」說明:
 

1. 單軌平移顯像 

〈殘像:地獄裡的男孩Afterimage: The Boy in Hell〉(2020)(圖17)以耶 羅尼米斯·波希(Hieronymus Bosch)的〈塵世樂園三聯屏〉(The Garden of Earthly Delights)(1495-1505)的右幅畫作局部作為資料,擷取畫作正央位 置左手捧著金碗的男孩圖像。波希塵世樂園三聯屏被認為是象徵意義複雜的 畫作,至今之解讀依然廣泛、存在分歧,史學家雖普遍認為波希這三幅畫傳 達在墮落之前,世界之善與惡沒有明顯的界線,而人類的純真,沒有意識到 後果的狀態。但同時,波希之繪畫視覺語法的矛盾性甚至超過內容的謎團 (Belting 2005, 57),右幅畫作描繪的是「最後的審判」,也就是當人間成 為煉獄時的圖像,由眾多的人、天使與魔鬼所組成。本研究挑選此幅畫作, 除了其在繪畫史中的高辨識度,也援引此圖象的謎團與不確定性。本作品運 行時,固定在馬達滑軌上的LED陣列光板會逐步移動與顯示,像是掃描ㄧ 般,逐步掃描出此男孩的姿態,換而言之,以色光呈現出的畫作不動,但螢 幕是運動的。因為呈現的是片段的畫面,觀眾通常需要一段時間才能辨認出 全貌,以下透過長時間曝光攝影佐證(圖18),更容易看出繪畫原作中的 男孩形體。 

 

2.  雙軌交錯顯像 

為了探索完整全幅的畫作呈現,本系列實驗援引辨識度較高的風景畫圖像。 〈殘像:山景Afterimage: Mountainscape〉(2020)(圖19)、〈殘像:海 景Afterimage: Oceanscape〉(2020)(圖21)各以兩組馬達滑軌組裝而成, 分別以葛飾北齋之〈凱風快晴〉(1830-1832)(圖20)、〈神奈川冲浪裏〉 (1829-1833) (圖22)之全圖作為資料,此兩幅浮世繪版畫皆以自然景象為題材,都描繪了日本的神聖象徵:富士山。此兩件作品皆各有兩片8×56 像素的LED陣列光板,透過程式控制讓兩片LED陣列在保持一段距離的狀 態下平移、顯現畫作,在移動中自然產生會合、交錯、遠離等效果,觀眾在 兩個不同位置與方向的圖像片段中,逐步拼湊出整體畫面來,伴隨著滑軌與 馬達運作的聲浪,整體視覺經驗更加抽象。

 

 

3. 洞察:視覺記憶式的片斷顯像與時間性 

在動態像素介面系列實驗中,LED陣列光板如同動態掃描般,逐步顯現出 不同區塊的畫面來,而觀者也需要一段時間的觀察與記憶,才能拼湊出畫作 的全貌。肖像繪畫/風景木版畫以視覺記憶(Visual Memory)的形式顯像, 原作較為靜態、同時間呈現的實體影像經驗,被轉化為需要透過視覺記憶拼 湊的圖像索引,涉及觀者大腦感知處理與神經元再現影像的轉碼、儲存與檢 索 10 。繪畫在此狀態中,具備了「時間性媒體」(Time-based media)的特質― 在時間維度中逐漸顯像與變換,繪畫圖像在每一個時間點,都僅以片斷的狀 態呈現,並且在幾秒鐘後就隨著陣列光板的移動而消失。觀眾唯有在時間的 累加中,在大腦中還原其原貌。這一系列動態像素介面的操作,反映了繪畫 圖像在當下各種快速的影像介面中被片斷呈現的狀態,尤其是行動裝置因受 限於畫面尺寸,而導致的片斷影像位移與擷取。 

 

(三) 立體像素介面 

 

1. 立體化的繪畫圖像 

立體像素介面是靜態像素介面的延續,但意圖以LED陣列光板組合為立 體造形。取材上,為了探索平面畫作與立體造型在形式上的呼應,本研究以英國畫家法蘭西斯·培根(Francis Bacon)的〈以受難為題的三張習作〉 (Three Studies for Figures at the Base of a Crucifixion, 1944)的全圖作為資料(圖 24),原畫的背景是以焦橙色為主,以三聯畫的形式構成,每一幅畫中分別 有一個扭曲的擬人化生物。在本實驗中刻意將三幅圖像資料,分別給予一個 立體方塊造型,再將三個方塊組構在一起。透過程式設計將所有的像素逐格位移,讓培根畫作中的擬人化生物在立體造型上如同動畫般逐步流動、延伸 到另一個方向的面板上,影響不同方向的光色與圖形,原本平面與靜態的視覺經驗,轉換為一種流動性、空間性的經驗(圖23)。

 

2. 洞察:透過轉碼化達到形式變換 

呼應Manovich所描述的,新媒體的「轉碼化」(Transcoding) (Manovich 2001, 27:45)特性:「過去的媒體與文化將透過電腦的邏輯,被重新形塑與 轉變…,而文化的分類、概念、意義和語言,也將從新的電腦認識論衍生出 來」(Manovich 2001, 27:47)。Manovich以此說明數位科技在轉譯舊有媒 體或物件的同時,也在重新形塑它們。在本實踐中,法蘭西斯·培根的平面 繪畫圖像透過轉碼化,轉為立體造型的色光顯現,並具有動態流動的動畫特質。繪畫影像由靜態轉變為動態的視覺經驗,也由平面性轉變為空間性,化為向不同方向發散的色光。畫家培根透過模糊化的形體、具速度感的油彩筆觸、扭曲的造型所描繪出的莫名生物,在影像介面中變換為另一種游移中的 形體。透過本實踐,我們也理解繪畫經過轉碼化後具備的無限可能―不僅可以轉換為其他形式的視覺經驗,也可以轉化為聽覺、觸覺經驗。 

 

(四) 繪畫風格轉移

 

上述三個系列的衍生層實驗,是操作古典繪畫/版畫影像之像素,實驗其可 變性、自動性、時間性、轉碼化等新媒體特質。在接下來的繪畫「風格轉移」 (StyleTransfer)系列實驗中,本研究意圖跳脫像素的操作,而聚焦於繪畫風 格的衍生與交疊。採用更新型態的機器學習(Machine Learning)技術,探 索當繪畫影像被轉換為機器學習所擬仿的「風格模型」(Style Model)後, 所能衍生出的影像形式。 

 

在取材上,延續作為研究實驗的需求,挑選風格形式較為強烈的畫作,因 此除了以辨識度較高的繪畫名作例如:蒙娜麗莎、傑克遜·波洛克(Jackson Pollock)之滴流繪畫以外,也結合作者於2003年繪製之油畫〈城市角落 Corner〉(圖25) 進行風格上的橋接實驗。〈城市角落 Corner〉原作取景 於台北市師大路的人行道地磚(現已拆除翻新),運用Photoshop合成多張 地磚與影子的照片素材來構圖,以100F油畫畫布繪製完成,當時亦在實踐 影像與繪畫之間的交互狀態。本研究意圖理解當時以油畫基底材、筆觸、構 圖、色調安排所堆積出的「繪畫風格」可以如何衍生到其他更早期的繪畫名 作影像上,以及在這個實踐中能夠產生的思考。

 

1.  ML5.js風格轉移操作 

 

在操作上,本研究採用p5.js和ml5.js進行風格轉移(styleTransfer) 11 ,ml5. js的風格轉移技術使用Logan Engstrom創建的Fast style transfer implementation in tensorflow 12 、以及Reiichiro Nakano 創建的Fast style transfer in deeplearn.js 13 作為參照,並提供完整的線上說明 14 。本研究運用雲端計算平台Spell 15 訓練畫作〈城市角落 Corner〉的風格模型後,將模型下載、轉換,再透過 p5.js將〈城市角落 Corner〉的風格轉移到其他繪畫影像上 (如圖26至圖 29)。

 

從李奧納多 · 達文西的〈蒙娜麗莎〉與〈城市角落 Corner〉的風格混合圖像(圖 27),可見兩張繪畫圖像在風格屬性上如:色相、造型、以及對比度上的混 合。部分造型有較大的改變,如遠山的造型、頭髮的造型、臉頰的豐潤程 度…等,〈蒙娜麗莎〉原有的空氣遠近畫法所導致的細膩空間感,也被較為 扁平的、類似結構主義的半抽象繪畫形式所取代,然而,因〈蒙娜麗莎〉的 高辨識度,觀者依舊很容易連結到原作圖像。而在傑克遜·波洛克的〈Autumn Rhythm〉與〈城市角落 Corner〉的風格混合圖像(圖29)中,可見因波洛 克原作的滴流技法之複雜性,讓影像轉變為更繁複、更無法預期的狀態―畫 面中出現許多深色的不規則色塊,以及佈滿粗黑的網狀線條,整體的色相轉 變為紫紅色,畫面中間增加了局部的亮黃色、亮橘色,不僅提高了原作的對 比度,也形成新的視覺焦點(於畫面中間上方),幾乎轉換為另一張繪畫影 像,讓觀者較不容易連結到原作繪畫。

 

2. 洞察:繪畫風格屬性的模組化

 

回歸繪畫與新媒體科技形式結合所產生的可能性,從此實驗可見,當繪畫 被掃描為影像之後,其風格屬性,也就是畫家所鋪陳之色相、色階、造型、 對比、結構,皆具備延伸的可能。它們可以與另外一個影像結合,成為不同風格之間的組合,它們也可能在風格轉移的過程中被削弱或彌平,如同〈蒙 娜麗莎〉原作細膩的空間氛圍,就容易被風格較為強烈的它者所取代。在當 下的機器學習操作中,也可見原本屬於特定藝術史時期的風格,在當代影像 中轉化為另一種缺乏深度的、更扁平的形式,原本來自於思維、辯證、行動 的繪畫風格形式,已轉變為更容易操作與套弄的視覺模型。這樣的狀態符合 Manovich所談的新媒體的「模組化」(Modularity)特性:「像素、圖像、 文本、聲音、架構、代碼等獨立元素,可以被組合在一起成為一個新的媒體 物件。這些元素可以被單獨地修改,並在其他作品中重複應用。」(Manovich 2001, 27:30)。從本實驗得知,當繪畫屬性被「模組化」之後,繪畫原作的 風格就不再屬於它自身,而可以在其他影像中出現,也可以說,此風格就不 再是風格。 

 

五、省思 

 

從上述關於繪畫衍生層的多種實踐,本研究歸納出以下三點省思:(一)自 動性的附飾、(二)繪畫與影像的互為文本性、(三)繪畫風格的不可能性。

 

(一) 自動性的附飾 

在德希達看來,整體籠罩在形上學之下的藝術哲學,在本質上就是一種以內 外對立為基礎的話語:為了思考藝術,人們認證了一系列的對立(意義/形 式、內在/外在、內容/容器、所指/能指、表征物/表征者…等),正是 這些對立建構了對藝術作品的傳統解讀,鑑賞者也習慣於區分作品內在的恆定不變的部分,和各種外在的可變條件。德希達因此以附飾的邏輯,來印證 他所提出之思想邊緣之不可能性,也提出藝術界定之不可能性。從本研究可 知,當代影像介面的自主運算能力,讓繪畫的「衍生層」作為一種從繪畫 而來卻又不屬於繪畫的「附飾」,具備強烈的可變性與自動性。也就是說, 當繪畫被數位化掃描成為影像後,不僅脫離了繪畫自身,也隨時在變動與衍 生,甚至產生與繪畫原作相去甚遠的經驗。當代影像介面的使用與操作,也 將不斷挑戰藝術界限的問題,例如:當古典繪畫作品被掃描數位化、編碼化 後,是代表著靈光的消失嗎?還是能因此產生更多延伸性、藝術性的可能? 

 

(二) 繪畫與影像的互為文本性(Intertextuality) 

 

如羅蘭·巴特(Roland Barthes)於〈作者已死〉(1967)一書中所提出的, 文本的意義不僅存在於文本之中,而是由讀者在閱讀的過程中產生;文本的 意義也不僅與文本自身有關,還包含了當文本被閱讀時被調用的複雜文本 網絡。Graham Allen也描述:「當作者撰寫文本的時候,就處在一種閱讀與 重寫的過程中,意義不是來自於作者,而是來自於互為文本(Intertextual) 的語言」。(Allen 2000, 74)。巴特曾將文本比擬為樂譜(musical score), 藉此說明文本需要被以「實踐合作」(practical collaboration)的方式被閱 讀―表演者(performer)是一個積極主動的角色,不僅是樂譜的詮釋者 (interpreter),也是樂譜的共同作者(co-author) (Barthes 1977, 163)。 若不這樣做,如巴特所言,我們將讓文本掉入一種「降級」(reduction)的 狀態,也就是文學、圖像的閱讀僅淪為消費(consumption)文化下的產物, 也淪為特定品味文化下的附屬(Barthes 1977, 161)。在當代新媒體影像的 種種技術與操作下,我們看到新媒體科技重新構造出觀眾較不熟悉的繪畫觀賞方式,包含:像素的極端放大、色光在空間中的延伸、掃描式的片斷呈現、 透過視覺記憶來組構影像、轉化為VR虛擬實境體驗、也連結了繪畫的影像 與媒體的時間性。這些操作如巴特所言,可視為一種閱讀與重寫(re-write) 的操作―透過數位化與編碼化,探索繪畫影像作為一種文本在更廣泛的影像 文本中的蹤跡,也探索在不同的影像介面中能提呈的視覺屬性與閱讀經驗, 而透過程式設計所能導致的閱讀與重寫,在當代影像介面中扮演重要的途徑。 

 

(三) 繪畫風格的不可能性 

本研究在繪畫風格轉移的實驗中,印證不同時期之繪畫風格可以透過機器學 習來模仿並轉移到其他的影像之上。然而,當任何繪畫之屬性可以被「模組 化」的同時,繪畫原作的風格就不再屬於它自身,而可以在其他影像中出現 或混雜,也就是「風格不再是風格」。而在像素介面的實驗中,我們亦發現 繪畫之衍生層具有自動性與可變性,與原作畫家所欲表達的視覺造型與風格 可以全然不同。在此狀態下,本研究呈現出當下繪畫創作者之挑戰―當繪畫 創作之素材大多是數位影像、而繪畫作品又需在數位影像介面中呈現時,繪 畫風格的追尋如何成為可能? 

 

六、結語 

 

正如同人類個體在離世後,以在影音設備中的影像、聲音的形式繼續存在, 這些物質文本就如同生與死的臨界點,模糊了真實與虛幻、生命與死亡的狀態。繪畫作為一種層層堆疊的有機物質,其生命亦是如此,繪畫原作被創造 後,經過時間的洪流將逐漸蛻變與凋零。在這樣的狀態下,透過數位掃描、 拍攝所產生的繪畫「衍生層」,成為在繪畫原作凋零喪失之前,保留繪畫的 某種狀態的方法。然而,延續德希達對於附飾的思考,衍生層也引發了新的 不確定性與矛盾性,因為衍生層雖從繪畫原作而來,但並不全然屬於繪畫原 作。繪畫影像被觀賞的經驗,也可能與繪畫原作相去甚遠,無論是從靜態的 視覺轉為動態的影像;或是從極端細膩由色粉組構的畫素(pixels),被轉 為能在立體空間中延伸的色光。 

 

如同德希達透過附飾的思考所論及的,藝術邊界的不可能界定,也就是任 何藝術皆是也不是藝術。我們也應用更動態的思維來看待繪畫本身―過程 哲學(Process Philosophy)視變動(Change)為本體論的基石(Whitehead 2010),認為存在(Being)是動態而非靜態的,關於繪畫衍生層的實踐, 引導我們以此視角重新看待繪畫之本體,當影像介面成為繪畫的主要示現途 徑,衍生層是我們重回本體論(Ontological)的層次上討論繪畫的論述空間, 讓繪畫重新回歸到更不確定性、更模糊的狀態。這樣的鬆動,是形而上美學 二元對立邏輯的解構、是繪畫媒材物理屬性的解構、是藝術史圖像學原則的 解構,也是新媒體影像介面之「新」的解構,在未來,關於繪畫衍生層的操 作與應用將有廣泛且關鍵的研究空間。

註釋

 1  本研究成果以《繪畫之衍生層》(Painting's Layer of Derivative/Algorithm)為個展主題, 於2020年6月24日至9月25日期間,於國防大學國防美術館展出,特此致謝館方之邀請。

 2  參見:https://www.nationalgallery.org.uk/ whats-on/analema-at-ngx

 3  KIMA: Colour in 360: Van Gogh體驗網 址:https://youtu.be/ai6cf7MzrmM。KIMA: Colour in 360: Monet體驗網址: https:// youtu.be/6EAgalhqOpw 

 4  The Operation Night Watch (夜巡修復行動)網址: http://hyper-resolution.org/view. html?i=Rijksmuseum/SK-C-5/SK-C-5_VIS_20um_2019-12-21

 5  參考Know Your Meme網站:https:// knowyourmeme.com/memes/saturn-devouringhis-son 

6  參考Arduino官網說明:https://www. arduino.cc/reference/en/language/variables/ utilities/progmem/ PROGMEM序列(Array)格式如下: const PROGMEM byte R[ ] = {20,45,17,0,250,100,…..}  // 延續上千筆資料 const PROGMEM byte G[ ] = {10,3,45,17,0,250,100,…..}  // 延續上千筆資 料 const PROGMEM byte B[ ] = {100,46,80,20,45,17,0,…..}  // 延續上千筆資 料 將此PROGMEM序列(Array)在Processing 輸出儲存為txt檔

7  在寫入上列像素資料時需運用pgmspace. h函式庫(Library)才能把所有色彩資 料以byte格式儲存進快閃記憶體(Flash Memory),若未使用pgmspace.h,則很 容易造成Arduino的靜態隨機存取記憶體 (SRAM/Static random access memory)存滿 而無法運行。

8  開發初期同樣需把繪畫之像素資料儲存 為快閃記憶體(Flash Memory)可讀取的 PROGMEM序列格式,再以Arduino 晶片 與程式控制這個局部畫面的再現。 9  透過程式,我們控制繪畫像素在RGB LED 陣列光板中依序出現,來形成畫面位移的 錯覺,例如:將整個畫面逐步朝上位移, 到達頂端後朝下位移,到達底端後又朝上 位移,如此不斷循環。接著透過步進馬達 滑軌的操作,讓步進馬達轉動的步數與方 向,對應上述RGB LED陣列的位移速度與 方向,就可以形成如同「掃描出繪畫影像」 的動態效果。

10  參考: https://en.wikipedia.org/wiki/Visual_ memory#cite_note-M1-1 

11  2018年,ml5.js以「網路友善的機器學習」(Friendly Machine Learning for the Web)之精神而誕生,這個函式庫(Library) 提供了用瀏覽器來執行機器學習的算法 (Algorithms)和模型(Model),構建在 TensorFlow.js之上,延續Processing和p5.js 的開源精神,可說是藝術家運用機器學習 進行創作的首選。

12  參見github資料庫:https://github.com/ lengstrom/fast-style-transfer

13  參見github資料庫:https://github.com/ reiinakano/fast-style-transfer-deeplearnjs

14  參見說明:https://ml5js.org/reference/apiStyleTransfer/ 15  pell網站:https://spell.ml/ 

 

 

 

 

引用書目

Allen, Graham. 2000. Intertextuality. Lodon: Routledge.

Barthes, Roland. 1977. Image Music Text. London: Fontana. https://grrrr.org/data/edu/20110509-cascone/Barthes-image_ music_text.pdf.

Belting, Hans. 2005. Garden of Earthly Delights.

Bernstein, J. M. 1992. The Fate of Art: Aesthetic Alienation from Kant to Derrida and Adorno. Penn State University Pres. https://www.amazon.com/Fate-Art-Alienation-Literature-Philosophy/dp/0271008393.

Bowers, John. 2012. “The Logic of Annotated Portfolios : Communicating the Value of ‘ Research Through Design.” In Proceedings of DIS2012, 68–77. https://doi.org/10.1145/2317956.2317968.

Candy, Linda. 2006. “Practice Based Research: A Guide.” University of Technology, Sydney. http://www. creativityandcognition.com/resources/PBR Guide-1.1-2006.pdf.

Derrida, Jacques. 1987. The Truth in Painting. Edited by Geoff  Bennington and IanMcLeod. Chicago: University of Chicago Press. Flusser, Vilém. 2000. Towards a Philosophy of Photography. Gottinggen, Germany: Reaktion Books. http:// imagineallthepeople.info/Flusser_TowardsAPhilosophyofPhotography.pdf.

Foucault, Michel. 1983. This Is Not a Pipe. University of California press.

Giaccardi, Elsa, andPieterStappers. 2020. “Research through Design.” Interaction Design Foundation. 2020. https://www. interaction-design.org/literature/book/the-encyclopedia-of-human-computer-interaction-2nd-ed/researchthrough-design.

Manovich, Lev. 2001. The Language of New Media. Edited by The MitPress. Screen. Vol. 27. Leonardo. MIT Press. https://doi.org/10.1386/nl.5.1.25/1.

Miller, Rons. 2007. Digital Art: Painting with Pixels. Rodowick, David. 2001. Reading the Figural, Or, Philosophy After the New Media. Duke University Press.

Romano, Gianni. 2000. “Painting in the Internet Era.” In Different Perspective in Painting, 7–10.

Scrivener, Stephen. 2002. “The Art Object Does Not Embody a Form of Knowledge.” Working Papers in Art and Design. Whitehead, Alfred North. 2010. Process and Reality. 

邱誌勇. 2020. “演算法轉向下的美學運算:當代數位影像的視覺表象與文化本體.”台灣數位藝術資料庫. https://www.digiarts.org.tw/DigiArts/DataBasePage/4_163003644007000/Chi?fbclid=IwAR2ygtRvDQFiMP OWQ0n5eq92sBhSVxO4FlA-ULllwHJ0lBQVEWKOwGYovyw.

 

更新日期:2023-06-01 16:21