廢文機器vs. 改卷機器:作文評鑑的科技戰線

友善列印版本

很多發明看來惡搞,實際上很偉大。例如自拍神器,當初被列入無聊發明圖鑑,誰想到在人人手上有照相機的時代,解救了請路人拍照的社交焦慮。可是,它還是及不上最近讓我驚奇萬分的廢文產生器──BABEL (Basic Automatic Bull Shit Essay Language)Generator。

廢文產生器的優秀,不像自拍神器要空等20年才看到功用,只要鍵入三個英文關鍵詞,就可以產生一篇文法全對,充滿複雜句型,內容卻狗屁不通的英文文章。

其中有我輸入「老婆」「貓」「食物」三個字的結果,真的廢到難以言喻。

更重要的是,廢文生產器的誕生,不是無心插柳,它從一開始就肩負認真的任務。

發明者 Les Perelman是從麻省理工學院退休的資深作文教師,與在美國販售標準測驗的大集團(老牌如經營SAT GRE的ETS, 加上近年的四大公司Harcourt Education,CTB McGraw-Hill,Riverside Publishing,Pearson等)抗爭多年。他一直不滿SAT 與GRE測驗中的作文評鑑標準僵化,盲目追求形式主義,例如長句、難字等。Perelman認為,按此標準,美國經典的文章,如林肯的蓋茲堡演說,都可以因為文句長短等形式,而被評為劣等。慘況就如陳潔儀在中國節目我是歌手出局一樣。

近年,美國教改(從布希的No Child Left Behind 到歐巴馬的Race to the Top)導致各種測驗次數爆增,標準測驗業界看到商機,蠢蠢欲動,想將實驗已久,卻仍充滿爭議的電腦作文評鑑(Automated Essay Scoring)應用至各重要學力測驗上。Perelman有鑑於此,在2014年與MIT的研究生推出了廢文機器,以嘲諷電腦評鑑的致命漏洞──只看應用文法的複雜,以及艱澀關鍵字的頻率,無法判斷論點邏輯,引用事實的真確與否。在ETS出品,讓SAT與GRE考生付費使用的練習軟體e-rater中,廢文機器常常拿到滿分6分。據報導,一開始ETS還裝一下雍容大度,後來被Perelman再三打臉,惱羞成怒,拒絕再讓Perelman 登入他們的評鑑程式云云。

Perelman似乎已成為標準測驗產學業界的公敵。電腦作文評量的領導人物Mark D. Shermis如此說:「我永遠不會看Perelman的文章。」Shermis主理多項研究計畫,更在國家科學基金的資助下,主辦大型作文評量軟體的比賽。

Perelman惹人嫌,不在於他說話比較酸,比較有梗,會搞出廢文機器這種噱頭,而是因為他觸碰到教育科技爭議的本質:這不是人類與機器之間的末日戰爭,而是獨佔與公開文化資本的鬥爭。

看到電腦評文,人文學徒(尤其是華人文化界人士們)往往膝反射地高喊人文精神將被機器抹煞。他們所謂人文,往往流於神秘主義:高談個性,創意,與品味,但卻從不會具體地告訴「為什麼這樣的文章好」,「如何著手寫文章」。彷彿窗明几淨,焚香抄經,或是先把古文辭類纂讀一遍,就可以自動寫出好文章。當然文學的創意與雄渾,多有不可複製的個人特質,也很可能有不可知的部分(看一些作家晚年把作品越改越爛,我們真的會覺得他青壯年時是鬼神附身,所謂下筆有神是也)。說實在,現在的文學美學大師們,說話比明清古文評點更曖昧不清,似有若無。就算絕妙文章不能人人學會,箇中佳處,總可以越說越清楚吧,但文化人們卻少有這樣做。

相反,廢文機器公開說明廢文的若干原理,並產生大量實用的例子。「廢文」再不是一個空洞的罪名,而是可討論掌握的準則。你絕對可以不同意他的標準,也可以就那些例子批評,甚至反駁 Perelman膚淺,只看到美式英文寫作所講求清楚與效率。但舉出例子,總可以避免討論落空,變成高來高去的禪機。

廢文機器確實能引起有意義的公共討論。科技盲歷史學生如我,由相關新聞按圖索驥,就能稍為跟進一下電腦作文評鑑的原理與實作。美國市面評鑑軟體日漸增加,五花八門,但其原理不外乎就是學習人類改卷,差異只在需要人手改卷的樣本不一,而衡量其準度的標準,也是與人類評卷作比較而來。改卷機器沒有想像中那麼不像人,它們把很多考官評閱大量試卷時的折衷方法(或是惰性)學習起來:略讀時只看造句修辭的格式,不細究論點邏輯;反射式的被引經據典說服,不認真翻原典(就如蘇軾杜撰典故唬到歐陽修的故事)。換言之,機器不見得絕對比人類好或壞,因為它們也是人類社會的一部分。至少,電腦評卷不是一個外來機關傀儡之神,帶著一套超越人類知識的客觀性統治人類。爭奪權力的,仍是人類自身。

人文vs.機器的修辭,其實更掩飾了「焚香式神秘高雅品味」與科技霸權的同流合污關係。這兩種論述看似互相對立,其實同樣本諸一種「門外漢怎會懂」的邏輯。更要者,無行文人與科技鉅子在社會上各有地盤,河水不犯井水。對他們有威脅的,只有根據公開資訊,以合理地可讀可懂的語言進行的公共討論。偶而打情罵俏,我笑罵一下你不識人文,你虧一下我不識科技,又何傷大雅?不然,科技大老們怎會有那個閒情逸致,贊助種種後庭花式的藝文活動,吟風弄月一番?

弔詭的是,有時候片面的以科技進行文化普及,反而會先消滅品味霸權的潛在競爭者,變相助長壟斷,鞏固上述的共犯結構。在電腦作文評鑑的爭論中,就有論者質疑「電腦評鑑有助作文教育普及」的說法。弱勢學生固然可能從電腦評鑑得到更多的機會與資訊,但若以此代替師資的擴充,「人類教師親授作文」就可能會變成富裕子弟的專利,他們所獨佔的,將不只是較高的實質品質(假設人類教師還是有較好的對應學生需求能力),更是「人文」標籤的文化資本(你們看電腦學作文的,怎可能懂文化?)。又如近年不少人推崇網上公開課的普及作用,甚至預言可以淘汰次等的傳統大學課程。但在散播這種科技福音的同時,他們又有否想過,如果非名牌大學的教師與課程被淘汰,弱勢者真能得到更多知識的權力?還是加深名牌一定比非名牌有學問的偏見,助長品味霸權?

因此,無論是「人文悲劇英雄在機器的暴力下奮戰」,或是「以科技打破(死)文青獨佔人文知識的傲慢」,都讓我們在教育科技的戰場上放棄公共討論,自動繳械,沈溺於自毀與破壞的快感,讓真正的壟斷者滾存巨利。廢文機器擺脫這兩條死路,為文章與科技之橋樑,怎能說不是是廢物得大用,腐朽為神奇的典範?

作者