以畫畫水平高超而風靡全球的 DALL-E 2，語文水平被質疑了。

比如 bat 這個多義詞，就把它給考住了。

a bat is flying over a baseball stadium（一只蝙蝠 / 球棍從棒球場上飛過）。

結果它畫出來的圖，蝙蝠和球拍都在天上飛。

而且這不是偶然的失誤，如果輸入 "a person is hearing a bat"，畫出來的還是蝙蝠和球棒都存在。

換成另一種情況，輸入 a fish and a gold ingot（一條魚和一個金錠）。

好嘛，直接把兩種東西都鑄金了，變成真金 · 魚。

可不能低估了這些失誤，因為它們意味著 DALL-E 2 在根據文本生成圖像的過程中，對語言中符號到實體的基本映射關系。

即一個詞對應一個實體。

以 bat 舉例，畫出蝙蝠或者球棍，都算 DALL-E 2 理解正確，但是如果兩個都給，那就有問題了。

這就好比本身是單選題，填 A 或 B 都對，可是把兩個都寫上就違反了規則。

更何況有時候它還把不同物體的修飾詞弄錯，" 上一道題的解法用在下一道上 "。

發現這一問題的，是來自巴伊蘭大學、艾倫人工研究智能所的學者們，并且專門寫了篇論文分析。

有趣的是，研究人員約阿夫 · 高柏（Yoav Goldberg）還提到，這種情況在 mini DALL-E 和 Stable Diffusion 中并不常見。

我猜這可能是因為所謂的逆規模現象（inverse scaling）。

簡單理解就是 " 模型越大性能越差 "。

論文具體說了啥？

幾位學者在發現問題后，又反復進行了多次試驗，并把問題主要劃分為三種情況：

第一、一個單詞被解釋為兩個不同的事物

第二、一個單詞被解釋為兩個不同事物的修飾詞

第三、一個單詞在被解釋為一個事物的同時，又被理解成另一種事物的修飾詞

前兩種情況開頭已經提過。

第三種情況舉例來說，輸入 " 一匹斑馬和一條街道 "，輸出的結果中一直都有斑馬線。

在這里，DALL-E 2 把斑馬同時解釋了兩次。

在針對這些情況都重復試驗后，作者計算出 DALL-E 2 在三種情況下，出現失誤的概率都超過 80%。

其中第二種情況的失誤率最高，達到97.2%。

第三種情況下，如果給另一個名詞前加上新的修飾詞，可以避免失誤發生。

即輸入一匹斑馬和一條碎石路，路面上就沒有斑馬線出現了。

而在用 DALL-E mini 和 Stable Diffusion 時，這些重復解釋的情況并不常見。

作者解釋，未來可以考慮研究模型的文本編解碼器來追溯這些問題，并且可以研究這些問題和模型大小、框架是否有關系。

作者之一 Yoav Goldberg 是巴伊蘭大學的杰出教授，也是艾倫人工智能研究院以色列分院的研究主任。

之前，他在紐約的谷歌研究中心做博士后。研究興趣方向為 NLP 和機器學習，尤其對語法解析感興趣。

還曾發現 DALL-E 2 自創語言

不過就在幾個月之前，一位計算機專業的博士小哥發現，給 DALL-E 2 喂一些奇怪的語言，它也能生成同一類的圖像。

而這些詞，正是來自 DALL-E 2 生成圖像中的。

比如輸入 " 兩個農民談論蔬菜，帶字幕（Two farmers talking about vegetables, with subtitles）" 后，DALL-E 2 給出的圖像中，出現了一些 " 亂碼 " 的詞匯。

而如果再把圖像中的新詞 Vicootes" 當作描述丟給模型，沒想到，出來這樣一堆圖像：

有蘿卜、有南瓜、有小柿子……難道 "Vicootes" 就代表蔬菜？

如果再把上圖氣泡中一串 "Apoploe vesrreaitais" 扔給 DALL-E 2，一堆鳥圖出現了：

" 難道說，這個單詞代表‘鳥’，所以農民們似乎在談論影響他們蔬菜的鳥類？"

當時，這位博士小哥把自己的發現發布在網絡上后，立刻引起熱議。

有人試圖分析 DALL-E 2 是如何加密語言的，還有人覺得這只是噪聲。

不過總的來說，在語言理解方面，DALL-E 2 總能搞出點讓人意想不到的事。

你覺得這背后原因到底是什么呢？