免費(fèi)開源的 Stable Diffusion 太火了!
有人拿它來做視頻短片,幾分鐘內(nèi)穿越時(shí)間看遍地球萬物的演變。
還有人拿它來制作守望先鋒里的英雄。

甚至因?yàn)槭褂眠^于泛濫,牽涉到藝術(shù)版權(quán)的問題,一群藝術(shù)家們還吵了起來,并把一個(gè)非官方賬號(hào)舉報(bào)到封號(hào)。

這背后究竟是如何運(yùn)作的,才能形成如此驚人的反響?
這幾天,有位小哥分享了 Stable Diffusion 工作機(jī)制的線程,還被 LeCun 點(diǎn)了贊。

來看看究竟說了啥。
又是擴(kuò)散模型
首先,從名字Stable Diffusion就可以看出,這個(gè)主要采用的擴(kuò)散模型(Diffusion Model)。
簡單來說,擴(kuò)散模型就是去噪自編碼器的連續(xù)應(yīng)用,逐步生成圖像的過程。

一般所言的擴(kuò)散,是反復(fù)在圖像中添加小的、隨機(jī)的噪聲。而擴(kuò)散模型則與這個(gè)過程相反——將噪聲生成高清圖像。訓(xùn)練的神經(jīng)網(wǎng)絡(luò)通常為 U-net。

不過因?yàn)槟P褪侵苯釉谙袼乜臻g運(yùn)行,導(dǎo)致擴(kuò)散模型的訓(xùn)練、計(jì)算成本十分昂貴。
基于這樣的背景下,Stable Diffusion 主要分兩步進(jìn)行。

首先,使用編碼器將圖像 x 壓縮為較低維的潛在空間表示 z(x)。
其中上下文(Context)y,即輸入的文本提示,用來指導(dǎo) x 的去噪。

它與時(shí)間步長 t 一起,以簡單連接和交叉兩種方式,注入到潛在空間表示中去。
隨后在 z(x)基礎(chǔ)上進(jìn)行擴(kuò)散與去噪。換言之, 就是模型并不直接在圖像上進(jìn)行計(jì)算,從而減少了訓(xùn)練時(shí)間、效果更好。
值得一提的是,Stable DIffusion 的上下文機(jī)制非常靈活,y 不光可以是圖像標(biāo)簽,就是蒙版圖像、場景分割、空間布局,也能夠相應(yīng)完成。


霸占 GitHub 熱榜第一
這個(gè)平臺(tái)一開源,就始終霸占 GitHub 熱榜第一,目前已累計(jì) 2.9k 星。

它是由慕尼黑大學(xué)機(jī)器視覺與學(xué)習(xí)研究小組和 Runway 的研究人員,基于 CVPR2022 的一篇論文《High-Resolution Image Synthesis with Latent Diffusion Models》,并與其他社區(qū)團(tuán)隊(duì)合作開發(fā)的一款開源模型。

據(jù)官方介紹,它能在幾秒內(nèi)在消費(fèi)級(jí) CPU 上運(yùn)行創(chuàng)作,也無需進(jìn)行任何預(yù)處理和后處理。
核心數(shù)據(jù)集是 LAION-5B 的一個(gè)子集,它是專為基于 CLIP 的新模型而創(chuàng)建。
同時(shí),它也是首個(gè)在 4000 個(gè) A100 Ezra-1 AI 超大集群上進(jìn)行訓(xùn)練的文本轉(zhuǎn)圖像模型。
不管怎么說,在文本生成圖像這一趴,又多了一位實(shí)力強(qiáng)勁的明星了。(狗頭)
原文地址:http://www.myzaker.com/article/630ef8008e9f094ab6086cdf
轉(zhuǎn)載請(qǐng)注明:Stable Diffusion火到被藝術(shù)家集體舉報(bào),網(wǎng)友科普背后機(jī)制被LeCun點(diǎn)贊 | 快導(dǎo)航網(wǎng)






川公網(wǎng)安備51012402001058號(hào)