更新於2022年7月27日
用文字和代碼畫畫。
如果五年前有人說完全不會畫畫也能創作出視覺作品，大部分的人可能會覺得他瘋了。但是在這五年，技術飛速發展，它已經不再是一個可愛的新鮮玩具。已經成長成一個讓人措手不及的事物。接下來的時間，它會指數級別的發展，可能要不了一兩年，我們就能被用文字提示自動生成的動畫震撼。
在過去的三個月一直在接觸人工智能生成繪畫，從一開始的興奮，震驚，到現在終於平靜下來了。所以做一個小的總結，來聊一聊AI生成繪畫是什麼？有哪些生成工具？能做什麼？可能會帶來的影響以及可創意從業者應該怎麼做？
AI生成繪畫是什麼？
這篇文章說的AI生成繪畫主要指的是，通過對抗神經網路VQGAN CLIP 吧文字語言和圖像進行關聯學習，從而實現隻通過一段文字就能生成對應的圖像的技術。目前的算法基本上都來自於openai，目前的生成工具因為算法和訓練模型的不同，生成的圖像的風格和特點也各有差別和優缺點。
這裡推薦一個AIART的免費教程：https://github.com/johnowhitaker/aiaiart?utm_campaign=The Checkpoint&utm_medium=email&utm_source=Revue newsletter
幫助理解AI繪畫原理的一些資源：
https://www.vox.com/23150422/text-to-image-ai-deep-learning
https://www.economist.com/interactive/briefing/2022/06/11/huge-foundation-models-are-turbo-charging-ai-progress
AI生成繪畫的工具有哪些？
目前市面上的生成工具我大致分為三類：
入門體驗版：以Dream by wombo為主
目前最熱門的入門級的AI繪畫應用是dream，這個APP很好入門也是免費的，隻是生成的圖像功能相對簡單，而且像素偏低。除了這個還有nightcafe也是做的比較早，網站形式功能比dream強大很多，不過需要付費。
1 Dream by wombo
目前最火的AI繪畫APP。覆蓋全平臺，支持網頁，安卓，和蘋果。目前免費。缺點是功能相對單一，像素低。
2 night coffee
做的最早最完善的AI繪畫工具。其實就是把DD這類的模型包裝了一下，隻有網站，功能跟DDV5差不多了。也是部分免費，限制性使用。缺點是性價比不如DDV5。
3 starryai
口碑還不錯的AI繪畫APP。支持安卓，和蘋果。每天免費5張圖。比wombo出的圖好點。
專業版：一些google colab上的開源程序
1 disco diffusion
目前國內最火的是DD，也就是disco diffusion，有比較完善的教程，社群支持，工具本身也很強大穩定。國內見到的大部分AI繪畫作品都是用DD做的，因為它的教程最多。
colab：https://colab.research.google.com/github/alembics/disco-diffusion/blob/main/Disco_Diffusion.ipynb#scrollTo=TitleTop
使用文檔：https://docs.google.com/document/d/1l8s7uS2dGqjztYSjPpzlmXLjl5PM3IGkRWI3IiCuK7g/edit
全網最全使用教程《隱空間旅行者指南》：https://sweet-hall-e72.notion.site/A-Traveler-s-Guide-to-the-Latent-Space-85efba7e5e6a40e5bd3cae980f30235f
全網最全使用教程《隱空間旅行者指南》中文版進行中https://dousha0228.notion.site/3567895e34dd481694f43188d1511b56
相關藝術家：
https://twitter.com/Somnai_dreams somnai 是DD的作者，同時也在MidJourney工作。https://twitter.com/inigma_a 的作品也不錯，推特上有很多。
我用DD制作的塔羅牌系列
2 pytti
國外很火但是國內並不太熟悉，也有十分完整的使用文檔和說明。
colab：https://colab.research.google.com/github/pytti-tools/pytti-notebook/blob/main/pyttitools-PYTTI.ipynb使用文檔：https://docs.google.com/document/d/1vXuzSpAxg2YijIE4uN14S5MoM5c98JpEXernsMoLjIM/edit#heading=h.4sg1gnlvqssq
相關藝術家：https://twitter.com/unltd_dream_co
Unlimited Dream 的一些作品
3 JAX CLIP Guided Diffusion
風格很獨特的一款，模型比較多，適合平面抽象幾何風格，可批量處理。huemin用它做了很多浮世繪風格的作品。
colab：https://colab.research.google.com/drive/1hcDA5skuzk2IoC0wkQam4i-5k7c7iR1T?usp=sharing#scrollTo=zxGgJmRzq3Cs
使用文檔：https://docs.google.com/document/d/11HWN5e57taWdpyZlW5s6gqzrwMsLlmOQivyJncOPPhE/edit
相關藝術家：https://twitter.com/huemin_art huemin用jax做的相關作品
AI繪畫colab程序筆記本合集
https://docs.google.com/document/d/1ON4unvrGC2fSEAHMVb4idopPlWmzM0Lx5cxiOXG47k4/edit
頂級AI生成工具
1 dalle2
openai出品，可以媲美真實照片的生成質量，目前已經開始支持商用，不過還是邀請制。
官網：https://openai.com/dall-e-2/
相關介紹：https://www.zhihu.com/zvideo/1496565511983353856
相關測評：最強人工智能DALL·E測評 | 它真的有那麼強麼 | 跟midjourney比較誰更厲害？_嗶哩嗶哩_bilibili
最強人工智能DALL·E測評2 | 3D立體圖標VS無限放大動畫_嗶哩嗶哩_bilibili
DALL·E 2 關鍵詞指南
https://docs.google.com/document/d/11WlzjBT0xRpQhP9tFMtxzd0q6ANIdHPUBkMV-YB043U/edit
DALL·E 2 gallery 裡面出了dalle使用手冊
Homepage
DALL·E 2 官方GitHub
https://github.com/openai/dalle-2-preview/blob/main/system-card.md
DALL·E 2 論壇
https://www.reddit.com/r/dalle2/
2 midjourney
目前可以玩到的僅次於dalle2的AI繪畫工具，是DD開源項目作者Somnai參與的另一個項目，在處理人物和語義匹配上比DD做的好很多。我目前玩的最多的一款。
目前已經全面開放：可通過官方邀請鏈接直接加入 discord.gg/midjourney
官網：https://www.midjourney.com/app/
官方文檔：https://midjourney.gitbook.io/docs/
相關測評：逗砂：頂級AI繪畫程序：midjourney 內測與思考
midjourney超詳細使用教程《上》| 1分鐘學會用人工智能畫圖 | 如何獲取midjourney邀請碼_嗶哩嗶哩_bilibili
https://docs.google.com/document/d/1XUT2G9LmkZataHFzmuOtRXnuWBfhvXDAo8DkS–8tec/edit 關鍵詞編寫手冊
海辛教程 https://mp.weixin.qq.com/s/yl5-zbfNBTp0yZpXyAV8SA
https://mp.weixin.qq.com/s/djP9hY28JDIG6vRbvUUmMA
臺灣的教程 https://www.youtube.com/watch?v=jrkpMJ323Yo
Midjourney AI 技巧收集《臺灣》
https://docs.google.com/spreadsheets/d/1GuAeSFtICsjQEwsRP2f–IayDxW9Dl0SCLOVov56FMc/edit?userstoinvite=smilevenuswww%40gmail.com#gid=1862105056
公開筆記 https://upbeat-chipmunk-df5.notion.site/Midjourney-8575717b0f7e44fb8268bf596a586760
臺灣社群分享 https://www.youtube.com/watch?v=D0-YcEOxn5w
mid提示詞生成器 https://promptomania.com/prompt-builder/
私人模式 https://weirdwonderfulai.art/resources/midjourney-private-mode/
肖像畫教程 https://www.betchashesews.com/2022/06/05/midjourney-portraits/
藝術家推薦：
Tweets by NekroXIII
nekroxlll用mid做的作品：
Mohrbacher
https://twitter.com/bugmeyer https://www.twitch.tv/petemohrbacher/videos MJ直播錄屏
Tweets by Riabovitchev
https://twitter.com/Somnai_dreams 開發者 創始人
3 Imagen
google下場做的一款對標dalle2的語義生成圖像的應用，看起來比dalle2還要厲害。但是目前連內測入口都沒有。
官網：https://imagen.research.google/
一些相關作品
AI生成藝術可以給我們帶來什麼？
藝術的民主化
大大降低了人們制作視覺作品的門檻，在我分享了一些AI生成藝術之後很多人聯系我，大部分並不是藝術設計的從業者，但是他們都會需要跟插畫師或者設計師溝通，而他們並不會畫畫，這讓溝通有的時候變得特別的困難，大家都希望能夠通過畫面來表達自己的想法，但是並不是所有人都有時間精力和天賦去進行系統的繪畫訓練。而這個技術讓這一切變成了可能。
創作者的助手和新的嘗試
已經有很多原畫師開始用AI來制作作品的demo，可以減少前期腦暴的時間，並且可以快速出圖跟客戶或者上級溝通。以往的創作過程前期也是需要大量的素材的收集和參考，現在素材可以自己生成了。另外，即使是專業的畫師，也不可能精通所有的風格，但AI不一樣，它可以通過深度學習，模仿古今中外所有的畫風，甚至融合這些畫風，畫師可以借此來拓寬自己的界限。
AI生成藝術的作品現在已經有很多發佈出來成為NFT的作品，這個在國外已經有很多了。
俄羅斯的首飾設計品牌monolama還聯合過數字藝術家做過一個深度學習系列的胸針。
而我自己也嘗試過用AI生成的圖來制作系列絲巾。還有更多的融合和嘗試等著我們去發現。
代替圖庫用在PPT和文章配圖
我覺得最應該有危機感的不是藝術家而是圖庫公司，如果你能夠用文字生成對應的圖片，為什麼還需要用圖庫？這個應用太廣泛了，PPT的配圖，公眾號文章的配圖，小說的插畫配圖等等。
今天還看到有藝術家使用mid生成的圖像，用substance 3D做成材質球，他表示這將對材質創作產生巨大的影響。
相關文章：https://80.lv/articles/a-collection-of-materials-created-with-midjourney/
人工智能是否會造成威脅？
作為一個從事創意藝術行業並有人工智能知識的人來說：是的，它肯定會對我們的工作造成威脅，但並不是你想象的那樣。
三百年前攝影術誕生，99%的肖像畫被攝影取代，一部分藝術家被迫尋找新的表現形式，印象派，野獸派，抽象主義應運而生，藝術家不再開始追求那些繪畫能做到，但是攝影做不到的事情；另一部分本該成為畫師的人成為了攝影師，通過攝影來表達自己，為他人服務。幾十年前計算機投入使用時，人們也一樣擔憂，但今天，由於這些計算機，我們創造了更多的就業機會，完成了更多的工作。人工智能隻是另一種工具，它如何使用取決於使用它的人。
那麼為什麼它是一種威脅呢？它將造成破壞，傳統工作將被淘汰，但會產生新的工作。所以人工智能無法取代藝術家，那些能夠駕馭人工智能，或者在技術的夾縫中找到了新的表現形式的，會成為下一個時代的藝術家。
有個很好的例子可以說明這一切，在圍棋領域幾年前阿法狗戰勝了柯潔，柯潔說他仿佛看到了圍棋上帝，人類在圍棋上永遠無法戰勝AI，覺得AI時代的圍棋特別的無趣。另一邊，天資一般的韓國棋手申真諝，通過不斷的跟AI下棋，學會了很多新的思路，並且打敗柯潔拿到了世界冠軍。
在藝術設計領域也是一樣，面對人工智能對繪畫近乎碾壓的技術，我看到了兩種截然不同的觀點。一種是興奮的去嘗試學習如何利用它更好的為自己的作品服務，比如已經有很多遊戲原畫師用AI生成的圖片來做demo和靈感參考，還有插畫師會結合手繪和AI的圖片進行二次創作。另一種是覺得這些都不是藝術，是無價值的電子垃圾，然後開始例舉傳統藝術多麼高貴，又或者開始恐懼，覺得自己之前學的一切都失去了意義。
我覺得三體裡有一句特別適合用來回答，人工智能是否能取代藝術家這個問題，那就是：『弱小和無知不是生存的障礙，傲慢才是。』
創作者如何利用好科技？
每一次科技的進步，都會翻天覆地的改變藝術與設計。
其實從來就沒有一項藝術可以脫離科技獨善其身，所謂的傳統藝術在幾百年前都是那個時候的前沿嘗試。古典主義繪畫的生動和真實基於無數藝術家解刨屍體積累的知識，文藝復興時期的繪畫，需要有幾何學、數學、解剖學、生物學和土木工程等學科的支撐。而抽象派的風格也是攝影術出現後的探索。
Neri oxman 創作的一個關於創意力循環圖表是這麼展示的。科學家生產工程師所使用的知識，工程師生產設計師使用的實用程序，設計師生產被藝術家感受到的行為變化；藝術生產對世界的新觀念，從而獲得了關於世界的新信息，並激發了新的科學探究。
作為藝術設計的從業者，如果想要接觸這些技術，最重要的其實是不要太把自己當成一個藝術家或者設計師，不要讓專業變成束縛自己的壁壘。國外同時會藝術設計和代碼編程的藝術家和設計師非常的多，而且很多工具的使用其實並不需要你真的具備完善的編程知識。比如AI生成藝術就有很多操作簡單的軟件，哪怕是復雜一些的disco diffusion 也並不需要你真的去寫代碼，知道怎麼調整參數就行了。而且隨著這個領域的發展，會有越來越多更簡單更好上手的工具出現。
這些工具的學習，不會比高中數學更加復雜。但是如果你會編程，當然是更好的事情，這樣一來你就可以自己創作使用的軟件工具，而不是隻能使用他人創造好的工具。保持好奇心，不要給自己設限，在最前沿的這部分沒有教程，規則，和既定的學習路徑。
其它AI工具資源
1 3D_Photo_Inpainting
一款可以將2D照片用AI算法轉換成3D視頻的程序，也是開源在colab上。https://colab.research.google.com/github/fzantalis/colab_collection/blob/master/3D_Photo_Inpainting.ipynb
2 artbreeder
一款AI捏臉軟件，網上大部分的卡通真人化的都是用這個做的。https://www.artbreeder.com/
3 ai-art.tokyo
一款AI風格遷移軟件，可以上傳照片生成相關風格化圖片。https://ai-art.tokyo/en/
4 time-travel-rephotography
一個由華人研究員參與的老照片修復類項目，可以完美的把黑白老照片上的人臉修復成現代的逼真彩照。https://time-travel-rephotography.github.io/?utm_campaign=The Checkpoint&utm_medium=email&utm_source=Revue newsletter
5 NVIDIA Canvas
英偉達做的一款塗鴉生成照片的人工智能應用。可免費在官網下載。https://www.nvidia.com/en-us/studio/canvas/
6 CogVideo
通過語義自動生成視頻動畫的AI模型。https://github.com/THUDM/CogVideo
7 AI ART 資源匯總
上面類似的資源還有很多大家可以自己去看。https://pharmapsychotic.com/tools.html