OpenAI自我革命，新的AI模型不再追求大力奇跡；Chat GPT無害性上佳，有效性不足，AI革命不隻是在搜索
文/智物
上來就問了Chat GPT這樣一個問題：HJT和TOPcon，哪個技術更有前途？他把這兩個簡稱當成是兩家德國公司的對比，在稍微介紹兩家公司的情況之後，Chat GPT會強調自己隻是一個AI模型，不能給出專業的投資參考。
這是這個模型被認為最大的進步之一，能夠理解自己的局限性，盡量不給出錯誤的回答，引來不必要的麻煩。
這個模型會不厭其煩地在回答的開頭，先把自己作為一個計算模型的事實說出來，亮著光標在那裡慢慢醞釀真正的答案。
當我請求Chat GPT以一位好朋友的名字，寫一個古典武俠風格的小說，要求有一個浪漫的結局，男主人公像韋小寶一樣，多妻多子。
Chat GPT拒絕了。
他或者是她，回應說，他不想提到生育問題，不會涉及情色內容。
當你跟他聊個股，他也會首先強調，自己隻是一個算法模型，提醒你投資風險。
近期，OpenAI首席執行官Sam Altman發言時提到，自己曾經錯認為，AI更適合那種簡單、重復的工作。
但是，最近他覺得AI也可以勝任一些創意性的工作。
Sam Altman認為，AI可以勝任一些創意性的工作
Altman本人也許沒有從事過他所設想的讓AI去替代的那些工作。
延遲至今日，再來談論這樣一個大話題，不想再贅述這個技術可能帶來所謂潛力和意義，甚至是風險。
《智物》團隊看到幾個關鍵點不在Chat GPT本身：
——這樣的一個技術方向，會重新挑起沉寂20年的搜索戰爭，讓Bing或者OpenAI自己，乃至其他的創業公司挑戰谷歌、百度的地位嗎？難度在於，谷歌、百度這些讓人生厭的老朽，又都是個中高手，都是全球AI技術的領導者，新挑戰者應該並無勝算。
——沿著Transformer的路徑，GPT、BERT、CLIP等新技術，打通了機器視覺和自然語言的藩籬，給中國各個AI獨角獸的啟發是，AI不能隻是靠人臉識別業務吃飯，被地方政府、金融機構短期的商業需求俘獲，從目標來說就已經輸了。
——搜索在其誕生之初就顯示了比簡單的展示廣告精準之處，Chat GPT更像是證明了將過去20年機器視覺的技術路線，應用於自然語言技術的成功，但似乎不是一個好的商業化形態。
在耐心看完各路大神對GTP系列幾篇論文介紹解讀，耐心體驗了Chat GPT中英文環境的體驗之後。
《智物》的淺見，最應該顛覆、已經可以被顛覆的可能不是搜索，而是當前眾多人神共憤的鼠標水泥生意，我們在前面很小心地提到過這些生意的內容。
過去10年，智能硬件空有一副好皮囊，包括電動汽車、折疊屏手機都是如此。
而AI則是站在烏龜背上的兔子，花架子多於硬功夫，除了人臉識別、推薦系統、競價廣告，看不到實際落地。
技術演進到Chat GPT，機器視覺和自然語言的技術路徑相互打通融合，智能硬件和AI有可能有更好的結合形式嗎？靈魂跟上肉體，或者肉體註入靈魂，還是從一開始就搭建一個新時代的機器？
大力出奇跡，智能主要還得靠人工
可以理解OpenAI在Chat GPT領域的謹慎設置。
之前Meta、微軟、Google之前人工智能項目，屢屢因為各種社會禁忌，成為各路西方媒體炮轟的焦點，多次導致AI項目改動，甚至是下線。
OpenAI團隊將無害化處理列在有效之前，自有其苦衷。
GPT一詞來自於OpenAI這一系列的首篇論文，使用通用預訓練模型來提升語言理解能力，General Pre Training——通用預訓練，被縮寫成GPT。
在GPT論文發佈的前一年的2017年，谷歌人工智能團隊發佈了自然語言系列的奠基之作Transfomer。
OpenAI利用了Transformer解碼器，在沒有標註的文本數據上做訓練，獲得一個預訓練模型，然後在子任務上微調做分類器做法，類似於計算機視覺領域的做法。
這一思路又啟發了谷歌。
4個月之後，谷歌的團隊發佈了BERT，把Transformer的編碼器拿過來，收集一個更大的數據集做訓練，效果比GTP好很多。
OpenAI開創了另外一種市場，是AI能力引擎市場
知恥後勇的OpenAI在幾個月之後馬上發佈了GTP-2，在GTP原有的技術路線基礎上，用更大的數據集，繼續深入挖掘語言模型的潛力。
真正讓Open AI的工作得到外界認可，是在又過了一年之後推出的GTP-3。
2020年6月，Open AI在原有GTP-2的基礎上將其數據維度擴大了100倍，效果相當驚艷。
大力出奇跡。
這是廣大AI行業同仁對OpenAI羨慕嫉妒式的定位，也基本如此，Transformer、BERT之流的谷歌派聚焦機器翻譯等具體問題入手，一看就是大公司政治的實際路線決策。
作為創業公司的OpenAI，目標自創立之初就是強人工智能。
一度強調自己不盈利，潛臺詞是可以不用太在意具體成本，尤其是在拿到微軟的戰略投資，傍上Azure這棵可以免費的大樹之後，當然可以使用更大規模的算力集群去做訓練。
但是，這一次Chat GPT卻一反常態，沒有再將此前高達170億數據參數緯度，再擴大100倍，而是一反常態，為了解決多輪對話的流暢性、有效性，尤其是安全性問題，OpenAI一貫的大力高手，無監督、自監督旗幟，轉而尋求標註標註、模型調參。
Instruct GPT的概要講述了他們的工作出發點，模型變大並不會讓數據模型更能符合人們的預期需要，大模型也會生成有害、無用、不真實的信息。
OpenAI能自己承認這些事情，說明他們找到了解決方案。
對此，機器學習大神李沐對Instruct GPT做了極為清晰、深入淺出的介紹。
Instruct GPT這個模型當中，OpenAI對收集到的各種問題，經過人工標註寫出答案形成了一個數據集，用以對之前的GPT-3做一個訓練微調，fine tuning with Human feedback，也就是人工打標簽的稍微文雅的另外一個說法。
並非僅此而已。
在以上基礎上，模型輸出的每一組回答，用人工進行排序選擇優劣，得到另外一個新的數據集。
OpenAI諸位強化學習大師的擅長領域到了。
在新的數據集的訓練之後，Instruct GPT也就順利誕生，而在此基礎上，OpenAI又進一步根據多輪對話的特殊需要，進行了各種human feedback的fine tuning，想來也不過是人工標註、調參的套路。
問題是，Instruct GTP以及後面的Chat GTP，這樣一套老土的方案，在GTP-3的基礎上更進一步，而且數據維度大幅降低從173億變成了13億，效果還比GTP-3要好。
Chat GPT的誕生之路，一點都不是OpenAI原有的大力出奇跡的既有法則，而是與人工標註數據的結合。
搜索戰爭？網景時刻還是iPhone時刻
Chat GPT的這種技術設計，是他們能去掉模型輸出答案有害性，避免把自己的老板送上頭條的重要原因。
也是他不肯替筆者，暢想一篇我的某個朋友為主角的情色小說的原因，這是很大的進步。
還有，這也是他能清楚地告訴我菜譜、酒店、景點信息的重要原因，有效性極大提升。
李沐講述了Chat GPT，GPT和BERT相同之處，都是將機器視覺中的深度學習思路引進到了自然語言當中。
這可能是未來一段時間內，全球AI發展的通衢大道。
不久前，微軟公司在一個小型發佈會上，宣佈將Chat GPT引入到Bing，微軟公司的CEO納德拉，以及其高管紛紛表態，這會是下一代的搜索引擎發展的重要時刻。
《華爾街日報》還有其他科技媒體，也紛紛跳出來討論，這一場新的搜索戰爭的開端。
《經濟學人》也認為這會是一個改變谷歌統治了20年，萬億搜索市場的巨大機會。
但是，該刊倒是出言謹慎，Chat GPT的商業模式究竟如何還未定。
該刊有幾個跟《智物》團隊一直以來強調的趨勢，非常相近的觀點。
也許，我們次序說反了，是我們和《經濟學人》類似。
但是，我們很快就會說到具體內容。
Chat GPT可以聊幾句，真實有用還需要提升
一向擅長預測的Fortune雜志，將Chat GPT比喻為互聯網的網景時刻。
老氣橫秋的春秋筆法，其意圖其實是指Chat GPT更像是互聯網時代死掉的網景，而不是後來的IE、雅虎之類大獲成功的互聯網門戶模式。
中國的一個科技開發者社區媒體第一個將Chat GPT描述為iPhone時刻，也難怪這個媒體的某位知名人士很快宣佈，加入了一個中國Open AI為目標的項目。
Instruct GPT和Chat GPT本身的數據維度和訓練費用應該是大幅降低。
但問題是，OpenAI是在GTP-3的模型上開始的工作，其中的成本仍舊不小。
斯坦福大學一個關於GTP-3的課程當中，一位名叫克裡斯多夫 Potts的教授提到，這個模型預估的費用是5000萬美金。
Potts教授的結論和預測比多數人都會客觀，再過幾年，我們將會很困惑，我們的客服代表究竟是人還是機器。
許多寫作相關的工作，包括學生的論文將會是在AI助手的幫助下完成的，現在已經是了。
但是，即使有5000萬美金的預算，Potts教授本人也不想再去做一個拷貝的Chat GPT。
面對谷歌、微軟、百度這樣的搜索巨頭，再一個改進版的搜索平臺，價值究竟有多大？
Fortune的分析更有說服力，至少當前的Chat GPT更像是網景而不是iPhone，還不是一個優雅、完善、有效的產品。
谷歌此前的聊天系統Lamda也具備了類似的功能，但隻是礙於自己搜索老大的身份，而沒有上線這個對話系統。
但是，當時就有工程師透露，谷歌其實采用了其種類似的模型和算法。
在谷歌新聞頁面當中，看到了類似對於文本信息的處理能力。
從真實的體驗效果來看，Chat GPT的加入沒有讓Bing變成一個更有效的搜索工具，而且從路徑來看，以後也很難，隻是變的有趣而已，一半滑稽、一半新奇。
GTP-3、Instruct GPT所展現的在自然語言方面的能力，與微軟Windows PC以及硬件系統之間，缺少化學反應。
微軟這些傳統、老舊，稍顯醜陋的機器，不是Chat GPT最好的肉身載體。
Bing贏不了谷歌，在OpenAI網頁的搜索變現服務商商都是谷歌。
此時此刻，或許iPhone、特斯拉會更合適。
一個名叫Apple circle的youtube博主，說iPhone 15是the end of Google search，其中提到，谷歌每年上百億美金的贊助費用，換得iPhone搜索框的獨家合作權益。
此前，外媒已經詳細報道過蘋果在搜索方面的投入。
蘋果最該和廣告至上的谷歌開戰。
Chat GPT這種新形態的出現，會指引到iPhone搜索技術的路徑嗎？Chat GPT這一類多輪對話系統，所展現出的潛力，以及替代能力，鋒頭所指似乎不是搜索。
而是如今，人神共憤的差旅出行軟件，以及送餐、快遞服務，還有打車軟件的APP形態。
問題是，這一類的服務更多出現在中國市場。
而有能力做類似創新的公司，又都被這些出行軟件、點餐服務公司長期包養。
會有中國公司跳出來，挑戰這個格局嗎？
