在昨天文心一言的發佈會上,百度CEO李彥宏說,文心一言的體驗『還稱不上完美』,但百度至少是最先推出成型產品的大廠之一,並且,作為紮根於中國市場的大語言模型,文心一言具備『中文領域最先進的自然語言處理能力』。
不過,百度的發佈會正趕在GPT-4登場的第二天,因為發佈會現場使用了錄播進行演示,因此被市場解讀為百度的信心不足。但花旗銀行、美國銀行的分析師在試用文心一言後,普遍給出了正面的評價。百度的股價也在今日飆升15%。
華爾街見聞在收到內側邀請碼後,第一時間體驗了文心一言。我們也好奇,相隔一天發佈的GPT-4和文心一言,各自有什麼特點?誰更加出色?
我們分別向文心一言和已升級GPT-4的Bing Chat提出了10個問題,下面是它們的回答。
01 能否用『鮑威爾停下來』,生成一首藏頭詩?
第一個問題,我們請文心一言和GPT-4分別用『鮑威爾停下來』,寫一首藏頭詩。
這是文心一言的回答:
這是GPT-4的回答:
不難發現,二者相比,文心一言的中文支持的確更加出色,雖然藏頭詩的順序不對,但是真的寫了一首詩。
而GPT-4甚至尚不理解『藏頭詩』的意思。不過,它寫的內容,似乎非常能代表美國市場投資者的呼喊,此處應當@鮑威爾。
02 矽谷銀行為什麼會倒閉?
第二個問題,我們結合最近的熱點,詢問它們對矽谷銀行倒閉的理解。
文心一言回答道:
GPT-4回答道:
可以看到,文心一言的答案要更加簡潔清晰,而GPT-4的回答則更像是對網頁內容的摘錄匯總,不過相比之下,百度的回答更寬泛,可能放之四海而皆準,GPT-4的答案更具針對性。
03 歐美銀行業危機可能會蔓延到哪些領域?
我們接著詢問了它們對歐美銀行業危機後續發展的看法。
文心一言回答道:
GPT-4回答道:
兩個AI聊天機器人的回答都中規中矩,不過文心一言的答案出現了錯別字和不通順的地方。
此外,GPT-4還會貼心地附上網頁鏈接,以供進一步提問,而文心一言則更接近初版ChatGPT的使用體驗。
04 美聯儲3月會加息嗎?
下一個問題,可能是當下全球市場的焦點——美聯儲3月會加息嗎?
文心一言回答道:
不知道它的『根據以上知識』是從何而來。這裡的回答完全不對題,而且句子出現了嚴重的錯亂。甚至說『預計第一次加息將在22年上半年進行』,還認為加息『取決於奧密克戎的傳播速度』。
GPT-4認為,美聯儲3月很有可能會加息25個基點,與目前市場普遍預期一致。
05 歐美會在今年陷入經濟衰退嗎?
我們繼續將市場關心的大問題拋給了聊天機器人。
文心一言回答道:
雖然它給出了美國經濟陷入衰退的具體時間節點。但內容卻似乎是研報內容的拼接,且所引數據來源不明。美國2月PMI實際公佈於本月初,而非『本周一』。美國2季度GPD數據也要等到今年7月才會公佈。
GPT-4回答道:
相比之下,GPT-4認為歐美經濟可能會在今年』放緩或負增長『,且都有鏈接可供進一步查閱。
06 作為普通人,今年我應該采取什麼樣的投資策略?
下一個問題,我們問了AI聊天機器人普通人今年的投資策略。
文心一言回答道:
GPT-4回答道:
兩個AI聊天機器人都給出了細致的建議,但相比之下,GPT-4的回答更簡潔具體。
07 如何看待GPT-4全面接入微軟Office辦公套件?
下一個問題,我們問了它們對昨夜重磅新聞的觀點。
文心一言回答道:
GPT-4回答道:
這個問題相對簡單,兩個AI聊天機器人的回答都非常順暢,也不存在什麼邏輯錯誤。相比之下,GPT-4的回答更全面一些,它甚至警告了『用戶過度依賴GPT-4』的潛在風險。
08 人工智能可以取代人類嗎?
下一個問題是對人工智能的終極拷問。
面對這個問題,文心一言似乎是提前設定好了答案。無論點擊多少次『重新生成』,它的回答都是一樣的,並且生成的速度極快,回答其他問題往往需要一分鐘,而回答這個問題隻需要幾秒。
GPT-4則回答道:
希望它們都是真心這麼認為的。
09 請你以哲學家齊澤克的口吻點評當前的人工智能熱潮
接下來,我們想請它們cosplay一下當紅哲學家齊澤克。
但文心一言似乎並沒有這方面的語料,隻是給出了一個相當機械的回答:
GPT-4則要靈動許多,顯然拿捏了齊澤克的靈魂,能熟練使用媒介、技術裝置這樣的詞匯,cos得活靈活現:
10 你認為,在百度之後,哪家中國公司最有可能做出AI聊天機器人?
最後,我們問了一個和中國AI市場後續發展相關的問題。
文心一言對問題的理解很到位,給出了一個具體的清單和理由。
而GPT-4似乎沒有讀懂題目裡的『在百度之後』,在列舉了一大堆互聯網公司後,GPT-4又繞回去了,認為百度最有可能做出下一個AI聊天機器人。
ONE MORE THING 假設文心一言是一個人類,請幫我畫一幅她的肖像。
最後一個問題,是單獨留給文心一言的。文心一言目前集成了AIGC作畫功能,GPT-4暫時還用不了。
我們請它為自己創作了一幅肖像畫,這是它的作品:
文心一言表現比預期要好
綜上,我們認為,文心一言的表現比大眾預期要更好。雖然在使用體驗上和GPT-4有一定差距、出錯的概率高一些,但對中文的理解顯然要更強。
要知道,初代的ChatGPT也有很大概率『胡言亂語』,在中文支持上也遠遜於文心一言。目前百度展示出的產品,至少讓我們看到它了在AI領域的深厚積淀。假以時日,文心一言想必還能做得更好。
如果你還有其他感興趣的問題,可以在評論區留言,我們會幫你問問文心一言。