不只是聊天機器人：ChatGPT帶來的影響力、應用場景及未來發展趨勢

自 OpenAI 發布 ChatGPT 以來，已經過去幾個月的時間了。這個基于大型語言模型的聊天機器人不僅讓許多 AI 研究員大開眼界，還讓大眾見識到了 AI 的力量。簡而言之，ChatGPT 是一個可以響應人類指令的聊天機器人，可以完成從寫文章、作詩到解釋和調試代碼的任務。該聊天機器人顯示出令人印象深刻的推理能力，其表現明顯優于先前的語言模型。

在這篇文章中，我將從個人角度出發，聊聊 ChatGPT 對三類人的影響：分別是 AI 研究員、技術開發人員和普通大眾。在文章中，我將推測 ChatGPT 等技術的影響，并簡單聊聊我認為可能發生的一些情況。這篇文章更傾向于發表個人觀點，而不是基于事實的報告，所以對這些觀點要持謹慎態度。那麼，讓我們開始吧……

ChatGPT 之于 AI 研究員

對我這個 AI 研究員來說，從 ChatGPT 上學到的最重要的一課是：管理人類反饋對于提高大型語言模型 (LLM) 的性能非常重要。ChatGPT 改變了我，我猜也改變了許多研究人員對大型語言模型 AI 對齊問題的看法，我具體解釋一下。

圖：LLM 的強化學習與人的反饋（RLHF）

在 ChatGPT 問世之前，我想當然地認為，當涉及到 LLM 時，我們面臨著兩個不同的問題。1）提高 LLM 在某些基于語言的任務（如總結、問答、多步驟推理）中的表現，同時 2）避免有害的/破壞性的/有偏見的文本生成。我認為這兩個目標是相關但獨立的，并將第二個問題稱為對齊問題。我從 ChatGPT 中了解到，對齊和任務表現其實是同一個問題，將 LLM 的輸出與人類的意圖對齊，既能減少有害內容，也能提高任務表現。

為了更方便理解，這里給出一些背景信息：我們可以將現代的 LLM 訓練分為兩個步驟。

*第一步：神經網絡模型的自監督學習（SSL），在給定前一批單詞（tokens）序列的情況下預測下一個單詞（token）——這是在一個非常大的、互聯網規模的數據集上訓練的。

*第二步：通過各種技術使 LLM 的生成與人類的偏好保持一致，比如在高質量的指令遵循文本的小數據集上微調 LLM，并使用強化學習來微調 LLM 與預測人類偏好的學習獎勵模型。

在 ChatGPT 身上，OpenAI 很可能使用了許多不同的技術，相互配合來產生最終的模型。另外，OpenAI 似乎能夠快速回應網上關于模型出錯的投訴（例如產生有害的文本），有時甚至在幾天內就能完成，所以他們也一定有辦法修改/過濾模型的生成，而無需重新訓練/微調模型。

ChatGPT 標志著強化學習（RL）的悄然回歸。簡而言之，有人類反饋的強化學習（RHLF）首先訓練一個獎勵模型，預測人類會給某一 LLM 生成內容打多高的分數，然后使用這個獎勵模型通過 RL 來改善 LLM。

我不會在這里過多地討論 RL，但 OpenAI 歷來以其 RL 能力而聞名，他們寫的 OpenAI gym 啟動了 RL 研究，訓練 RL 代理玩 DoTA，并以在數百萬年的模擬數據上使用 RL 訓練機器人玩魔方而聞名。在 OpenAI 解散其機器人團隊之后，RL 似乎逐漸被 OpenAI 所遺忘，因為它在生成模型方面的成就主要來自于自我監督學習。ChatGPT 的成功依賴于 RLHF，它使人們重新關注 RL 作為改進 LLM 的實用方法。

圖：AI 專家預測 ChatGPT 的運行成本

ChatGPT 的到來還證明了一點：學術界開發大規模 AI 功能將越來越困難。雖然這個問題在整個深度學習時代都可能出現，但 ChatGPT 使它變得更加根深蒂固。不僅訓練基本的 GPT-3 模型對小型實驗室來說遙不可及（GPT-3 和隨后 OpenAI 在微軟將 Azure 的全部力量投入到它身上之后，建立了專門的服務器群和超級計算機才開始真正發展，這不是巧合），而且 ChatGPT 的數據收集和 RL 微調管道可能對學術實驗室造成過大的系統/工程負擔。

將 ChatGPT 免費提供給公眾，可以讓 OpenAI 收集更多寶貴的訓練數據，這些數據對其未來的 LLM 改進至關重要。這樣一來，公開托管 ChatGPT 實質上是 OpenAI 的大規模數據收集工作，而這不是小型組織能夠承擔的。

開源和與 HuggingFace 和 Stability 等公司在學術上的大規模合作可能是學術界目前前進的方式，但這些組織總是比擁有更大預算的小團隊前進得慢。我推測，當涉及到最先進的語言模型時，開源通常會滯后于這些公司幾個月到一年。

我認為學術界可能扳回一成的唯一方法是，是否有國家級的計算云專門用于學術 AI 研究。這無疑將花費數十億美元，需要專門的行政和工程人員。這并非毫無可能——它將類似于詹姆斯・韋伯太空望遠鏡和大型強子對撞機。在美國，一些人已經在呼吁建立國家 AI 云，進行 LLM 推理，但訓練和微調 LLM 和其他基礎模型的能力也同樣重要。鑒于 AI 國家戰略重要性，我們可能會在不久的將來真正看到這個方向的發展。

同時，AI 研究員并不總是要訓練大模型才能產生大影響。我的看法是，與其爭奪下一個最大最好的 LLM，較小的學術實驗室可以專注于改善現有 LLM 的使用，分析它們的優勢和劣勢，并利用有些公司以非常低的成本托管這些非常強大的 LLM 的事實。例如，可以利用 OpenAI 和其他公司的現有 LLM API 來進行 LLM 對齊的研究，而不需要學術實驗室從頭開始訓練這些模型。對強大的 LLM 的低成本和公開的訪問使得一整套公開的研究能夠發現 LLM 的新能力和應用。

ChatGPT 之于技術從業者

對于那些在技術領域工作和開發產品的人來說，ChatGPT 和類似的代碼編寫模型呈現出顯著的一階和二階效應。對于程序員來說，使用基于 AI 的代碼補全和 ChatGPT 風格的問答來學習編碼和理解現有的代碼庫將成為軟件工程工作中不可或缺的一部分。我推測，在未來的一年內，許多大學將開設計算機科學課程，教授在軟件工程等應用中利用 AI 的最佳實踐。

ChatGPT 和更強大的 AI 代碼輔助將迫使軟件工程師對其操作的抽象級別進行根本性的重新制定。大多數軟件工程師不需要推理低級機器代碼，因為我們有非常強大的編譯器，可以將人類可讀的代碼（如 C++）轉換為機器可讀的代碼。軟件工程師可以學習這些編譯器的內部工作原理，以及如何編寫最充分利用這些編譯器特點和優勢的代碼，但他們自己不需要編寫機器代碼，也不需要編寫自己的編譯器。

編碼 AI 很可能會成為新的“編譯器”，將高級額人類指令轉換為低級代碼，但是在更高的抽象級別上。未來的軟件工程師可能會編寫高級文檔、需求和偽代碼，他們會要求 AI 編碼員編寫今天人們編寫的中級代碼。通過這種方式，我不認為軟件工程師會被 AI 取代，而是被推到價值鏈的上游。未來，熟練掌握這項技能的軟件工程師可能需要了解不同編碼 AI 的優缺點，以及如何針對特定的應用領域最好地構建和修改 AI。

以上是一階效應，ChatGPT 直接影響到技術從業者，特別是軟件工程師的工作方式。對技術產品所能提供的東西的二階影響可能會更深遠。ChatGPT 和類似的 LLM 通過 1）釋放全新的能力和 2）降低現有能力的成本，使其突然具有經濟意義，從而使新產品成為可能。

圖：機器人在自然語言中執行新任務

上述第一點的一個例子是，現在我們可以通過簡單地讓 AI 編碼員將語言指令翻譯成調用該軟件 API 的代碼，為任何軟件添加自然語言用戶界面。以一種可信賴的和可泛化的方式來做這件事將需要大量的努力，就像發布真正的產品一樣，魔鬼就在細節中。盡管如此，這是一種徹頭徹尾的新能力，我猜測自然語言軟件 UI 會在所有的軟件平臺上爆發，尤其是在那些傳統用戶界面感到笨重和不方便的平臺上（如移動設備、語音助手、VR/AR）。老實說，很難想象在 LLM 時代開發一款新應用而不包含一個基于語言的用戶界面會怎麼樣。入門的門檻很低（只需要調用一個公開的 LLM API），如果你不這樣做，你的競爭對手就會這樣做，而且會提供更好的用戶體驗。

降低現有能力的成本聽起來不像解鎖新能力那麼有吸引力，但它同樣重要。LLM 可能存在很多有前景的應用，但為這些下游任務微調 LLM 的成本可能太高，不值得投資。有了 ChatGPT 和改進的指令跟蹤，開發者可能不再需要收集大量的數據集來進行微調，而只需要依靠 zero-shot 性能（零樣本學習性能）。預計在許多處理文本輸入的現有應用中，基于文本的分類、摘要和內聯預測功能將出現大量的“小規模”LLM 部署。這些對用戶體驗的邊際改善在以前可能投資回報比很低，但現在卻突然值得了。

低成本也意味著在應用 LLM 和其他基礎模型的業務上有很多唾手可得的成果，通過良好的 UI/UX、現有軟件產品內的集成以及有效的進入市場和貨幣化戰略為消費者創造價值。Lensa 是一個能滿足所有這些條件的例子。LLM 部署的這些更實際的方面往往會超過底層模型的絕對性能，成功的初創公司總是可以將舊的 LLM 與新的改進版本交換。這也意味著，那些應用 LLM 的人不應該把他們的技術棧與特定 LLM 的特性綁得太緊。LLM 的快速改進周期，加上可公開訪問的 API，以及關鍵的商業差異化因素不是模型本身，這可能意味著 LLMs 將被商品化。

未來將有兩種類型的科技公司能夠繼續向前發展——能夠負擔得起培訓和運行自己的基礎模型的公司，以及負擔不起的公司，后者需要向前者支付基礎模型稅。這聽起來很有戲劇性，但它與我們今天的情況沒有什麼不同，技術公司要麼托管自己的服務器，要麼向 AWS/Azure/GCP 交稅。AI 云業務將是未來云平臺的一個關鍵戰場，并將給競爭對手提供超越現有企業的機會。例如，憑借微軟的經驗和與 OpenAI 的結合，Azure 很有可能憑借其 AI 云產品超越其他公司（微軟已經在 Azure 上發布了 OpenAI 的模型，遠遠領先于其競爭對手亞馬遜和谷歌）。

圖：GPU 性能的增長速度遠遠快于 CPU 性能

最后，從一個更具推測性的角度來看，基于深度學習的基礎模型可能會讓我們在相當長一段時間內避免摩爾定律放緩帶來的負面后果。隨著這些模型的能力越來越強，它們將接管越來越多由傳統軟件完成的任務，這意味著越來越多的軟件將可以通過僅僅優化神經網絡的性能而得到優化。神經網絡在 GPU 和特定應用的芯片上運行，其性能的提高并沒有看到傳統 CPU 改進的明顯減速，這大致可以在摩爾定律的減速中體現出來。我們真的很幸運，有一個單一的神經網絡架構，即 Transformer（由 ChatGPT 和其他基礎模型使用），它可以代表通用計算，并經過訓練，可以很好地執行這麼多不同的任務。我們還沒有接近優化 Transformer 性能的終點，所以我期望隨著 LLM 變得更加強大并取代更復雜的傳統軟件堆棧，計算機會變得更快。

ChatGPT 之于大眾

視頻‌：耶魯大學評 ChatGPT，更多是資源，而并非學習的替代品

ChatGPT 是許多普通大眾可以直接與之互動的第一項 AI 技術。當然，在 ChatGPT 之前，有 Siri 和 Alexa，而且深度學習應用在許多商業應用中已經無處不在了。不同的是，以前部署的 AI 技術往往都在后臺工作，通過傳統軟件和有限的用戶界面層層 “過濾”。公眾通過 ChatGPT 對 AI 有了更直接的體驗，用戶可以直接向 LLM 輸入，并直接看到它的輸出（OpenAI 確實過濾了有害的內容，并使用自己的提示修改了用戶的輸入，所以它沒有直接與底層模型互動，但也足夠接近）。ChatGPT 也明顯比以前的聊天機器人更強大。再加上該服務目前一直是免費的，這些因素將 ChatGPT 推向了主流世界的討論熱潮。

相對以前，這種和 AI 的親密接觸讓公眾對 AI 的新奇和炒作有了更真實的體驗。我可以想象，突然之間，對于那些不熟悉 LLM 工作原理的人來說，聊天機器人可能具有意識的說法聽起來并不太牽強。這也反映出了一個問題，當涉及到 AI 的問題時，科學傳播的缺失——我認為 AI 界在向公眾宣傳和普及 AI 如何工作、能做什麼、不能做什麼，以及如何負責任地使用 AI 技術方面做的非常差。見鬼，我們甚至都不能確定技術從業者了解 LLM 的基本知識，更不用說普通民眾了，他們才是受這項技術影響的終端用戶。在接下來的幾年里，如果繼續不對 AI 進行教育和溝通，可能會面臨災難性的后果，因為類似 ChatGPT 的模型會在沒有適當預防措施的情況下進入關鍵任務的應用。

或者，從某種意義上說，讓人們了解一項新技術的最好方法可能是讓公眾公開地試驗這項技術及其應用，體驗它的失敗，并反復辯論和改進一些流行的觀點。這一波基礎模型的可用性，尤其是 ChatGPT 開創的免費使用的先例，可以讓公眾通過親身體驗更了解 AI，反過來引發更明智的理解和討論。

DALL-E 2 是第一個真正優秀的文本到圖像生成模型，發布僅僅幾個月后，我們就已經看到了來自公司和社區的一系列不同的政策反應，試圖適應這種新的現實，從完全禁止 AI 藝術到納入 AI 藝術圖片的銷售。對于 ChatGPT，一些學術會議禁止它的使用（以及一些學校），而也有學者則將其列為合著者。圍繞生成式 AI 也有不少正在進行的訴訟。目前還不清楚使用這些模型的法律和道德方式是什麼，但很明顯，這些圍繞 AI 使用政策的小規模實驗對于公眾弄清楚這些事真的很重要。我個人認為這是一個很好的方向，因為我相信公共政策應該由公眾討論決定，而不是由任何一個托管這些模型的特定科技公司不清不楚的委員會決定。

圖：新技術的采用需要時間，盡管隨著時間的推移，采用速度越來越快

關于 ChatGPT 和類似基礎模型的應用的最后一個想法——技術部署總是比技術創新需要更長的時間（盡管采用速度正在加快），雖然人們可以在一個周末的時間建立令人印象深刻的 LLM 演示，但仍然需要大量的工作和試錯來建立可靠、可擴展的產品，為消費者帶來價值。在科技領域，我們可能會在 2023 年看到生成式 AI 應用的海嘯，但我預計這些應用在公眾中的傳播速度會慢得多。有許多因素會減緩大規模生成式 AI 的采用——現有系統和產品的慣性，對 AI 取代人類的認知的文化障礙，運行 AI 的成本在很多應用中可能沒有意義，LLM 輸出的不可靠性和可信度，以及擴大 LLM 計算基礎設施以實時服務數十億次的查詢。這些挑戰都不會在一夜之間，甚至在幾個月內被克服。但它們最終會被克服，而 5 年后的世界將看起來非常不同。

未來如何？

如果說在過去 10 年的深度學習中我們學到了什麼，那就是真的很難對 AI 做出準確的預測，包括它的發展和部署。然而，我可以自信地說，ChatGPT 只是未來的一個小預告。對于基礎模型的未來，我在兩個方向上看到了有前景的進展，我認為在今年或明年會有突破性進展：1）真正多模態的 ChatGPT 級基礎模型（如文本、音頻、圖像、3 D、動作、視頻、文件），以及 2）被設計用于在環境中采取行動的基礎模型。

圖：與其訓練理解視覺和文本的獨立模型（左），較新的模型可以直接理解圖片中呈現的文本（右）。

對于 1），想象一個類似 ChatGPT 的界面，但你不僅可以上傳文本，還可以上傳音頻、圖像、視頻、3 D 模型以及其他結構化文件，并讓它 “理解”、分析、處理和生成這些內容。這樣的技術如今已經存在，將所有這些模式整合到一個模型中似乎很簡單。

對于 2），在不久的將來，擁有一個基礎模型，能夠通過鍵盤和鼠標與計算機進行可靠的互動，以執行人類今天的許多日常任務，似乎是合理的。有一些證據表明這是可行的，從瞄準機器人過程自動化的初創公司到試圖訓練 AI 代理完成 Minecraft（游戲：我的世界）中的開放式目標的研究人員。為物理機器人而不是虛擬代理開發這種面向動作的基礎模型將更加困難，但進展已經在進行中。

圖：一種語言模型，可以將自然語言指令轉換為與 Web 端瀏覽器交互的動作。

關于商業化，一方面，科技巨頭有能力利用他們龐大的計算資源來訓練真正強大的模型。但另一方面，公共/開源模型也將變得非常流行/易于使用，所以我不確定擁有自己的模型對很多應用來說是一個很大的優勢。如前所述，基礎模型很可能會被商品化。因此，對于已經擁有設備/操作系統的大型科技公司來說，開發適合 LLM 的平臺，允許其他人使用基礎模型，并在上面建立新的應用，而不是直接與其競爭建立這些應用（想象一下，一個專門為多模式或面向行動的基礎模型定制的移動/AR/VR/桌面/網絡操作系統），這麼做才是合理的。

最后，展望未來，我們可能會在未來 5 年內告別 “從互聯網上獲取免費數據” 的制度，它真正推動了最近基礎模型的進展。雖然定制數據總是需要用于特定領域的微調/校準（通過傳統的監督學習或 RLHF），但用大規模的 “免費” 數據預訓練強大的模型無疑導致了 GPT 和類似模型的成功。看社區如何超越僅僅搜刮現有的數字數據來提高基礎模型的性能，這將是很有趣的。可以肯定的是，我們仍然會通過更好的訓練和對齊技術來改進模型，但大規模自我監督學習的下一個前沿是什麼？下一個 10 萬億或 100 萬億的數據點從何而來？我很想知道。