[迷思]GPT 4 parameters 參數是多少?

對於目前版本的 ChatGPT-4 參數(parameters) 仍然眾說紛紜,即使尋找 OpenAI 官網,以至直接詢問 ChatGPT-4,其實沒有具體的答案。

假如問 ChatGPT-3.5的話,它會不吝地回答是 1,750億個參數 (175 billion):

同樣的問題向 ChatGPT-4 查問時,它的回應是這樣:

「跟前代差不多…問官方…」

也許 GPT-4模型比 GPT-3.5 更常更新,所以沒有具體的參數可以表達。而以 GPT-4 的能力各方面都比 GPT-3.5 更佳的前提下,參數竟跟 GPT-3.5 一樣是 1750 億個,答案稍為難以令人接受。最後,ChatGPT-4 才回答它自身也沒有官方的信息,所以答案是「不知道」

再繼續要求 ChatGPT-4 在 OpenAI 官網尋找關於參數的資訊,它同樣是找不到。

網上對 GPT-4 的參數描述是怎樣來的?

絕大多數是估計,這是按前期的 GPT 版本模型的參數來推算的:

GPT-1: 117 million (0.117 billion) parameters

GPT-2: 1.5 billion parameters

GPT-3: 175 billion parameters

GPT 版本每升上一級,都比前一版本使用多10倍的參數,以此推算,GPT-4 使用的參數約為 1750 billion,即保守估計為 1.5 – 1.75 trillion 之間,這些都是 ChatGPT-4 在2023年初推出後不久,人們在猜測的估計。而 GPT-4 在下半年的更新後,已沒有在參數上有更具體的說明,這才導致網上傳言眾說紛紜。

參考來源(1): https://medium.com/@chudeemmanuel3/gpt-3-5-and-gpt-4-comparison-47d837de2226

參考來源(2): https://www.theinformation.com/articles/baidu-seeks-edge-in-chinas-crowded-race-for-ai-dominance

至於有人說 GPT-4 使用了 100 trillion 個的參數,Sam Altman 已回應這說法是 “bullshit”

因此,小編在描述 ChatGPT-4 的參數時,採用了保守估計的 1.5 trillion (1.5兆個) 作為參考。

回到最頂