官术网_书友最值得收藏!

1.3 算力、算法與數據:人工智能的核心

決定人工智能“智商”的核心因素有三個:算力規模、算法模型的精巧度、數據的質量和數量。

至于三者的關系,打個比方,用燃氣灶炒菜,算力是燃氣,算法是廚藝,數據就是食材,做出的菜品就是深藍、阿爾法狗、ChatGPT等人工智能產品。想做出好菜,三者缺一不可。

1.算力——人工智能的基礎

算力,是人工智能的基礎,也是數據與算法的基礎支撐,更是推動人工智能邁向規模化、多元化與創新化的決定性力量。

算力,靠的是芯片。GPT-1只需要在8枚GPU上訓練一個月,而GPT-2需要在256枚Google Cloud TPU v3上訓練(費用為256美元/小時),訓練時長未知。到GPT-3,算力費用已經是千萬美元級別。ChatGPT光從模型訓練算力來看,至少需要上萬枚英偉達GPU A100,單次模型訓練成本超過1 200萬美元(約合8 000萬元)。

ChatGPT之所以能對答如流,靠的是一秒內處理數十億個單詞的算力,更是上萬枚英偉達GPU A100和H100提供的強大算力支持。

在國內,云計算技術專家公認的說法是,1萬枚英偉達GPU A100芯片是做好AI大模型的算力門檻。

然而,由于美國限制高性能GPU供應,目前國內云廠商擁有超過1萬枚GPU(以英偉達中低性能產品為主,如A10)的企業不超過5家,其中擁有1萬枚英偉達GPU A100芯片的企業最多只有1家。

目前,AI大模型的推理、訓練高度依賴英偉達的GPU芯片。缺少芯片會導致算力不足,算力不足意味著無法處理龐大的模型和數據量,會極大地降低AI推理和模型訓練的準確度。

2.算法——人工智能的靈魂

算法是人工智能的靈魂,是人工智能的邏輯規則大腦。這些年來人工智能的飛速發展,正是因為深度學習算法的出現。

ChatGPT本質上是一個由浮點數參數表示的深度神經網絡大模型,屬于深度學習的框架,并在算法上有所突破,能很好地容納和分析大數據。個別國產大語言模型容易出現過載等問題,就是因為算法處理不了更大的數據量。

GPT-1和GPT-2開源,GPT-3沒有可靠的開源軟件。目前,有的國產大語言模型實際是用開源軟件加上中文語料處理的,所以中文效果并不理想。

我國人工智能產業發展過度依賴開源代碼,真正屬于中國原創的代碼并不多。

開源代碼可以拿來用,但專業性、針對性不夠,不能滿足具體任務的實際要求。在獲得同樣數據的情況下,以開源代碼運行,AI深度學習之后或許能輸出結果,但由于訓練框架固定、算法限制,在實際應用中很難達到預期效果,而且難以修改、完善、優化算法。尤其面對專業性強的研究任務,一旦被“卡脖子”,將非常被動。

打個比方,賽跑時,如果運動員的運動鞋量身定制,貼合腳型,輔助發力,則更容易取得好成績。

同理,用開源代碼“調教”出的AI,其效果不會太驚艷。僅僅依靠開源代碼和算法,無法支撐中國的人工智能產業發展。

只有掌握核心代碼,才能在未來的AI“智力大比拼”中擁有勝算,這就需要有以數學為基礎的原始核心模型、代碼和框架創新。

如果從底層算法做起,整個數學模型、算法設計、模擬訓練就能一脈相承,不僅可以協同優化,而且可以根據需求隨時修改,從而真正解決實際問題。這需要數學家的參與,需要有一批人才能沉下心來做自己的底層框架和核心算法。相應地,我們的教育也要更加重視數學和編程人才的培養。

3.數據——人工智能的食糧

數據是人工智能的食糧。現在,深度學習是人工智能發展的主流方向,非常依賴大數據。

數據作為AI學習的基礎資源,數據質量和訓練數據量對AI性能至關重要,不亞于模型大小。比如,Deepmind的Chinchilla語言模型只有700億個參數,但經過更廣泛的數據訓練,可以勝過有1750億個參數的GPT-3。

GPT-1用了約5GB的文本數據,GPT-2用了40GB,GPT-3猛增到45TB。而對于GPT-4,OpenAI沒有透露具體參數數量和使用的訓練數據,將“競爭環境”列為保密的原因。

ChatGPT的用戶普遍反饋用英文提問得到的回答更加精準,而用中文提問則答案的錯誤率較高,根本原因就在于其語料庫里中文只有5%,且數據質量較差。高質量的數據能夠為好的參數打好地基,否則就像用沙子做地基,不可能蓋出高樓。

看起來,既然中文語料庫是ChatGPT難以逾越的壁壘,那么這正是中國版ChatGPT崛起的大好機會。然而尷尬的是,復旦大學發布的國內第一個對話式大型語言模型MOSS,回答英文問題的水平也同樣高于中文問題。對此,復旦大學邱錫鵬教授解釋稱,英文作為科研主流語言,在學術界和工業界得到廣泛應用,積累了大量高質量的語料數據,這為英文自然語言處理的研究提供了極大的優勢。根據相關數據,MOSS學習的英文單詞數量是中文的十倍。

的確,英文作為科研主流語言,全球范圍內大量的學術期刊、網頁、書籍等,都可以成為ChatGPT的訓練數據來源。比如《自然》《柳葉刀》等,這類專業學術期刊能提供大量優質數據,幫助ChatGPT的寫作更清晰、更有條理。除此之外,英文網站占全球網站總量近60%,而中文網站目前仍不足2%。

這是我國發展自然語言處理技術的過程中不得不重視的問題。因此,語料庫的構建不能只局限于簡體中文語料庫,要能理解多種語言,才能構建一流的中文語料庫。單純靠人海戰術和低人力成本建一個簡體中文語料庫,并不能解決這一問題。

在ChatGPT發布之前,很多人認為我國的人工智能技術水平不僅穩居世界第二,還與美國共處世界第一梯隊,已經十分接近美國。但ChatGPT推出之后,我們發現,我國仍有很長一段路要追趕。

人工智能技術正在從以編程/軟件為中心的1.0階段,快速進入以數據為中心的2.0階段。ChatGPT等人工智能大模型的出現,正在推動AI技術的通用化和泛化,AI開始脫“虛”向“實”,越來越多地參與控制、管理和優化物理世界的運行,成為引領新一輪科技革命和產業變革的戰略性技術。在這場科技革命里,中國不但不能落下,更要努力成為領跑者。

即使強如GPT-4,仍屬于弱人工智能,中國還有時間和機會。

4.弱人工智能、強人工智能和超人工智能

人工智能根據能力可劃分為三個層級:弱人工智能、強人工智能、超人工智能。

弱人工智能專注于且只能解決特定領域問題。

比如阿爾法狗能在圍棋方面戰勝李世石,但你讓它炒兩個菜試試。

弱人工智能本質上還是“數數”,只是數得比較快。現在主要的算法基本離不開窮舉法和概率統計,多是數據映射、數據擬合、概率統計等數學運算。

雖然GPT-4在某些方面表現得很神奇,但思維方式仍然局限于模式匹配和統計推理,并不能像人類一樣,通過思考和邏輯推理去解決問題,距離強人工智能還有較遠距離。

強人工智能,又稱通用人工智能或完全人工智能,指的是可以勝任人類所有工作的人工智能,即真正能思考和解決問題的人工智能。

簡單來說,就是人可以做什么,強人工智能就可以做什么。一般認為它有自我意識,有和生物一樣的各種本能,比如生存和安全需求;可以獨立思考問題,有自己的價值觀和世界觀,在某種意義上可以看作新物種。

這種定義過于寬泛,缺乏一個量化的標準。一般認為,可以稱得上強人工智能,起碼需要具備以下能力。

(1)基于一定抽象能力的學習能力。目前的深度學習技術需要大量的訓練數據,而人類學習卻不需要。比如,教小孩子認貓,只要看兩三只貍花貓就夠了,當他再看到外觀差異較大的奶牛貓、暹羅貓,甚至無毛的巴比諾貓等,也能輕松認出是貓而不是狗。但換作AI,起碼需要經過上萬張圖片的訓練,才可能具備類似能力。兩者的區別在于抽象能力,對AI而言,需要實現少樣本、無監督的學習,但目前的進展還很有限。

(2)足夠的知識廣度,包括常識性知識和跨領域知識的應用能力。很多常識,即便是兩歲兒童也能理解和預測,比如丟出的物體會下落、兩點之間直線最短等直觀的物理過程,但AI需要學習相應的物理學知識才能掌握。常識,不僅包括人類所認知的萬事萬物,更包括這些事物相互作用的準則和因果關系,以及行為模式和價值判斷。

常識有多重要?以自動駕駛為例,AI要靠學習已知路況積累經驗,但當遇到學習資料里沒有的危險時,能不能像人一樣正確處理?這就需要通過某種方法讓AI掌握一些類似常識的知識,讓其在危險來臨時首先確保駕車人與行人的安全,路況過于極端時安全減速并靠邊停車等。

目前,AI被訓練得精通某一特定領域,但缺乏生活常識的輸入,故表現得與人類差異較大。同時,跨學科知識的交融越來越重要,缺乏另一領域的知識也會導致AI表現較差。

(3)面對復雜的不確定因素,進行推理、規劃、決策、解決問題的能力。人類具有聯想、類比能力,能實現跨領域的推理,比如神探福爾摩斯可以根據嫌疑人的一頂帽子中遺留的發屑、沾染的灰塵,推理出嫌疑人的生活習慣,甚至家庭、婚姻狀況,并制訂下一步的計劃,但現在的AI顯然辦不到。

(4)從感知智能到認知智能,靈活使用自然語言進行交流的能力。感知智能模擬人類的“視聽”,認知智能在感知的基礎上形成“自我的認知”,當前正處于從感知智能向認知智能階段發展的“感知增強智能”過渡期。現在的AI,看似能與人自然對話,實際不能真正理解語義。強人工智能起碼要實現認知智能,能理解用戶實際意圖,比如能聽懂“你等著”之類的弦外之音。

(5)整合上述能力,實現既定目標的能力。我們大概可以想象一個滿足上述能力要求的人工智能會表現出怎樣的行為特征,而這樣一個強人工智能或通用人工智能,基本上能完成所有人類工作。

一般認為,強人工智能和弱人工智能的工作原理是完全不同的,很可能基于量子計算機和量子網絡,而不是現在的計算機的代碼格式,比如不再用帶正負電荷的電子分別表示0和1來編程。

當然,也有一些研究者認為,強人工智能只需要具備勝任人類所有工作的能力就可以了,未必需要人類的意識。總之,一旦牽涉“意識”,強人工智能的定義和評估標準等就會變得異常復雜,而人們對于強人工智能的擔憂也主要來源于此。

超人工智能,即超級的強人工智能,各方面都比人類強大得多,基本上可以理解為全知全能的上帝。

超人工智能的定義最為模糊,因為沒人知道超越人類最高水平的智慧是怎樣的一種存在,到底會表現出何種能力。超人工智能更多存在于科幻場景下,比如斯嘉麗主演的《超體》。

主站蜘蛛池模板: 永济市| 龙海市| 商河县| 鲁山县| 偃师市| 怀宁县| 灵寿县| 太保市| 灵丘县| 同仁县| 宁波市| 延庆县| 察雅县| 颍上县| 温泉县| 颍上县| 兴宁市| 新巴尔虎右旗| 宁阳县| 育儿| 鄢陵县| 墨竹工卡县| 安徽省| 和平县| 柳江县| 确山县| 九龙县| 望都县| 桦川县| 三门县| 淮阳县| 平舆县| 南平市| 商洛市| 屯门区| 马山县| 利辛县| 益阳市| 城口县| 马龙县| 隆安县|