1.1.1 G表示生成式
生成式模型就是通過學習對應內容的規則和形式,生成符合要求的內容。例如,GPT就通過學習大量的人類文本,了解什么樣的文本內容對人類是合理的,并生成人類認為通順且有意義的文本內容。
針對無基礎的讀者,這里稍微講解得多一點,大家可以簡單地把AI本身理解為人們應該都很熟悉的一次函數,只不過這個函數擁有很多參數:
y = (w1x1 + w2x2 + w3x3 + …wnxn) + b
其中,x1, x2, …, xn可以看作輸入給AI的內容,w1, w2, …, wn是需要找到的參數,b是偏置值。
AI或者機器學習學習到某樣東西,就是指AI通過參考數據集中的x1, x2, …, xn和y,經過無數次試錯,得到w1, w2, …, wn合適的值和b合適的值,使輸入x1, x2, …, xn后,能輸出貼近最終要求的y。
更形象一點來說,每一個參數都可以看作AI學習到了某一種規律或者規則,例如,學習到1后面的數字是2,狗是一種有毛的動物,參數越多, AI能夠學習到的規律和規則自然也就越多。
GPT-3.5/GPT-4o mini模型擁有超過1750億個參數,這使無論輸入什么內容,AI都能匹配相應的規則和模式,輸出(也許是)用戶想要的y。當然,這只是非常簡化的情況,實際情況下模型會用到很多其他技術,具體的原理也會十分復雜。
【打破誤區】很多人認為,這種底層的數學邏輯使AI從根本上無法誕生意識,這其實是不全面的。按照目前的技術路線,這些模型本質上仍然是通過一系列復雜的數學函數和訓練數據學習映射關系的,最多可能作為未來新技術路線的探索,由于人工神經網絡與生物神經網絡的結構及計算方式還存在著明顯區別,人工神經網絡在許多方面更簡化,真實的生物神經網絡會有更多復雜的特征和連接。但是人類的智能之所以誕生,很大程度上離不開人類大腦中神經元復雜的數量和信息傳遞,但神經活動本質上仍然是電信號的簡單傳遞。后面我們會了解到AI的“涌現”特性,這說明了數學邏輯其實也有可能是另一種“神經活動”的基礎,只不過之前的機器學習模型規模的限制導致無法產生自發的“涌現”。