因為時間行程的約束，牛劍和奧爾特曼把會面時間定在了第三天的下午。

對于國際機(jī)器學(xué)習(xí)大會的閉幕式與晚宴，兩個走在人工智能領(lǐng)域最前沿的人都沒有什么太大的興趣。

紐約四季酒店的頂樓套間里，牛劍看著衣著考究的侍應(yīng)生將帶冰渣的香檳酒倒入郁金香杯，玻璃杯壁凝結(jié)的水珠在壁燈的光芒中折射出細(xì)碎金芒。

即便是貴為院士的吳夢達(dá)，也從來沒有經(jīng)歷過這種待遇。

資本主義的資本家，畢竟還是這個世界最會享受的那一批人，他們的奢靡，遠(yuǎn)遠(yuǎn)超出了常人的想象。

“所以你認(rèn)為transformer架構(gòu)會成為自然語言處理的新方向？“

山姆·奧爾特曼把玩著鍍銀開瓶器，金屬表面倒映出他修剪精致的鬢角。

兩人剛剛針對生成式AI這個大方向，互相探討交換了意見，而談?wù)摰膬?nèi)容，不約而同的集中到人工智能的底層架構(gòu)上。

“根據(jù)openAI的實驗數(shù)據(jù)，這種架構(gòu)在長文本生成時的顯存占用是LSTM的三倍。“

牛劍端起香檳淺抿一口，氣泡在舌尖炸開，混合著香檳的氣味，給了他之前從來沒有體驗過的感受。

“這正是您團(tuán)隊在arXiv上發(fā)布的論文里提到的門控注意力機(jī)制的價值。“

“我們學(xué)習(xí)了這一點，通過動態(tài)屏蔽冗余注意力頭，成功將顯存占用壓縮到原始架構(gòu)的72%”

“你還看過我們剛剛發(fā)布的論文？”奧爾特曼略微吃驚的看著面前的二人，“那篇文章可還沒有經(jīng)過同行評審，你們就不怕里面的東西有問題？”

“哦不對，你們已經(jīng)成功實踐了，而且還取得了比我們更好的結(jié)果。”

“上帝啊，你們是怎么做到如此快的速度的。”

“這種速度，來源于我們中心幾十個擁有高素養(yǎng)的博士的共同努力。”

牛劍臉不紅心不跳，張著嘴扯起了謊，把先進(jìn)院吹得連坐在一旁的吳夢達(dá)都有些不好意思了。

“我們使用FP16半精度數(shù)據(jù)作為算法的主要數(shù)據(jù)結(jié)構(gòu)，這一改變使得算法的性能得到了極大的優(yōu)化。”

“FP16？！”

奧爾特曼微微解開了領(lǐng)結(jié)，不知道為什么，他感覺這間頂級套房有些燥熱。

“牛，說實話，我現(xiàn)在真的很想知道你們是怎么做到這一點的。”

他身子微微前傾，早已沒了剛開始會面時的松馳感。

“我們之前使用單精度數(shù)據(jù)替換雙精度的過程中，就已經(jīng)被梯度爆炸的問題折磨的夠嗆了。”

“非常希望您能給我們一點小小的建議，或許這會讓我們少走很多彎路。”

面對這赤裸裸的請求，吳夢達(dá)第一個坐不住了。

他不方便直接出言拒絕，只是咳嗽了兩聲，示意侍應(yīng)生給自己換杯熱水過來。

“這酒我喝的不太習(xí)慣。”

聽到吳夢達(dá)的話，奧爾特曼雖然臉上依舊掛滿笑容，但心里卻暗暗罵了一聲。

‘華夏人該死的含蓄表達(dá)。’

他本來想借著勢，從牛劍嘴里套出點東西出來，現(xiàn)在看來，恐怕是很難了。

“奧爾特曼先生，這個涉及的東西太多，其中很多內(nèi)容都不是一個人的成果。”

“因此在征求他們的同意之前，我并不能透露太多。”

果不其然，牛劍以成果非他一人獨有為理由，婉拒了奧爾特曼的請求。

在說完這些話后，牛劍緊緊的盯著面前這位投資者，從其眼中捕捉到了一絲煩躁。

‘看來，要想從奧爾特曼這里爆出chatGPT的算法，只憑討論技術(shù)是肯定做不到的。’

面對真正純粹的研究者，牛劍或許能夠用技術(shù)交流的方式取得對方的認(rèn)可。

但如果拿同樣的套路去應(yīng)對奧爾特曼這種資本家，恐怕只會在背地里得到一個大傻子的稱呼。

“不過如今有幸遇上您這位同路人，我雖然不能說的太多，進(jìn)行一些簡單的技術(shù)交流還是可以的。”

牛劍讓侍應(yīng)生拿來一張紙，然后在上面寫寫畫畫起來。

“為了應(yīng)對梯度爆炸的問題，我在殘差模塊里嵌入了自適應(yīng)歸一化層。”

水筆的墨水在紙上微微有些擴(kuò)散，這張紙的材質(zhì)明顯有些不太適合書寫。

“侍應(yīng)生，侍應(yīng)生！”

奧爾特曼生氣的大喊，讓后者連忙拿了一沓A4紙過來。

“就像這樣——把Sigmoid激活函數(shù)替換成ELU，在每個梯度傳播階段用蒙特卡洛采樣評估穩(wěn)定性。”

牛劍繼續(xù)在紙上書寫，他這次是的的確確透露了不少內(nèi)容出來，但若是想憑借著這點東西就搞定半精度訓(xùn)練的難題，那就是在癡人說夢。

按照已經(jīng)走通過的技術(shù)路線，想要達(dá)到這種程度至少還有動態(tài)學(xué)習(xí)率衰減算法，LAMB優(yōu)化器等等數(shù)個專業(yè)技術(shù)需要突破。

但這些東西，可都不是免費的。

意猶未盡的奧爾特曼看著停止講解的牛劍，瞬間明白了后者的意思。

“或許我們可以進(jìn)行合作，無論是技術(shù)上還是商業(yè)上。”

奧爾特曼對著吳夢達(dá)繼續(xù)說道：“吳教授也是如此，openAI歡迎像您這樣的天才，我們的知識凝聚在一起，或許能夠改變整個世界。”

“當(dāng)然，我能給出的待遇也極為豐厚。”奧爾特曼不給兩人插嘴的機(jī)會，“只要能夠掛職，我就能說服董事會，給兩位開出相當(dāng)于首席架構(gòu)師的年薪。”

又是赤裸裸的當(dāng)面誘惑，正在喝水的吳夢達(dá)差點把自己給嗆到。

“哈哈，奧爾特曼先生，我跟吳老師都已經(jīng)是華夏一家研究所的員工了，沒辦法做出這種身兼數(shù)職的事情。”

“不過若是有機(jī)會，或許您的公司可以和我們單位進(jìn)行合作。”

牛劍并沒有把話給說死，他寫下一行英文，這是先進(jìn)院的英文名稱，借此就可以搜索到對應(yīng)的官網(wǎng)。

跟其他國企研究所一樣，這個網(wǎng)站做的稀爛，不過最基本的介紹和聯(lián)系方式倒是一應(yīng)俱全。

“可以，我回去就會跟董事會好好的討論一下。”

“按照我們之前在人工智能上的投入，openAI至少能拿出來三億美金用來進(jìn)行外部投資。”

奧爾特曼能得到這個信息，已經(jīng)是超出了他的預(yù)計。

三人在頂層套房又閑聊的一會后，奧爾特曼便按照牛劍的要求，派人將其送到了另外一家酒店。

以色列的代表正在這里等候著他，牛劍很好奇這些素以精明著稱的猶太人會給出什么條件。

“一千萬美金，牛先生，我們開出這個價。”

“對應(yīng)您在這一方面的所有知識產(chǎn)權(quán)。”