智東西

【資料圖】

編譯 | 陳佳慧

編輯 | 徐珊

智東西9月6日消息，據(jù)The Information報(bào)道，雖然Meta發(fā)布的大語言模型Llama和Llama 2得到了廣泛好評，但有知情人士透露，2月份發(fā)表Llama原始研究論文的14名作者中，有一半以上已經(jīng)離開了Meta。

ChatGPT發(fā)布后，Meta的AI研究部門FAIR開發(fā)壓力增加。而開發(fā)運(yùn)用于生成式AI的大語言模型需要專門的芯片來進(jìn)行計(jì)算，知情人士稱，在Meta的Llama團(tuán)隊(duì)進(jìn)行研發(fā)的同時(shí)，還有另一個(gè)團(tuán)隊(duì)也在研發(fā)一個(gè)新的用來與谷歌PaLM模型競爭的模型，兩個(gè)團(tuán)隊(duì)需要爭奪Meta內(nèi)部的計(jì)算資源。Meta出現(xiàn)大量人才流失的情況，或許是因?yàn)镸eta在AI研究與布局上存在計(jì)算資源分配問題、團(tuán)隊(duì)士氣問題、以及公司人員與AI研究方向安排問題，本文將對這三大問題進(jìn)行分析。

2013年，Meta聘請了法國科學(xué)家Yann LeCun擔(dān)任AI研究總監(jiān)，同時(shí)設(shè)立了FAIR。此后，Meta的AI研究工作都以FAIR為中心。

FAIR除了在加州的門洛帕克和LeCun所在的紐約設(shè)立了主要實(shí)驗(yàn)室，還在蒙特利爾、巴黎、倫敦和西雅圖設(shè)立了其它實(shí)驗(yàn)室。其中，蒙特利爾是Meta的AI研究實(shí)驗(yàn)室Fundamental AI Research的負(fù)責(zé)人Joelle Pineau的所在地。

FAIR開展的研究項(xiàng)目涉及到使用AI進(jìn)行語言翻譯和改進(jìn)核磁共振（MRI）掃描等場景。在ChatGPT發(fā)布之前，Meta一直致力于開發(fā)自己獨(dú)立的大語言模型。但是當(dāng)OpenAI在2022年初發(fā)布了基于GPT-3.5模型的用戶友好型聊天機(jī)器人ChatGPT后，Meta的領(lǐng)導(dǎo)層要求將AI研究融入更多產(chǎn)品，F(xiàn)AIR的研發(fā)壓力不斷增加。

Meta的首席執(zhí)行官馬克·扎克伯格（Mark Zuckerberg）曾說過，Meta在生成式AI的研發(fā)上落后于OpenAI后，他計(jì)劃將生成式AI作為Meta的核心優(yōu)先事項(xiàng)。此外，Meta還試圖通過定期發(fā)布關(guān)于其AI發(fā)展的新動(dòng)態(tài)，引起人們對其AI工作的興趣，推動(dòng)其AI工作宣傳。

2022年5月，F(xiàn)AIR中一個(gè)駐扎在美國的團(tuán)隊(duì)公開發(fā)布了OPT-175B模型。Meta聲稱，雖然編碼訓(xùn)練期間使用的內(nèi)容數(shù)量相同，但OPT-175B模型的能耗比OpenAI的GPT-3要低。有兩位知情人士說，在幾個(gè)月后，因?yàn)橐c谷歌的PaLM模型競爭，開發(fā)OPT-175B模型的團(tuán)隊(duì)開始開發(fā)第二個(gè)更大的模型。

與此同時(shí)，F(xiàn)AIR駐扎在巴黎的團(tuán)隊(duì)正在開發(fā)一種被稱為Llama的獨(dú)立大語言模型。相比OPT，這個(gè)模型更小。一位知情人士說，這個(gè)團(tuán)隊(duì)認(rèn)為較小的模型在生成對用戶問題的響應(yīng)方面會(huì)更加高效。

因此，兩個(gè)研發(fā)團(tuán)隊(duì)都需要使用Meta內(nèi)部的計(jì)算資源，一些研究人員覺得這就像是一場競爭。兩位知情人士透露，F(xiàn)AIR的一些領(lǐng)導(dǎo)就曾質(zhì)疑為什么會(huì)有兩個(gè)團(tuán)隊(duì)同時(shí)開展類似的項(xiàng)目，對有限的計(jì)算資源的爭奪加劇了團(tuán)隊(duì)之間的緊張關(guān)系，特別是相較于北美的OPT團(tuán)隊(duì)，巴黎的Llama團(tuán)隊(duì)獲得的計(jì)算資源較少，因此Llama團(tuán)隊(duì)感覺被忽視了。

Pineau說，Meta的計(jì)算資源如何分配是由來自不同業(yè)務(wù)部門的一組領(lǐng)導(dǎo)者根據(jù)每月情況決定的。這些決定取決于組織的優(yōu)先事項(xiàng)以及項(xiàng)目距離發(fā)布的時(shí)間。如果FAIR的成員對資源分配提出異議，那么分配情況的爭議就將升級匯報(bào)到Pineau那里。

Joelle Pineau（圖源：領(lǐng)英）

根據(jù)The Information報(bào)道，在采訪中，Pineau承認(rèn)Llama和OPT團(tuán)隊(duì)在計(jì)算資源分配的問題上存在“一些緊張關(guān)系”，雖然他們不能完全同意每個(gè)人想要的東西，但現(xiàn)在他們正試圖找到一種方法讓大家都覺得自己的聲音被聽到了。

據(jù)知情人士透露，2月份發(fā)表Llama原始研究論文的14名作者中，一半以上已經(jīng)離開了Meta。其中Timothée Lacroix、Guillaume Lample和Marie-Anne Lachaux目前在法國AI初創(chuàng)公司Mistral AI工作，這家公司是Lacroix和Lample于6月共同創(chuàng)立的。還有Llama的作者之一、FAIR的研究主任Armand Joulin也于5月離開了Meta，加入了蘋果公司。

Pineau在接受The Information采訪時(shí)提到，留住和吸引優(yōu)秀人才可能是她花費(fèi)最多時(shí)間的地方，因?yàn)闆]有優(yōu)秀的研究人員就什么都做不了。

而這些研究人員的離開提醒人們，無論是大型還是小型科技公司，在開發(fā)生成式AI時(shí)都面臨著計(jì)算能力短缺的緊張局勢，大型科技公司擁有比大多數(shù)公司更多的計(jì)算資源，但即便是這些公司，它們能提供的資源也是有限的。同時(shí)，隨著AI行業(yè)的發(fā)展，眾多企業(yè)都想要把AI融入其產(chǎn)品和服務(wù)中，對AI人才的需求在激增，Meta的大量研究人員離職也凸顯出，大型科技公司在留住珍貴的AI研究人員方面也面臨著挑戰(zhàn)。

除了計(jì)算資源分配問題讓人頭疼，不斷有人員離開也給FAIR的各個(gè)研究團(tuán)隊(duì)的士氣造成了影響。

2月，F(xiàn)AIR發(fā)布了開源模型Llama，并授權(quán)用于研究。有知道內(nèi)情的人士說，在Llam發(fā)布時(shí)間的前一周，F(xiàn)AIR巴黎分部負(fù)責(zé)人Antoine Bordes離開了Meta，他離開的理由是他在巴黎工作就像在加利福尼亞州工作一樣，工作時(shí)間顛倒混亂，這讓他感到疲憊不堪。

Antoine Bordes（圖源：彭博社）

Bordes的離職進(jìn)一步孤立了遠(yuǎn)在巴黎的Llama團(tuán)隊(duì)，使其與北美總部的領(lǐng)導(dǎo)層隔閡更深。Pineau在The Information的采訪中承認(rèn)，Bordes的離職確實(shí)讓他帶領(lǐng)的Llama團(tuán)隊(duì)人心惶惶、士氣低落。

不過Llama團(tuán)隊(duì)并不是唯一出現(xiàn)士氣問題的團(tuán)隊(duì)。幾個(gè)月來，OPT團(tuán)隊(duì)也不斷有人員離職，團(tuán)隊(duì)的人才一直在流失。FAIR根據(jù)OPT團(tuán)隊(duì)成員在職場社交平臺領(lǐng)英（LinkedIn）的個(gè)人資料發(fā)現(xiàn)，在2022年5月發(fā)表的一篇關(guān)于OPT的論文中列出了19位作者，這19位作者已經(jīng)有差不多一半不在Meta工作了。

從去年11月開始，扎克伯格在全公司范圍內(nèi)進(jìn)行裁員，F(xiàn)AIR也未能幸免。

兩位知情人士透露，今年2月，F(xiàn)AIR領(lǐng)導(dǎo)決定將互相競爭資源的大模型研發(fā)團(tuán)隊(duì)的一些成員聚集起來，集中精力開發(fā)后來的Llama 2模型。并且，OPT團(tuán)隊(duì)正在開發(fā)的更大模型被放棄了。Pineau說，OPT團(tuán)隊(duì)的人員流失是做出這個(gè)決定的原因之一，所有團(tuán)隊(duì)都希望在某個(gè)時(shí)候擴(kuò)展規(guī)模，這時(shí)候就必須要選擇一個(gè)團(tuán)隊(duì)或者讓幾個(gè)團(tuán)隊(duì)的成員一起工作。

同樣是2月，Meta成立了一個(gè)新團(tuán)隊(duì)，專注于為Meta的應(yīng)用程序開發(fā)生成式AI。這個(gè)新團(tuán)隊(duì)由蘋果公司前高管艾哈邁德·阿爾·達(dá)赫勒（Ahmad Al-Dahle）作為負(fù)責(zé)任，從FAIR吸納了大量人員，據(jù)Pineau說，其中包括開發(fā)Llama 2的團(tuán)隊(duì)成員，這進(jìn)一步削弱了FAIR的團(tuán)隊(duì)力量。

Llama 2（圖源:AI BUSINESS）

自從2月Llama被推出，該模型持續(xù)贏得收獲好評。據(jù)The Information之前的報(bào)道，在Llama發(fā)布后的幾個(gè)月，有AI研究人員使用Llama開發(fā)出了其它開源的大語言模型，如Vina，其功能幾乎與其它公司自主開發(fā)的模型不相上下。發(fā)布開源AI模型將使Meta受益匪淺，如扎克伯格所說，隨著開發(fā)者不斷改進(jìn)模型，Meta公司可以將這些改進(jìn)融入其廣告和消費(fèi)產(chǎn)品中。

Meta在7月發(fā)布了Llama 2，8月發(fā)布了Llama的代碼生成版本。最近，在公司的門洛帕克園區(qū)舉辦的生成式AI社交活動(dòng)中，Meta向與會(huì)者贈(zèng)送了駱駝毛絨玩具。

盡管Llama系列取得了成功，但由于Meta對其AI研究發(fā)展方向的想法正在發(fā)生變化，研究人員之間的緊張關(guān)系仍然存在。FAIR一直以來都有由研究人員領(lǐng)導(dǎo)的自下而上的文化，他們以推動(dòng)AI領(lǐng)域的突破為核心使命。但隨著扎克伯格越來越傾向于將AI融入Meta的應(yīng)用程序，F(xiàn)AIR的關(guān)注點(diǎn)也隨之縮小。他們?nèi)∠艘恍┎灰援a(chǎn)品為導(dǎo)向的研究，比如蛋白質(zhì)折疊。

同時(shí)，項(xiàng)目在專注以產(chǎn)品為導(dǎo)向開發(fā)生成式AI的團(tuán)隊(duì)與FAIR之間來回轉(zhuǎn)移。Pineau說，因?yàn)樯墒紸I發(fā)展得太快，大家正在共同探索，F(xiàn)AIR應(yīng)該負(fù)責(zé)哪個(gè)項(xiàng)目？生成式AI團(tuán)隊(duì)?wèi)?yīng)該負(fù)責(zé)哪個(gè)項(xiàng)目？最終，人們應(yīng)該會(huì)看到兩個(gè)團(tuán)隊(duì)都發(fā)布工作成果。

根據(jù)The Information報(bào)道，因?yàn)橛?jì)算資源分配問題、團(tuán)隊(duì)士氣問題、以及公司人員與AI研究方向安排問題，Llama的原始研發(fā)團(tuán)隊(duì)中一半以上的研究人員已經(jīng)離開了Meta。

失去了大量熟練的研究人員可能會(huì)對Meta造成影響，在生成式AI這個(gè)競爭激烈的領(lǐng)域中，Meta需要積極采取措施來留住人才，以此保證其生成式AI的發(fā)展戰(zhàn)略能夠順利實(shí)施。

未來，Meta會(huì)采取哪些措施減少人才流失，我們將持續(xù)關(guān)注。

來源：The Information

關(guān)鍵詞：