原標(biāo)題:OpenAI 將完全遷移到 Facebook的Pytorch 機(jī)器學(xué)習(xí)框架! 來(lái)源:云頭條
OpenAI今天宣布其未來(lái)的項(xiàng)目將遷移到Facebook的PyTorch機(jī)器學(xué)習(xí)框架,回避了谷歌日漸老邁的TensorFlow平臺(tái),這可以視作是這個(gè)社交網(wǎng)絡(luò)巨頭取得的勝利。
OpenAI是總部位于舊金山的AI研究公司,由首席技術(shù)官Greg Brockman、首席科學(xué)家Ilya Sutskever、Elon Musk及其他人共同創(chuàng)辦,并得到linkedIn聯(lián)合創(chuàng)始人Reid Hoffman和Y Combinator前總裁Sam Altman等知名人士的支持。該公司在一篇博文中提到PyTorch的效率、可擴(kuò)展性和采用率是決定改弦易轍的幾個(gè)原因。
該公司在一份聲明中說(shuō):“我們現(xiàn)統(tǒng)一使用PyTorch作為OpenAI的深度學(xué)習(xí)框架。在過(guò)去,我們根據(jù)各種框架的相對(duì)優(yōu)點(diǎn)決定項(xiàng)目使用何種框架。現(xiàn)在我們決定統(tǒng)一采用PyTorch,以便我們的團(tuán)隊(duì)更容易創(chuàng)建和共享經(jīng)過(guò)優(yōu)化的模型。展望未來(lái),我們將主要使用PyTorch作為我們的深度學(xué)習(xí)框架,但有時(shí)會(huì)因特定的技術(shù)原因而使用其他框架。我們很高興能加入一個(gè)迅速壯大的開(kāi)發(fā)者社區(qū)(包括Facebook和微軟等企業(yè)組織),共同提升規(guī)模和性能。”
OpenAI表示,它的許多團(tuán)隊(duì)已經(jīng)將工作遷移到PyTorch上,會(huì)在今后幾個(gè)月為PyTorch社區(qū)做出貢獻(xiàn)。此外該公司表示,計(jì)劃在2020年初提供PyTorch方面的Spinning Up in Deep RL教學(xué)資源,此后打算研究利用數(shù)據(jù)并行訓(xùn)練擴(kuò)展AI系統(tǒng)、利用模型可解釋性直觀顯示那些系統(tǒng),并建立通用的機(jī)器人框架。(OpenAI正在為其高度優(yōu)化的blockparse內(nèi)核編寫PyTorch綁定代碼,表示會(huì)在今后幾個(gè)月內(nèi)開(kāi)源那些綁定代碼。)
Facebook于2016年10月公開(kāi)發(fā)布的PyTorch是一個(gè)基于Torch的開(kāi)源機(jī)器學(xué)習(xí)庫(kù),Torch是一種科學(xué)計(jì)算框架和腳本語(yǔ)言,而這種語(yǔ)言又基于Lua編程語(yǔ)言。從2018年3月開(kāi)始,PyTorch合并了Caffe2,這種深度學(xué)習(xí)工具集由加利福尼亞大學(xué)伯克利分校的研究人員率先開(kāi)發(fā),并由Facebook的AI研究實(shí)驗(yàn)室進(jìn)一步開(kāi)發(fā)。
雖然TensorFlow的歷史要久一點(diǎn)(自2015年11月問(wèn)世),但PyTorch繼續(xù)在數(shù)據(jù)科學(xué)和開(kāi)發(fā)者社區(qū)迅速受到追捧。據(jù)GitHub的2018年Octoverse報(bào)告顯示,PyTorch在過(guò)去12個(gè)月成為增長(zhǎng)速度最快的開(kāi)源項(xiàng)目之一。Facebook最近透露,2019年,為該平臺(tái)貢獻(xiàn)代碼的人數(shù)同比猛增50%以上,達(dá)到近1200人。The Gradient網(wǎng)站進(jìn)行的分析發(fā)現(xiàn),2019年的各大AI會(huì)議上展示的絕大多數(shù)論文提到的技術(shù)是用PyTorch實(shí)現(xiàn)的。O Reilly特別指出,單單在2019年上半年,PyTorch在論文中的引用率劇增了194%以上。
許多領(lǐng)先的機(jī)器學(xué)習(xí)軟件項(xiàng)目都建立在PyTorch的基礎(chǔ)上,包括優(yōu)步的Pyro和HuggingFace的Transformers,這不足為奇。軟件開(kāi)發(fā)商Preferred Networks最近加入了這個(gè)行列,承諾在不久的將來(lái)從其定制的AI開(kāi)發(fā)框架Chainer遷移到PyTorch。