與正式亮相時隔4個月之后，創新工場董事長兼CEO李開復創辦的AI公司“零一萬物”有了新進展。
11月6日，零一萬物正式發布了開源大模型“Yi”。目前，Yi系列模型已在Hugging Face、ModelScope、GitHub三大全球開源社區平臺上線，并對外開放了商用申請。
李開復說，開源對推動世界技術革命的發展有著非常重要的意義，從Linux開始，到各種AI技術，再到今天AI 2.0，一直有開源的力量在不斷地推動一波波的技術浪潮。
這也是零一萬物選擇做開源大模型的原因。“零一萬物的發展受益于此前開源社區的一些集體智慧，這也讓我們有義務去做一些貢獻，”李開復表示，“很多人覺得大模型需要超級多的資源，只有OpenAI、微軟、谷歌、阿里、百度、騰訊這樣的公司才能做，但是任何技術都是需要全球化的參與，而開源的方向是讓大家都有機會能夠接觸到大模型。”
“燒錢”
今年3月，李開復在社交平臺正式宣布要創辦一家AI公司。到了7月，新公司正式定名為“零一萬物”，并已有數十名核心成員，主要集中在大模型技術、人工智能算法、自然語言處理、系統架構、算力架構、數據安全、產品研發等領域。
據當時介紹，零一萬物的聯創團隊成員包含前阿里巴巴副總裁、前百度副總裁、前滴滴/百度首席算法負責人、前谷歌中國高管、前微軟/SAP/Cisco/副總裁，算法和產品團隊背景均來自國內外大廠。
在發布Yi系列模型的同時，零一萬物的部分團隊成員也首度亮相。比如零一萬物技術副總裁及Pretrain負責人黃文灝曾先后任職于微軟亞洲研究院和智源研究院，非常早就介入了AI 2.0工作。
零一萬物技術副總裁及AI Infra負責人戴宗宏此前曾擔任過華為云AI CTO及技術創新部長、阿里達摩院AI Infra總監。他管理的Infra團隊核心成員主要來自于阿里、華為、微軟、商湯，這些人曾經參與支持了4個千億參數大模型規模化訓練，管理過數萬張GPU卡。
有了豐富的人才儲備之后，零一萬物還需要解決數據和算力等問題。據李開復介紹，零一萬物想盡了各種辦法和渠道解決數據問題。“我們在外購買了很多數據，也動用網絡爬蟲，去合法獲取允許的網站內容，同時也用了很多網上已經開源分享的數據。不過在拿到這些數據后，其中有很多重復，質量也參差不齊，所以我們對這些數據做了非常系統化的篩選，最終是從100多T的數據中挑選出3T”。
在算力方面，李開復則提到，“在零一萬物初創階段，就判斷GPU比黃金重要，所以很早就在規劃各種資源，現在零一萬物的算力資源足夠用到18個月之后”。
而對于一家AI公司尤其是做大模型的公司來說，無論是招募人才，還是購置數據和算力資源，都是一筆不菲的投入。李開復也透露稱，在沒有完成新一輪融資之前，零一萬物已經負債幾千萬美元。
不過，零一萬物也已得到資本的青睞。據記者了解，零一萬物已完成新一輪融資，由阿里云領投，估值超過了10億美元。這也意味著，李開復只用了8個月的時間，就創造出一個獨角獸公司。
成績
據李開復介紹，零一萬物從今年6、7月份才開始寫下第一行代碼，在短短四個月的時間內，零一萬物卻交出一份亮眼的成績單。
此次發布的Yi系列模型包含34B和6B兩個版本。其中，截至11月5日的數據，Yi-34B在Hugging Face英文測試公開榜單Pretrained預訓練開源模型排名中，以70.72的分數位列全球第一，超過了LLaMA2-70B和Falcon-180B等眾多大尺寸模型。
在中文方面，Yi-34B在C-Eval中文權威榜單排行榜上也超越了全球所有開源模型。其中在CMMLU、E-Eval、Gaokao三個主要的中文指標上，Yi-34B的表現也已超越GPT-4。
另外值得注意的是，Yi-34B將發布可支持200K上下文窗口（context window）版本，可以處理約40萬漢字超長文本輸入。相比之下，OpenAI的GPT-4上下文窗口只有32K，文字處理量約2.5萬字。
在語言模型中，上下文窗口是大模型綜合運算能力的金指標之一，對于理解和生成與特定上下文相關的文本至關重要，擁有更長窗口的語言模型可以處理更豐富的知識庫信息。而零一萬物，也成為第一家將超長上下文窗口在開源社區開放的大模型公司。
除了此次發布的大模型產品之外，李開復還重點介紹了背后的一些研發能力。其表示，憑借AI Infra的支撐，Yi-34B模型訓練成本下降了40%，“也就是說別的公司如果需要2000臺GPU訓練這樣一個模型，而我們可能只要1200張”。
同時，經過幾個月大量的建模和實驗，零一萬物自研出一套“規模化訓練實驗平臺”，用來指導模型的設計和優化。現在，數據配比、超參搜索、模型結構實驗等都可以在小規模實驗平臺上進行，小尺寸模型成功后，再應用到大尺寸模型當中，在訓練34B模型時，零一萬物已經驗證了該平臺的有效性，并且每個節點的預測誤差都控制在了0.5%以內。
基于這樣的模型預測能力，可大大減少訓練誤差對于計算資源的浪費，同時也讓以往的大模型訓練碰運氣的“煉丹”過程變得極度細致和科學化。李開復宣布，在完成Yi-34B預訓練的同時，零一萬物已經啟動下一個千億參數模型的訓練。
未來
在談到大模型的未來前景時，李開復再次強調，大模型時代不僅是人類跨向AGI的重要一步，同時也是一個巨大的平臺機會，這個平臺可以比肩PC時代、移動互聯網時代。
而在這樣一個時代，最大的商機是創造出超級應用（Super App）。在李開復看來，Super App是大部分人需要花大量時間，每天必須有它才能得到自己的價值體現。比如PC時代的微軟Office，移動互聯網時代的微信等，都是Super App。
所以，做出一款Super App也是零一萬物在努力的目標。“我們的Super App雛形很快就會跟大家見面，”李開復表示，“在這個階段，我們也不認為我們自己就能把Super App做出來，但Super App一定都是簡單的開始，然后用精益創業的方法不斷迭代，最終迭代成超級應用”。
這是零一萬物做Super App的方法論，李開復認為這也將是未來十萬甚至上百萬開發者去嘗試的方法論。AI 2.0充滿著機會，零一萬物希望自己能夠開發出一個Super App，同樣，任何一個創業者如果找對了方向，并進行快速迭代，那也有可能打造出AI 2.0時代的Super App。
另外從企業發展角度，李開復也表示，在AI 2.0時代，商業化非常重要。在AI 1.0時代，很多AI公司沒有做好商業化，很早就被淘汰，而那些做出收入的，在持續性上也做得不夠好，所以AI 1.0的公司交出的成績單并不理想。
這也為AI 2.0時代的創業公司敲響了警鐘。“我們做App就是朝著能夠快速有收入，并且能夠產生非常好的利潤，讓收入變得可持續。現在那些發展成功的公司，都是因為他們的收入有質量，在零一萬物看來，應用的收入質量要高于做ToB，所以我們也選擇堅定不移地走ToC路徑。”李開復說。
來源：21世紀經濟報道 白楊
責任編輯：李賽男
請輸入驗證碼