最好的開放式模型之一  Meta 強勢發布 Llama 3

編譯/黃竣凱

人工智慧(AI)巨頭Meta近日推出了Llama系列最新力作Llama 3,為該公司在開放式生成AI模型領域又立下一里程碑,雖然Llama 3全系列尚未完整問世,但Meta也已率先發布兩款新模型,性能相較前代有顯著進步。

Meta釋出最新的開源大型語言模型Meta Llama 3。圖取自Meta

最強生成式AI 模型

Meta表示,新發布的Llama 3 8B(80億參數)和Llama 3 70B(700億參數)模型,在各項基準測試上呈現「重大飛躍」,從對應參數規模而言,都已名列當今最頂尖的生成AI模型之列。這款模型是在兩個在定制的 24,000 個 GPU 集群上進行了訓練,是當今表現最佳的生成式AI 模型。

更多新聞:不讓Google和英特爾專美於前  Meta推新款AI晶片

基準測試

為證實這說詞,Meta也引用了Llama 3系列在眾多知名AI基準測試項目上的優異表現,包括測量知識等級的MMLU、測試技能獲取的ARC,及檢測推理能力的DROP。雖然這些基準測試的實用性和有效性仍待商榷,但仍是Meta等AI公司評估模型實力的標準作法。

超越GoogleOpenAIClaude

Meta稱,80億參數的Llama 3 8B在至少9項測試中,都超越了其他開放模型如Mistral 7B和Google的Gemma 7B,而更大型的700億參數Llama 3 70B,不僅在多項測試上力壓Google最新Gemini 1.5 Pro模型,有些成績甚至優於Anthropic公司的第二強模型Claude 3 Sonnet。在自家測試集評比中,Llama 3 70B也勝過Mistral Medium、OpenAI GPT-3.5和Claude Sonnet等對手。

Llama 3其他優勢

除基準分數優勢,Llama 3系列還展現出更強的「控制力」、較低拒答機率,及在一般常識、歷史、科學工程等題材回答的正確性。此外,Llama 3也有高達15萬億字元(約75億字)的龐大訓練數據集,比前代Llama 2多7倍之多,並包含更多程式碼和非英語數據,賦予新模型更多跨語言、跨領域適用力。

Meta訓練400億參數模型

展望未來,Meta也正在訓練超過400億參數的Llama 3超大型模型,並將引入多語種、多模態功能,讓對話、理解影像等能力與生成文字實力同等超凡,向頂級生成AI模型發起更猛烈的挑戰。

更多新聞:ReutersTech Crunch

瀏覽 191 次

覺得不錯的話就分享出去吧!

發佈留言

Back to top button