Meta 人工智能研究院今天推出了 Llama 3 模型，推出該模型經過 15T (萬億) 個 tokens 訓練，工智供提供經過預訓練和指令微調的型提性語言模型，分為 8B 和 70B 參數版本，參數可以在各種環境中使用。版本

相較于 Llama 2，大幅度提點網新版本提供新功能并改進推理能力、升藍大幅度降低錯誤拒絕率、推出支持多語言和多模式、工智供具有更長的型提性上下文，同時還提高推理和編程等核心功能的參數整體性能。

在一些基準測試中 Llama 3 性能超過 Mistral-7B、版本Mistral 8x22B 以及 Google Gemini Pro 1.0 版，大幅度提點網也是升藍目前開放 AI 模型中性能最好的一個。

為了盡可能提高 Llama 3 在聊天場景中的推出性能，Meta 還對指令微調方法進行了創新，包括使用監督微調、拒絕采樣、近端策略優化和直接策略優化進行組合，尤其是通過近端策略優化和直接策略優化大幅度提高 Llama 3 的推理和編程性能。

Meta 舉例稱，如果用戶向模型提出了一個它難以回答的推理問題，此時模型有時候會產生正確的推理軌跡，模型知道如何產生正確答案，但不知道如何選擇這個答案，而對偏好排名的訓練就能讓模型學習如何選擇這個答案。

安全方面，Meta 在 Llama Guard 2 和 Cyber Sec Eval 2 上進行更新，同時還 引入了 Code Shield，一種用于過濾大型語言模型生成不安全代碼的推理時間防護欄，這可以提高 Llama 3 的整體安全性。

即日起 Llama 3 模型在各大云計算平臺上提供，包括亞馬遜 AWS 和 Google Cloud 等平臺，開發者亦可自行下載模型進行部署。

在 Llama 3 發布之后，Meta 正在訓練下一代 Llama，其中最大的模型有超過 400B 的參數，不過這些模型仍然還在訓練中。Meta 希望能夠在未來幾個月推出多模態版本，并且繼續擴大上下文支持。

相關內容：

李彥宏在百度 AI 開發者大會上繼續稱開源模型只會越來越落后