Mistral Large來了，OpenAI或迎勁敵

Mistral AI昨夜放大招，正式發布Mistral Large模型，并且推出對標ChatGPT的對話產品：Le Chat。

作為Mistral新推出的旗艦模型，本次發布的Mistral Large在常識推理和知識問答上均表現出色，綜合評分超過Gemini Pro及Claude 2，僅次于GPT-4，榮登世界第二的寶座。

說到Mistral相信大家并不陌生。

對，就是那個二話不說上磁力鏈接的Mistral。

去年12月8日，Mistral AI在幾乎沒有任何預熱的情況下，直接在Twitter上低調發布了最新大模型的下載磁力鏈接，引爆整個AI圈。

清新脫俗的畫風讓Jim Fan不禁高呼：Magnet link is the new arxiv。

時隔不到3個月，這次Mistral又帶給了我們怎樣的驚喜呢？

驚喜1：精通多國語言，能文能武能Coding

根據官方文檔描述，Mistral Large模型精通包括英語、法語、西班牙語、德語和意大利語在內的多國語言，達到母語水平。

在HellaSwag、Arc-C、MMLU等benchmark上，Mistral Large的性能表現碾壓Llama 2 70B，后者是目前世界公認的最強開源大模型。

與此同時，Mistral Large在數學和代碼上的能力也不弱，在MBPP pass@1、Math maj@4、GSM8K maj@8 and GSM8K maj@1 上均有相當不錯的表現，超過了GPT-3.5。

驚喜2：價格只有GPT-4的1/7，支持32k上下文窗口

32k tokens的上下文窗口可能不太直觀，具體來說約等于2萬個英文單詞的長度。

GPT-4-32k目前的價格是這樣的：一百萬個輸入token花費60美元，一百萬個輸出token對應120美元。

相比之下，根據Mistral Large API的報價，一百萬個輸入token定價8美元，一百萬個輸出token對應24美元。

同等上下文窗口的條件下，Mistral Large的定價比GPT-4便宜了5-7.5倍，可謂誠意滿滿。

驚喜3：牽手Azure，微軟生態漸成

值得玩味的是，在模型發布的同時，Mistral特意提及了與微軟Azure的合作。Azure的客戶可以直接通過Azure AI Studio和Azure Machine Learning訪問Mistral的模型。

微軟作為OpenAI背后的金主，一直以來也在與其他大模型公司積極合作。

去年7月，微軟就與Meta達成合作，將Llama 2模型上架到Azure供客戶使用。

不得不佩服Nadella的戰略眼光和生態手腕。

MoE再下一城

Mistral一直以來是MoE路線的擁躉。去年12月初發布的Mistral 8×7B就是一個技術MoE架構的大模型。

當時Arthur就發出預告，將在24年推出性能對標GPT-4的MoE模型，沒想到幸福來得這么快。

MoE的全稱是Mixture of Experts，即混合專家模型。

MoE是一種非常有特色的算法架構，通過引入“專家+路由”的機制，在增強Transformer模型性能的同時，也有效降低了訓練成本。

通過引入稀疏性（Sparsity），讓大模型在推理時，每次只激活部分參數，讓不同的“專家”網絡來解決不同的問題。

這樣一來，針對不同的輸入，大模型能夠按需選擇性的激活不同的“專家”網絡，使得大模型在算力成本不變的前提下，大幅提升參數規模。

在一項叫做GLaM的研究中，研究員訓練了一個性能等同于GPT-3的MoE模型，只消耗了1/3的能源。在算力昂貴的今天，MoE為我們打開了一扇窗。

關于MoE架構，此前我專門寫過一篇文章《【干貨】大模型前瞻研究：解碼MoE架構》，做過詳細的分析和探討。

今年初，我在Nomura的分享會上，也專門講過MoE架構，建議大家看看這篇報告，還是輸出了不少干貨的。