70 億 / 130 億參數，微軟研究院發布 Orca 2 LLM：性能媲美 10 倍參數模型

IT之家 11 月 22 日消息，微軟研究院（Microsoft Research）近日發布新聞稿，推出了相比較主流語言模型更小的 Orca 2 LLM，不過依然可以回答一些復雜問題。

微軟 Orca 2 共有 70 億和 130 億兩種尺寸，部分融合了 Llama 2 LLM 參數，通過融合定制的高質量合成數據，提供更準確、更優秀的合成數據。

微軟表示 Orca 2 使用擴展的、高度定制的合成數據集進行訓練。Orca 2 支持分步處理、回憶然后生成、回憶-原因-生成、提取-生成和直接回答等各種推理技術，同時還能為不同的任務選擇不同的解決方案策略。

Orca 2 模型相比較 Llama 2 和 WizardLM 等大型語言模型，在痛苦理解、常識推理、多步推理、數學問題解決、閱讀理解等方面更為優秀。

微軟表示：“我們的初步結果表明，Orca 2 的性能明顯優于類似尺寸的模型。它還達到了與至少大 10 倍的模型相似或更好的性能水平，展示了為較小模型配備更好推理能力的潛力。”

IT之家附上微軟 Orca 2 模型的介紹鏈接，感興趣的用戶可以深入閱讀。