震憾！馬斯克一邊宣傳 AI 滅亡論，一邊卻為開源界帶來了希望的火種，大模型 Grok-1 開源了！

Grok-1 采用 Apache2.0 寬松協議，完全開源可商用，Grok-1 的開源模式打破了傳統(tǒng)的商業(yè)壁壘，讓更多人能夠參與到 AI 的發(fā)展中來。這無疑是開源界的一場革命！這到底是怎樣的黑科技？讓我們一起來揭開它神秘的面紗吧！

Grok-1生成提示詞后由Midjourney生成的3D神經網絡圖

Grok-1 的參數的數量達到了驚人的 3140 億，如此龐大的參數數量意味著它能夠處理更加復雜的任務，提供更加準確和全面的結果。其中25%的參數能夠針對特定的數據單元（Token）激活，遠遠高于GPT3.5模型參數大小（一般認為是1750億）。Grok-1的活躍參數高達 860 億，完整運行它大約需要 5 臺 H100。這種創(chuàng)新的架構設計使得模型能夠更加高效地處理各種復雜任務。在各個測試集中呈現的效果 Grok-1要比GPT-3.5、70b 的LLAMA2和Inflection-1要好。開源的預訓練基礎模型雖然沒有經過微調，但這也為廣大開發(fā)者提供了更多的可能性和發(fā)揮空間。

不僅如此，Grok-1 的知識截止日期為 2023 年 10 月，它擁有最新的知識和信息。而且，它的上下文窗口達到了 8912 個 tokens，大約相當于 4000 個漢字，能夠處理更長更復雜的文本，為用戶提供更深入的理解和分析。

Grok-1 的 8 名混合專家架構（MoE），每次輸入激活兩名專家的機制，就像是一場精準的接力賽，讓模型的表現更加出色。

Grok-1 的發(fā)布無疑將推動人工智能技術的發(fā)展，不僅為商業(yè)應用打開了大門，更是對OpenAI 的有力回應。這不僅是對OpenAI的挑戰(zhàn)，也是對整個開源界的推動。