IBM與英偉達競爭對手Groq達成合作，加速企業AI部署

IBM公司和Groq公司今天宣布建立戰略合作伙伴關系，旨在通過將IBM的watsonx Orchestrate與Groq的硬件加速推理技術相結合，加速企業智能體人工智能的部署。

此次合作將讓IBM客戶通過IBM平臺訪問Groq的語言處理單元，目標是降低大規模低延遲AI的成本。

Groq是一家以硬件為核心的AI基礎設施公司，專門通過其專有的LPU架構進行推理加速。IBM表示，Groq的定制LPU比英偉達公司制造的傳統圖形處理器提供超過五倍的速度和更高的成本效率推理，即使在工作負載擴大時也能保持一致的性能。

兩家公司還將擴展對虛擬大語言模型和Red Hat的llm-d框架的支持，用于在Groq的LPU架構上進行大規模分布式推理。IBM的Granite模型將在GroqCloud上運行，這是一個為開發者提供大語言模型高速、低成本處理訪問的推理平臺。

IBM表示，Groq提供了一個安全、合規的AI部署平臺，滿足最嚴格的監管和安全要求。Watsonx Orchestrate用于使用預構建或定制設計的智能體自動化業務流程。與watsonx Orchestrate的集成旨在幫助IBM客戶更快、更低成本地將專用智能體推向生產。

Groq已籌集18億美元資金，包括上個月的7.5億美元融資輪，使該公司估值達到69億美元。

IBM表示，速度和編排的結合對醫療保健和金融等受監管行業至關重要。它舉例說明一家健康保險提供商使用Groq技術同時實時處理數千個患者和提供商的問題。

IBM軟件高級副總裁兼首席商務官Rob Thomas在聲明中表示："許多大型企業組織在實驗時有各種AI推理選擇，但當他們想要投入生產時，必須確保復雜工作流程能夠成功部署，以確保高質量的體驗。"

IBM表示，訪問Groq功能的服務立即可用。

Q&A

Q1：Groq的LPU技術相比英偉達GPU有什么優勢？

A：IBM表示，Groq的定制LPU比英偉達制造的傳統圖形處理器提供超過五倍的速度和更高的成本效率推理，即使在工作負載擴大時也能保持一致的性能。

Q2：IBM和Groq的合作對企業客戶有什么好處？

A：此次合作將讓IBM客戶通過IBM平臺訪問Groq的語言處理單元，目標是降低大規模低延遲AI的成本，并幫助客戶更快、更低成本地將專用智能體推向生產。

Q3：Groq技術在哪些行業有實際應用？

A：IBM表示速度和編排的結合對醫療保健和金融等受監管行業至關重要，并舉例說明一家健康保險提供商使用Groq技術同時實時處理數千個患者和提供商的問題。