Cloudera 推出含嵌入式 NVIDIA NIM 微服務的 AI Inference 推理服務，以加速 GenAI 開發與部署

Cloudera 的 AI Inference 服務使用 NVIDIA 加速運算和 NVIDIA NIM 微服務將大型語言模型（LLM）效能速度提升 36 倍，為企業提供增強效能、穩健安全性和可擴充靈活性

結合後的能力將公司各自的優勢匯集於單一產品：Cloudera 提供的可靠數據作為可信 AI 的基礎，結合 NVIDIA 加速運算及 NVIDIA AI Enterprise 軟件平台，以便在 Cloudera 上部署安全且高效能的私有 AI 應用程式。

聖塔克拉拉，加州及紐約, Oct. 09, 2024 (GLOBE NEWSWIRE) — 唯一真正的數據、分析和 AI 混合平台 Cloudera，今天推出了由 NVIDIA AI Enterprise 平台一部分的 NVIDIA NIM 微服務驅動的 Cloudera AI Inference。 作為業界首批提供嵌入式 NIM 微服務功能的 AI 推理服務之一，Cloudera AI Inference 以獨特的方式簡化了大型 AI 模型的部署和管理，讓企業能夠發揮數據的真正潛力，將生成式人工智能 (GenAI) 從試點階段推進到全面生產。

Deloitte 近期的數據顯示，企業採用生成式人工智能的最大障礙在於合規風險與管治疑慮，然而生成式人工智能的採用正迅速發展，今年第三季度有超過三分之二的機構為生成式人工智能增加預算。 為緩減這些疑慮，無論是在企業內部還是公共雲端中，企業必須轉向運行私有 AI 模型和應用程式。 這種轉變需要既安全又可擴充的解決方案，避免採用複雜、自我進行的方式。

Cloudera AI Inference 透過在企業控制範圍內提供安全的開發和部署，保護敏感數據不會洩漏至非私有、由供應商託管的 AI 模型服務。 該服務由 NVIDIA 技術所驅動，可協助以高效能速度為可信 AI 建立可靠數據，從而高效開發 AI 驅動的聊天機器人、虛擬助理和影響生產力和新業務增長的代理應用程式。

該公司與 NVIDIA 合作之後隨即推出 Cloudera AI Inference，此舉鞏固了 Cloudera 在各行各業應對數碼轉型和 AI 整合之複雜性的關鍵時刻推動企業 AI 創新的承諾。

開發人員可使用 NVIDIA Tensor Core GPU 建立、定制及部署企業級別的大型語言模型（LLM），其效能可提升高達 36 倍，與 CPU 相比，吞吐量可提高近 4 倍。 無縫用戶體驗將用戶介面（UI）和應用程式介面（API）直接與 NVIDIA NIM 微服務容器整合，免除命令列介面 (CLI) 和單獨監控系統的需要。 這項服務與 Cloudera 的 AI Model Registry 整合，還可透過管理模型端點與運作的存取控制，提升安全性與管治。 用戶受惠於統一的平台，所有模型，不論是大型語言模型部署或傳統模型，都可在單一服務下作無縫管理。

Cloudera AI Inference 的其他關鍵功能包括：

• 先進的 AI 功能：利用 NVIDIA NIM 微服務來完善開放原始碼的大型語言模型，包括 LLama 和 Mistral，以取得自然語言處理（NLP）、電腦視覺和其他 AI 領域的尖端進展。
• 混合雲端和私隱：在企業內部或雲端中運行工作負載，並透過虛擬私有雲端（VPC）部署來增強安全性和監管合規。
• 可擴展性與監控： 依靠自動擴充、高可用性 (HA) 與即時效能追蹤來偵測及糾正問題，並提供高效的資源管理。
• 開放應用程式介面和持續整合（CI）/ 持續部署（CD）整合：存取符合標準的應用程式介面進行模型部署、管理和監控，以便與持續整合 / 持續部署管道和機器學習營運（MLOp）工作流程作無縫整合。
• 企業安全：使用服務帳號、存取控制、數據譜系及稽核功能來加強模型存取。
• 風險管理部署：進行 A/B 測試和金絲雀發佈，以進行受控模型更新。

行業分析師 Sanjeev Mohan 表示：「企業都熱衷對生成式人工智能作出投資，但這不僅需要可擴充的數據 ，還需要安全穩妥、合規且管治良好的數據。 大規模私有 AI 生產化引入了 DIY 方法難以解決的複雜性。 Cloudera AI Inference 將先進的數據管理與 NVIDIA 的 AI 專業技術整合，可釋放數據的全部潛力，同時對數據進行保護，從而縮小了這方面的差距。 藉著企業級別的安全功能，如服務帳戶、存取控制和稽核，機構可有信心地保護其數據，並在企業內部或雲端中運行工作負載，從而以必要的靈活性和管治方式有效地部署 AI 模型。」

Cloudera 產品總監 Dipto Chakravarty 說「我們很高興能與 NVIDIA 合作，將 Cloudera AI Inference 推出市場，提供支援幾乎所有模型和使用案例的單一人工智能 / 機器學習 (ML) 平台，讓企業既能使用我們的軟件建立強大的 AI 應用程式，也能在 Cloudera 中運行這些高效能的 AI 應用程式。 藉著整合可透過先進效能促進更明智決策的 NVIDIA AI，Cloudera 正透過利用可靠數據大規模建立可信任 AI 應用程式，來支持其客户進行創新。」

NVIDIA AI 軟件、模型與服務副總裁 Kari Briski 表示：「當今企業需要將生成式人工智能與其現有的數據基礎設施無縫整合，以推動商業成果。 透過將 NVIDIA NIM 微服務整合到 Cloudera 的 AI Inference 平台中，我們讓開發人員能夠輕鬆創建值得信賴的生成式人工智能應用程式，同時促進自我維持的 AI 數據飛輪。」

這些新功能將於 10 月 10 日舉行的 Cloudera 頂級人工智能與數據會議 Cloudera EVOLVE NY 上亮相。 點按此處進一步瞭解這些最新更新如何深化 Cloudera 的承諾，使用生成式人工智能將企業數據從試點階段推進到生產階段。

關於 Cloudera
Cloudera 是唯一真正的數據、分析和 AI 混合平台。 Cloudera 管理的數據比其他僅提供雲端服務的供應商多 100 倍，使全球企業能夠將任何公共或私人雲端的一切類型數據，轉化成寶貴兼可信賴的真知灼見。 我們的開放數據湖庫透過可攜式雲端原生分析，提供可擴充兼安全數據管理，協助客戶將多個生成式人工智能模型引入其數據，同時維持私隱並確保負責任、可靠的人工智能部署。 全球最大的金融服務、保險、媒體、製造品牌和政府機構透過 Cloudera 使用其自身數據，來解決現在及未來看似不可能的問題。

欲了解更多資料，請瀏覽 Cloudera.com，並於 LinkedIn 和 X 關注我們。Cloudera 及相關商標均為 Cloudera, Inc. 的商標或註冊商標。所有其他公司和產品名稱可能為各自擁有者的商標。

聯絡人

Jess Hohn-Cabana
[email protected]