Red Hat, der weltweit führende Anbieter von Open-Source-Lösungen, hat heute mit Red Hat AI 3eine umfangreiche Weiterentwicklung seiner Enterprise-AI-Plattform angekündigt. Die Kombination der neuesten Funktionen von Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) und Red Hat OpenShift AI hilft dabei, die Komplexität von hochperformanter KI-Inferenz deutlich zu reduzieren. Unternehmen können ihre Workloads damit sehr viel schneller von einem Proof-of-Concept in die Produktionsphase überführen und die Zusammenarbeit rund um KI-gestützte Anwendungen verbessern.
Immer mehr Unternehmen haben die experimentelle Phase ihrer KI-Projekte abgeschlossen und stehen jetzt vor erheblichen Herausforderungen – darunter Datenschutz, Kostenkontrolle und dem Management einer Vielzahl von Modellen. Der Report The GenAI Divide: State of AI in Business des Massachusetts Institute of Technology NANDA Project zeigt die Realität von KI im Betrieb: Rund 95 Prozent der Unternehmen erzielen keine messbaren finanziellen Erträge aus Investitionen in Höhe von rund 40 Milliarden US-Dollar.
Red Hat AI 3 zielt darauf ab, Lösungen für diese Herausforderungen zu liefern. Die Plattform bietet CIOs und IT-Führungskräften eine einheitliche und konsistente Umgebung, mit der sie ihre Investitionen in leistungsstarke Computing-Technologien maximieren können. Damit ist es ebenfalls möglich, KI-Workloads schneller zu skalieren sowie über hybride Multi-Vendoren-Umgebungen zu verteilen – und gleichzeitig die teamübergreifende Zusammenarbeit an modernen KI-Workloads wie Agenten zu verbessern. Aufbauend auf offenen Standards unterstützt Red Hat AI 3 Unternehmen genau dort, wo sie sich aktuell auf ihrer KI-Reise befinden. Die Plattform unterstützt jedes Modell auf jedem KI-Beschleuniger, von Rechenzentren über Public-Cloud- und souveräne KI-Umgebungen bis hin zum Edge.
Vom Training in die Praxis: Der Wandel hin zu Enterprise-KI-Inferenz
Wenn Unternehmen KI-Projekte in die Produktion überführen, verschiebt sich der Fokus von Training und Feinabstimmung der Modelle hin zur Inferenz – also der Produktionsphase. Red Hat AI 3 legt den Schwerpunkt auf skalierbare und kosteneffiziente Inferenz, die auf den erfolgreichen Community-Projekten vLLM und llm-d sowie der Expertise zur Modelloptimierung von Red Hat basiert, um die produktionsreife und zuverlässige Bereitstellung großer Sprachmodelle (LLMs) zu ermöglichen.
Um CIOs dabei zu unterstützen, das Maximum aus ihren hochwertigen Hardwarebeschleunigern herauszuholen, führt Red Hat OpenShift AI 3 die allgemeine Verfügbarkeit von llm-d ein, die eine native Ausführung von LLMs auf Kubernetes völlig neu denkt. llm-d ermöglicht eine intelligente, verteilte Inferenz, nutzt den bewährten Ansatz der Kubernetes-Orchestrierung und die Performance von vLLM in Kombination mit zentralen Open-Source-Technologien wie der Kubernetes Gateway API Inference Extension, der NVIDIA Dynamo Low Latency Data Transfer Library (NIXL) sowie der DeepEP Mixture of Experts (MoE) Communication Library. Daraus ergibt sich eine Reihe an Vorteilen für Unternehmen:
- Sinkende Kosten und steigende Effizienz durch disaggregiertes Serving, was zu einer besseren Performance pro investiertem Euro führt.
- Einfache Bedienung und maximale Zuverlässigkeit dank vordefinierter „Well-lit Paths“, die die Bereitstellung von Modellen auch im großen Maßstab auf Kubernetes optimieren.
- Maximale Flexibilität durch eine plattformübergreifende Unterstützung der Bereitstellung von LLM-Inferenz auf verschiedenen Hardware-Beschleunigern, darunter NVIDIA und AMD.
llm-d baut auf vLLM auf und entwickelt die Single-Node-Hochleistungs-Inferenz-Engine zu einem verteilten, konsistenten und skalierbaren Serving-System weiter. Ziel ist eine vorhersehbare Performance, messbarer ROI und effektive Infrastrukturplanung. Alle Verbesserungen adressieren direkt die Herausforderungen, die mit der Verarbeitung hochvariabler LLM-Workloads und der Bereitstellung umfangreicher Modelle wie Mixture-of-Experts-Modellen (MoE) verbunden sind.
Eine einheitliche Plattform für kollaborative KI
Mit Red Hat AI 3 bietet Red Hat jetzt eine einheitliche, flexible Plattform an, die ganz konkret auf die kollaborativen Anforderungen bei der Entwicklung produktionsreifer generativer KI-Lösungen zugeschnitten ist. Sie wurde entwickelt, um die Arbeit mit KI stark zu vereinfachen und durch die Förderung der teamübergreifenden Zusammenarbeit und einheitlichen Workflows spürbaren Mehrwert zu schaffen. Die Plattform bietet damit sowohl Plattform- als auch KI-Ingenieuren eine gemeinsame Umgebung, um ihre KI-Strategie gemeinsam umzusetzen. Zu den neuen Funktionen, die darauf ausgerichtet sind, die für die Skalierung vom Proof-of-Concept bis zur Produktion erforderliche Produktivität und Effizienz zu gewährleisten, gehören:
- Model-as-a-Service-Funktionen (MaaS) basieren auf verteilter Inferenz und ermöglichen es IT-Teams, als eigene MaaS-Anbieter zu agieren, gängige Modelle zentral bereitzustellen und sowohl KI-Entwicklern als auch KI-Anwendungen On-Demand-Zugriff zu gewähren. Dies ermöglicht ein besseres Kostenmanagement und unterstützt Anwendungsfälle, die aufgrund von Datenschutz- oder Privacy-Bedenken nicht auf öffentlichen KI-Diensten ausgeführt werden können.
- Der KI-Hub ermöglicht es Plattformingenieuren, grundlegende KI-Assets zu suchen, bereitzustellen und zu verwalten. Der zentrale Hub enthält einen kuratierten Katalog von Modellen, einschließlich validierter und optimierter Gen-AI-Modelle, einem Register zur Verwaltung des Lebenszyklus von Modellen und einer Produktivumgebung zur Konfiguration und Überwachung aller auf OpenShift AI laufenden KI-Assets.
- Gen AI Studio bietet KI-Ingenieuren eine praktische Umgebung, in der sie mit Modellen interagieren und Prototypen für KI-Anwendungen der neuen Generation noch schneller erstellen können. Mit der KI-Assets-Endpunktfunktion können Ingenieure verfügbare Modelle und MCP-Server (Model Context Protocol), die die Interaktion von Modellen mit externen Tools optimieren sollen, leichter finden und nutzen. Der integrierte Playground bietet dabei eine interaktive, zustandslose Umgebung, um mit Modellen zu experimentieren, Eingabeaufforderungen zu testen und Parameter für Anwendungsfälle wie Chat und Retrieval-Augmented Generation (RAG) anzupassen.
- Neue von Red Hat validierte und optimierte Modelle sind enthalten, um die Entwicklung zu vereinfachen. Die kuratierte Auswahl umfasst beliebte Open-Source-Modelle wie gpt-oss von OpenAI, DeepSeek-R1 und spezialisierte Modelle wie Whisper für die Sprache-zu-Text-Umwandlung und Voxtral Mini für sprachgesteuerte Agenten.
Das Fundament für die nächste Generation von KI-Agenten
KI-Agenten sind dabei, die Art und Weise, wie Anwendungen entwickelt werden, grundlegend zu verändern. Dabei stellen ihre komplexen autonomen Workflows allerdings hohe Anforderungen an die Inferenz-Fähigkeiten. Mit der Version Red Hat OpenShift AI 3 legt Red Hat das Fundament für skalierbare agentenbasierte KI-Systeme – nicht nur durch erweiterte Inferenz-Funktionen, sondern auch durch neue Features und Verbesserungen, die sich speziell an das Management von Agenten richten.
Um die Erstellung und Bereitstellung von Agenten zu beschleunigen, hat Red Hat einen Unified API Layer auf Basis des Llama Stack eingeführt, um die Entwicklung konkret an Branchenstandards wie OpenAI auszurichten. Darüber hinaus setzt sich Red Hat für ein offeneres und interoperableres Ökosystem ein und gehört zu den frühen Anwendern des Model Context Protocol. Der aufstrebende leistungsstarke Standard soll die Interaktion von KI-Modellen mit externen Tools vereinfachen, eine zentrale Funktion moderner KI-Agenten.
Red Hat AI 3 führt darüber hinaus ein neues modulares und erweiterbares Toolkit zur Modellanpassung ein, das auf der bestehenden InstructLab-Funktionalität aufbaut. Es umfasst spezialisierte Python-Bibliotheken, die Entwicklern mehr Flexibilität und Kontrolle bieten. Grundlage des Toolkit sind Open-Source-Projekte wie Docling für die Datenverarbeitung, das die Aufnahme unstrukturierter Dokumente in ein KI-lesbares Format deutlich vereinfacht. Außerdem enthält das Toolkit ein flexibles Framework zur Erzeugung synthetischer Daten sowie einen Trainings-Hub für das Finetuning von LLMs. Ein integrierter Evaluations-Hub unterstützt KI-Ingenieure bei der Überwachung und Validierung ihrer Ergebnisse – und ermöglicht es ihnen, ihre eigenen Daten gezielt zu nutzen, um noch genauere und relevantere KI-Modelle zu entwickeln.
Joe Fernandes, Vice President und General Manager, AI Business Unit, Red Hat
„Wenn Unternehmen ihre KI-Projekte von der Experimentierphase in den produktiven Einsatz überführen, sehen sie sich neuen Herausforderungen gegenüber – vor allem bei Komplexität, Kosten und Kontrolle. Mit Red Hat AI 3 stellen wir eine Open-Source-Plattform auf Enterprise-Niveau bereit, die genau diese Hürden abbaut. Dank neuer Funktionen wie verteilter Inferenz mit llm-d und einer soliden Basis für agentenbasierte KI unterstützen wir IT-Teams dabei, die nächste Generation von KI-Lösungen souverän, flexibel und auf jeder Infrastruktur zu betreiben.“
