NTT und Red Hat treiben KI-Analysen am Edge mit IOWN-Technologien voran

Im Rahmen der IOWN-Initiative (Innovative Optical and Wireless Network) haben NTT und Red Hat, in Zusammenarbeit mit NVIDIA und Fujitsu, gemeinsam eine Lösung entwickelt, die das Potenzial von Echtzeit-Datenanalysen mit KI am Edge erweitert. Unter Verwendung von Technologien, die vom IOWN Global Forum entwickelt wurden und aufbauend auf Red Hat OpenShift, der branchenführenden Hybrid-Cloud-Anwendungsplattform auf Basis von Kubernetes, wurde die Lösung aufgrund ihrer Praxistauglichkeit und Anwendungsfälle als IOWN Global Forum Proof of Concept (PoC)1,2 anerkannt.

Da KI, Sensortechnologie und Netzwerkinnovationen weiter an Bedeutung gewinnen, sind KI-Analysen am Rand des Netzwerks, dem Edge, extrem wichtig – insbesondere, weil fast täglich neue Datenquellen hinzukommen. Die Nutzung von KI-Analysen kann allerdings komplex sein und schleppend verlaufen und durch die Einführung neuer KI-Modelle und zusätzlicher Hardware zu höheren Wartungskosten für Software und Hardware führen. Mit der voranschreitenden Entwicklung von Edge-Computing-Fähigkeiten an entfernteren Standorten lassen sich die KI-Analysen näher an den Sensoren durchführen, was die Latenz verringert und die Bandbreite erhöht.

Die Lösung besteht aus dem IOWN All-Photonics Network (APN) und Technologien zur Beschleunigung der Datenpipeline in der IOWN Data-Centric Infrastructure (DCI). NTTs beschleunigte Datenpipeline für KI nutzt Remote Direct Memory Access (RDMA) over APN, um große Mengen Sensordaten effizient zu sammeln und zu verarbeiten. Die Container-Orchestrierungstechnologie von Red Hat OpenShift3 bietet große Flexibilität bei der Verwaltung von Workloads in der beschleunigten Datenpipeline über entfernte und geografisch verteilte Rechenzentren hinweg. NTT und Red Hat haben erfolgreich demonstriert, dass die Lösung den Stromverbrauch effektiv senken kann und zugleich eine niedrige Latenz für Echtzeitanalysen mit KI am Edge bietet.

Für den Proof of Concept wurde die Echtzeit-KI-Analyse-Plattform4 mit Yokosuka City als Basis für die installierten Sensoren und Musashino City als entferntes Rechenzentrum evaluiert – beide verbunden via APN. Das Ergebnis: Selbst bei einer großen Anzahl von Kameras konnte die Latenz, die für die Aggregation der Sensordaten für KI-Analysen erforderlich ist, im Vergleich zu klassischen KI-Inferencing-Workloads um 60 Prozent reduziert werden. Darüber hinaus ergaben die PoC-Tests, dass der Stromverbrauch der KI-Analysen für jede Kamera am Edge um 40 Prozent gegenüber klassischen Technologien reduziert werden konnte. Die Echtzeit-KI-Analyse-Plattform ermöglicht ein Scale-up von GPUs, sodass eine größere Zahl von Kameras eingesetzt werden kann, ohne dass die CPU zum Flaschenhals wird. Laut einer Versuchsberechnung, die von 1.000 Kameras ausgeht, ist zu erwarten, dass der Stromverbrauch um weitere 60 Prozent reduziert werden kann.

Die Highlights des Proof of Concept der Lösung sind:

  • eine beschleunigte Datenpipeline für KI-Inferencing, die von NTT bereitgestellt wird und RDMA over APN nutzt, um große Mengen Sensordaten von lokalen Standorten in den Speicher eines Beschleunigers in einem entfernten Rechenzentrum zu übertragen, wodurch der Protokoll-Overhead im normalen Netzwerk verringert wird. Anschließend wird die Datenverarbeitung im Beschleuniger mit weniger CPU-Overhead durchgeführt, sodass sich die Energieeffizienz des KI-Inferencing verbessert.
  • groß angelegte KI-Datenanalysen in Echtzeit auf Basis von Red Hat OpenShift, die Kubernetes-Operatoren5 unterstützen können, um die Komplexität bei der Einführung Hardware-basierter Beschleuniger – etwa GPUs und DPUs – zu minimieren. Das erhöht die Flexibilität und vereinfacht die Bereitstellung über verteilte Standorte hinweg, darunter auch entfernte Rechenzentren.
  • die im PoC für das KI-Inferencing genutzten NVIDIA A100 Tensor Core GPUs und NVIDIA ConnectX-6 NICs.

Die Lösung schafft die Voraussetzungen für intelligente KI-gestützte Technologien, die Unternehmen helfen, nachhaltig zu skalieren. Unternehmen profitieren von:

  • einem reduzierten Overhead bei der Sammlung großer Datenmengen;
  • einer verbesserten Datensammlung, die sich über Ballungsräume und entfernte Rechenzentren erstreckt und schnellere KI-Analysen ermöglicht;
  • der Möglichkeit, lokal verfügbare und potenziell erneuerbare Energien wie Solar- oder Windenergie zu nutzen;
  • einer höheren Sicherheit beim Gebietsmanagement durch die Nutzung von Videokameras als Sensoren.

Mehr Informationen zu der Lösung gibt es in der Session des IOWN Global Forum auf dem MWC in Barcelona am 29. Februar 2024.

Zitate​

Chris Wright, Chief Technology Officer and Senior Vice President of Global Engineering bei Red Hat und Board Director des IOWN Global Forum
„In den vergangenen Jahren haben wir im Rahmen des IOWN Global Forum daran gearbeitet, die Voraussetzungen für KI-Innovationen auf Basis von Open Source zu schaffen und Technologien bereitzustellen, die uns helfen, smartere Entscheidungen für die Zukunft zu treffen. Das ist eine wichtige und aufregende Arbeit, und die Ergebnisse zeigen, dass wir KI-gestützte Lösungen entwickeln können, die nachhaltig und innovativ für Unternehmen auf der ganzen Welt sind. Mit Red Hat OpenShift können wir NTT unterstützen, groß angelegte KI-Datenanalysen in Echtzeit und ohne Einschränkungen anzubieten.“

Zusätzliche Informationen

NTT Corporation R&D Forum Keynote: Innovationen für eine nachhaltige Zukunft für Mensch und Planet​

1 Innovative Optical and Wireless Network Global Forum: https://iowngf.org/​

2 PoC Reference: Reference Implementation Model for the Area Management Security Use Case, August 2022: https://iowngf.org/wp-content/uploads/formidable/21/IOWN-GF-RD-RIM_for_AM-S_UC_PoC_Reference_1.0.pdf​

3 Die Demonstration setzt auf Red Hat OpenShift 4.13 für die Container-Orchestrierung.

4 Der PoC setzt auf Fujitsu PRIMERGY RX2540 M7 mit NVIDIA A100 Tensor Core GPUs und NVIDIA ConnectX-6 NICs für das KI-Inferencing am Edge / in Rechenzentren in städtischen Randbezirken. Der PoC setzt außerdem auf NVIDIAs Bibliotheken für die Beschleunigung der Datenpipeline, etwa NVIDIA Rivermax, nvJPEG, CV-CUDA und das Unified Communication – X Framework.

5 https://www.redhat.com/en/topics/containers/what-is-a-kubernetes-operator