Verbesserungen im Training, in der Inferenz und beim Modell

Nvidia lässt Sprach-KI schneller lernen und verständiger antworten

| Autor: Ulrike Ostler

Die Barrieren für Chatbots und Sprachassistenten fallen ....
Die Barrieren für Chatbots und Sprachassistenten fallen .... (Bild: Nvidia)

Sprachdienste auf der Basis Künstlicher Intelligenz gibt es seit Jahren. Doch waren die Möglichkeiten begrenzt; Chatbots etwa scheiterten an den Möglichkeiten verschiedener Interpretationen beziehungsweise dem Erkennen des Kontextes. Es war schlicht unmöglich, extrem große KI-Modelle in Echtzeit einzusetzen. Nvidia nun einerseits Geschwindigkeitsrekorde bei KI-Trainings und -Inferenz erzielt und zugleich das bisher größte Sprachmodell entwickelt.

Die IT kommt der Echtzeit-Kommunikations-KI beständig näher. Doch die KI-Plattform von Nvidia ist laut Hersteller die erste, die eines der fortschrittlichsten KI-Sprachmodelle - BERT - in weniger als einer Stunde trainiert und die KI-Inferenz in etwas mehr als 2 Millisekunden vollständig erfasst. Dieses Leistungsniveau ermöglicht es Entwicklern, die IT-Sprachkenntnisse für groß angelegte Anwendungen zu nutzen, um sie Hunderten von Millionen Verbrauchern weltweit zur Verfügung zu stellen. Zu den ersten Anwendern der Nvidia-Technik gehören Microsoft und einige der innovativsten Start-ups.

Es wird erwartet, dass KI-Dienste, die auf natürlichem Sprachverständnis basieren, in den kommenden Jahren exponentiell wachsen werden. Die Analysten von Juniper Research etwa erwarten, dass allein die digitalen Sprachassistenten innerhalb der nächsten vier Jahre von 2,5 Milliarden auf 8 Milliarden zunehmen. Darüber hinaus prognostizieren Gartner-Analysten, dass bis 2021 15 Prozent aller Interaktionen im Kundenservice vollständig von KI bearbeitet werden, was einem Anstieg von 400 Prozent gegenüber 2017 entspricht.

Der „Nvidia DGX SuperPOD“, mit dem die Leistungssteigerung möglich war, besitzt 1.472 „Nvidia V100“ GPUs .
Der „Nvidia DGX SuperPOD“, mit dem die Leistungssteigerung möglich war, besitzt 1.472 „Nvidia V100“ GPUs . (Bild: Nvidia)

Die Verbesserungen

Nvidia hat nun einige Optimierungen seiner KI-Plattform erreichen können: im Training, in der Ausführung und bei der Verarbeitung größerer Modelle.

Das Training: Bidirectional Encoder Representations from Transformers (BERT) ist eines der fortschrittlichsten Sprachmodelle. Der Betrieb auf einem „Nvidia DGX SuperPOD“ mit 92 „DGX-2H“ Systemen beziehungsweise 1.472 „Nvidia V100“ GPUs hat die bisher typische Trainingszeit für BERT-Large von mehreren Tagen auf 53 Minuten verkürzt. Darüber hinaus schulte Nvidia BERT-Large in 2,8 Tagen auf nur einem Nvidia DGX-2-System und demonstrierte damit die Skalierbarkeit der Grafikprozessoren für das Sprachtraining.

Die Nvidia-GPU „T4“
Die Nvidia-GPU „T4“ (Bild: Nvidia)

Die Inferenz: Mit „Nvidia T4“-Grafikprozessoren, auf denen „Nvidia TensorRT“ läuft, scaffte der Hersteller das Ausführen einer Anwendung, die auf BERT-Base SQuAD-Datensatz basiert, in gerade einmal 2,2 Millisekunden. Damit liegt der Inference-Wert deutlich unter dem Schwellenwert von 10 Millisekunden für viele Echtzeitanwendungen, Die meisten CPU-Systeme benötigen etwa 40 Millisekunden.

Das Modell: Sprache ist komplizierte und die dafür notwendigen Modelle groß. Nvidia Research hat nun das weltweit größte Sprachmodell auf der Grundlage von Transformatoren, den Technologiebaustein für BERT und eine wachsende Anzahl anderer natürlichsprachiger KI-Modelle entwickelt und geschult. Das „Nvidia Custom-Modell“ besitzt 8,3 Milliarden Parametern und ist 24 mal so groß wie BERT-Large.

Bryan Catanzaro, Vice President of Applied Deep Learning Research bei Nvidia, erläutert: „Große Sprachmodelle revolutionieren die KI für natürliche Sprache. Sie helfen uns, außergewöhnlich schwierige Sprachprobleme zu lösen und bringen uns dem Ziel einer wirklich dialogorientierten KI näher.“

Das sagt die Kundschaft

Natürlich braucht es für die Adaption Protegés, Entwickler und Plattformen. „Microsoft Bing“ nutzt die Leistungsfähigkeit seiner „Azure“-AI-Plattform und Nvidia-Technik, um BERT auszuführen und genauere Suchergebnisse zu erzielen. Rangan Majumder, Group Program Manager für Microsoft Bing, sagt: „In enger Zusammenarbeit mit Nvidia hat Bing die Inferenz des beliebten Sprachmodells BERT mit den Grafikprozessoren optimiert. Diese sind Teil der Azure AI-Infrastruktur. Das hat zu der größten Verbesserung der im vergangenen Jahr implementierten Ranking- und Suchqualität geführt. Wir haben die Latenz halbiert und einen fünffache Durchsatz bei der Inferenz erzielt, im Vergleich zu einer CPU-basierten Plattform …“

Auch Start-ups, die am „Nvidia Inception“-Programm teilnehmen, darunter Clinc, Passage KI und Recordsure, nutzen die KI-Plattform des Herstellers, um innovative Dienste für Banken, Automobilhersteller, Einzelhändler, Gesundheitsdienstleister, Reise- und Gastronomiebetriebe aufzubauen.

Clinc etwa hat Srachanwendungen für mehr als 30 Millionen Menschen weltweit zugänglich gemacht; zu den Nutzern gehören Automobilhersteller, Gesundheitsorganisationen und Finanzinstitute wie Barclays, USAA und die größte Bank der Türkei, die Isbank.

Entwicklern steht Folgendes zur Verfügung:

Zusätzliche Informationen

Was meinen Sie zu diesem Thema?

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 46081519 / Server)