Die Grenzen für KI-Anwendungen werden von der Software NeMo Gardrails definiert. Genauere Antworten mit angemessenen Inhalten und einem strengen Tehmenbezug verspricht Nvidia.
Eine Software, die ein großes Problem der derzeit verfügbaren KI-Chatbots lösen soll, wurde von Nvidia entwickelt. Dem Unternehmen zufolge stellt die „NeMo Guardrails“- genannte Anwendung sicher, dass intelligente Anwendungen wie KI-Chatbots, die von großen Sprachmodellen (LLMs) angetrieben werden, „genau, angemessen, themenbezogen und sicher“ sind.
Von KI-Entwicklern kann die Open-Source-Software genutzt werden, um thematische Grenzen, Sicherheits- und Schutzgrenzen für KI-Modell einzurichten. Durch die thematischen Grenzen sollen KI-Anwendung daran gehindert werden, Themen in Bereichen zu erforschen, die für den beabsichtigten Einsatz nicht wünschenswert oder relevant sind. Als Beispiel nennt Nvidia einen Kundendienstassistenten, der keine Fragen zum Wetter beantwortet. Der Microsoft-Chatbot wäre seinerzeit mit derartigen Beschränkungen für Bing Chat wahrscheinlich daran gehindert worden, direkt nach seiner Veröffentlichung Firmengeheimnisse verraten.
NeMo Guardrails bietet Nvidia jetzt als Open Source an
Fehlinformationen und „Halluzinationen“ zu reduzieren – dies sollen derartige Sicherheitsgrenzen gewährleisten. Der Einsatz einer solchen Software soll sicherstellen, dass KI-Anwendungen mit korrekten und angemessenen Informationen reagieren. Verbote für unangemessene Sprache und die Nutzung glaubwürdiger Quellenangaben könnten zum Beispiel durch den Einsatz einer solchen Software verstärkt werden. Die Software soll außerdem verhindern, dass Apps externe Anwendungen erreichen, die als unsicher gelten.
Alle Softwareentwickler sollen laut Nvidia praktisch in der Lage sein, NeMo Guardrails zu verwenden. Die Software funktioniere Mit einer breiten Palette von LLM-fähigen Anwendungen funktioniere die Software und sie sei mit allen Tools zu bearbeiten, die Entwicklern von Unternehmensanwendungen eingesetzt würden.
Nvidia integriert die NeMo Guardrails in sein Nvidia NeMo Framework, sodass sie bereits größtenteils als Open-Source-Code auf GitHub verfügbar ist. Die Software soll zudem als Teil der Nvidia AI Enterprise Plattform und als Service durch Nvidia AI Foundations angeboten werden.