Zu den größten Gefahren, die von LLMs ausgehen, zählen die sofortige Einschleusung und der Datenverlust, sie können jedoch durch den Einsatz vorhandener Technologien zur Sicherheitsprotokollierung eingedämmt werden splunk.
Das SURGe-Team von Splunk hat australischen Organisationen versichert, dass die Sicherung großer KI-Sprachmodelle gegen gängige Bedrohungen wie Prompt-Injection-Angriffe mithilfe vorhandener Sicherheitstools möglich sei. Es können jedoch Sicherheitslücken entstehen, wenn Organisationen grundlegende Sicherheitspraktiken nicht umsetzen.
Shannon Davis, ein in Melbourne ansässiger leitender Sicherheitsstratege bei Splunk SURGe, sagte gegenüber TechRepublic, dass in Australien in den letzten Monaten ein zunehmendes Sicherheitsbewusstsein in Bezug auf LLMs zu beobachten sei. Er beschrieb das letzte Jahr als den „Wilden Westen“, wo viele überstürzt mit LLMs experimentierten, ohne der Sicherheit Priorität einzuräumen.
Splunks eigene Untersuchungen zu solchen Schwachstellen nutzten die „ Top 10 für große Sprachmodelle “ des Open Worldwide Application Security Project als Rahmen. Das Forschungsteam fand heraus, dass Unternehmen viele Sicherheitsrisiken durch die Nutzung vorhandener Cybersicherheitspraktiken und -tools eindämmen können.
Die größten Sicherheitsrisiken für große Sprachmodelle
Im OWASP-Bericht hat das Forschungsteam drei Schwachstellen identifiziert, die im Jahr 2024 unbedingt behoben werden müssen.
Prompt-Injection-Angriffe
OWASP definiert Prompt Injection als eine Sicherheitslücke, die auftritt, wenn ein Angreifer ein LLM durch manipulierte Eingaben manipuliert.
Weltweit gibt es bereits Fälle, in denen LLMs aufgrund manipulierter Eingabeaufforderungen fehlerhafte Ergebnisse lieferten. So ließ sich ein LLM dazu überreden, jemandem ein Auto für nur einen US-Dollar zu verkaufen , während ein Chatbot von Air Canada die Trauerrichtlinien des Unternehmens falsch zitierte .
Davis sagte, dass Hacker oder andere, die „die LLM-Tools dazu bringen, Dinge zu tun, für die sie nicht bestimmt sind“, ein wesentliches Risiko für den Markt seien.
„Die großen Player errichten viele Schutzwälle um ihre Tools, aber es gibt immer noch viele Möglichkeiten, sie dazu zu bringen, Dinge zu tun, die diese Schutzwälle verhindern sollen“, fügte er hinzu.
Weitergabe privater Informationen
Mitarbeiter könnten Daten in Tools eingeben, die sich möglicherweise in Privatbesitz befinden (oft in Offshore-Gebieten), was zum Abfluss geistigen Eigentums und privater Informationen führen kann.
Das regionale Technologieunternehmen Samsung erlebte einen der aufsehenerregendsten Fälle von privaten Informationslecks, als Ingenieure dabei erwischt wurden, wie sie vertrauliche Daten in ChatGPT einfügten . Es besteht jedoch auch das Risiko, dass vertrauliche und private Daten in Trainingsdatensätze aufgenommen und möglicherweise durchgesickert werden.
„Ein weiterer großer Problembereich besteht darin, dass PII-Daten entweder in Trainingsdatensätze aufgenommen und dann weitergegeben werden oder dass möglicherweise sogar Personen PII-Daten oder vertrauliche Unternehmensdaten an diese verschiedenen Tools übermitteln, ohne sich über die Folgen im Klaren zu sein“, betonte Davis.
Übermäßige Abhängigkeit von LLMs
Übermäßiges Vertrauen liegt vor, wenn sich eine Person oder Organisation auf Informationen aus einem LLM verlässt, obwohl die Ergebnisse fehlerhaft, unangemessen oder unsicher sein können.
In Australien kam es kürzlich zu einem Fall übermäßiger Abhängigkeit von LLMs, als ein Mitarbeiter des Kinderschutzes ChatGPT zur Erstellung eines Berichts verwendete, der an ein Gericht in Victoria geschickt wurde. Während die Hinzufügung sensibler Informationen problematisch war, spielte der von der KI erstellte Bericht auch die Risiken herunter, denen ein in den Fall verwickeltes Kind ausgesetzt war .
Davis erklärte, dass übermäßige Abhängigkeit ein drittes Hauptrisiko sei, das Unternehmen im Auge behalten müssten.
„Dies ist ein Schulungselement für Benutzer und soll sicherstellen, dass die Leute verstehen, dass man diesen Tools nicht blind vertrauen sollte“, sagte er.
Weitere LLM-Sicherheitsrisiken, auf die Sie achten sollten
Andere Risiken in den OWASP Top 10 erfordern möglicherweise keine unmittelbare Aufmerksamkeit. Davis sagte jedoch, dass sich Organisationen dieser potenziellen Risiken bewusst sein sollten – insbesondere in Bereichen wie übermäßiges Agenturrisiko, Modelldiebstahl und Trainingsdatenvergiftung.
Übermäßige Handlungsfreiheit
Übermäßige Handlungsfreiheit bezieht sich auf schädliche Aktionen, die als Reaktion auf unerwartete oder mehrdeutige Ausgaben eines LLM ausgeführt werden, unabhängig davon, was die Fehlfunktion des LLM verursacht. Dies könnte möglicherweise darauf zurückzuführen sein, dass externe Akteure auf LLM-Tools zugreifen und über die API mit Modellausgaben interagieren.
„Ich denke, die Leute sind konservativ, aber ich mache mir trotzdem Sorgen, dass wir angesichts der Macht, die diese Tools potenziell haben, etwas sehen könnten … das alle anderen darauf aufmerksam macht, was möglicherweise passieren könnte“, sagte Davis.
LLM-Modelldiebstahl
Davis sagte, Untersuchungen deuteten darauf hin, dass ein Modell durch Schlussfolgerung gestohlen werden könnte: indem man eine große Anzahl von Eingabeaufforderungen an das Modell sendet, verschiedene Antworten erhält und anschließend die Komponenten des Modells versteht.
„Modelldiebstahl ist etwas, das ich mir aufgrund der enormen Kosten für das Modelltraining in Zukunft vorstellen kann“, sagte Davis. „Es wurden zahlreiche Artikel zum Thema Modelldiebstahl veröffentlicht, aber es ist eine Bedrohung, deren Nachweis viel Zeit in Anspruch nehmen würde.“
Trainingsdatenvergiftung
Unternehmen sind sich heute stärker darüber im Klaren, dass die Daten, die sie für KI-Modelle verwenden, die Qualität des Modells bestimmen. Darüber hinaus sind sie sich auch stärker darüber im Klaren, dass eine absichtliche Datenvergiftung die Ergebnisse beeinträchtigen könnte. Davis sagte, dass bestimmte Dateien innerhalb von Modellen, sogenannte Pickle Funnels, im Falle einer Vergiftung unbeabsichtigte Ergebnisse für die Benutzer des Modells verursachen würden.
„Ich denke, die Leute müssen einfach vorsichtig sein, welche Daten sie verwenden“, warnte er. „Wenn sie also eine Datenquelle finden, einen Datensatz, mit dem sie ihr Modell trainieren können, müssen sie wissen, dass die Daten gut und sauber sind und keine Dinge enthalten, die sie potenziell schädlichen Einflüssen aussetzen könnten.“
Mehr lesen: Telegram-QR-Code für das Telegram Web scannen – QR-Code scannen (2024)
So gehen Sie mit den üblichen Sicherheitsrisiken für LLMs um
Das SURGe-Forschungsteam von Splunk hat herausgefunden, dass die einfachste Möglichkeit zum Sichern von LLMs mit dem vorhandenen Splunk-Toolset darin besteht, sich auf das Front-End des Modells zu konzentrieren, anstatt ein LLM direkt zu sichern.
Die Verwendung einer Standardprotokollierung ähnlich wie bei anderen Anwendungen könnte das Problem der sofortigen Injektion, der unsicheren Ausgabeverarbeitung, der Dienstverweigerung von Modellen, der Offenlegung vertraulicher Informationen und des Modelldiebstahls lösen.
„Wir haben festgestellt, dass wir die Eingabeaufforderungen protokollieren können, die Benutzer in das LLM eingeben, und dann die Antworten, die aus dem LLM kommen. Allein diese beiden Daten haben uns praktisch fünf der OWASP Top 10 beschert“, erklärte Davis. „Wenn der LLM-Entwickler sicherstellt, dass diese Eingabeaufforderungen und Antworten protokolliert werden, und Splunk eine einfache Möglichkeit bietet, diese Daten abzurufen, können wir eine beliebige Anzahl unserer Abfragen oder Erkennungen darauf ausführen.“
Davis empfiehlt Organisationen, für LLMs und KI-Anwendungen einen ähnlichen sicherheitsorientierten Ansatz zu verfolgen, der in der Vergangenheit zum Schutz von Webanwendungen verwendet wurde.
„Wir haben ein Sprichwort, dass man 99,99 % seines Schutzes erhält, wenn man sein Cyber-Gemüse isst – oder die Grundlagen beherrscht“, bemerkte er. „Und die Leute sollten sich wirklich zuerst auf diese Bereiche konzentrieren. Dasselbe gilt auch für LLMs.“