Radar 2024: Die Zukunft der KI-Sicherheit
Veröffentlicht am 9. Oktober 2024
- Cyber Security
Ein Markt in Aufruhr
Seit der ersten Veröffentlichung des KI-Sicherheitslösungsradars im März 2024 ist klar geworden, dass der Markt für KI-Sicherheitslösungen boomt. Unsere Kunden zeigen ein wachsendes Interesse an KI-Sicherheitslösungen und bestätigen damit die Existenz eines wettbewerbsintensiven Marktes. Dieser Trend wird zudem durch die steigende Anzahl an Akteuren und Lösungen, die den Unternehmen zur Verfügung stehen, unterstützt. Wir können daher unsere erste Analyse von Anfang des Jahres, die wir auf dem International Cybersecurity Forum vorgestellt haben, nur bestätigen:
-
+40% an Akteuren, die in der neuen Version des Radars identifiziert wurden
-
+60% von Lieferanten, die seit März 2024 getroffen wurden
-
88 Lösungsanbieter in unserem Radar
IA 2024 Sicherheitslösungen Radar
Liste der für 2024 ermittelten Start-ups nach Kategorien:
- Anti deepfake :
- Sensity, Daon, Sentinel, DuckDuck Goose, Uncov, Buster AI, Reality Defender, Integrity, Trustiens
- Datenschutz und Vertraulichkeit IA:
- DynamoFL, Lasso, Harmonic, Nightfall AI, Antimatter, Safebranly.AI, Tortanix, Skyflow, HephAI, Knostic, Credal, Securit, Sarus, Mithril Security
- Erkennung und Reaktion von Algorithmen des maschinellen Lernens:
- Mindgard, Hiddenlayer
- Ethik, Erklärbarkeit und Genauigkeit der Behandlung:
- Arize, Fiddler, Saidot.AI, Vidence, Ruera, Giskard, Humanloop, Arthur, Helicone
- Sichere Chatbot- und LLM-Filterung:
- RebuffAI, Lakera, Usage Panda, Prompt, Insightcircle, CalypsoAI, Aimon
- Sichere Zusammenarbeit beim maschinellen Lernen:
- Aleir, Skyld, Rhino Health, Cosmian, Zama, BeekeeperAI, Opaque Systems
- Bewertung der Robustheit und Anfälligkeit von Modellen:
- Azure/Counterfit, Robust Intelligence, DeepKeep, Adversa, Numalis, Encord, Protect AI, Trojai, Huntr, Prism Eval, Citadel AI
- IA-Risikomanagement:
- Flower, Lumenova, Safer AI, Integrate.ai, Monitaur, Trustible, AIShield, FedML, Devron, Holistic AI, Nudge, Calvinrisk, Paloalto, Konfer
- Einhaltung der IA-Vorschriften:
- Fairly, Suzan AI, Enzai, Quantpi, Preamble, Credo ai, Naaia
- Synthetische Daten / Anonymisierung:
- Hazy, Gretel, Nijta, Private AI, Mostly.AI, Tonic, TripleBlind, Octopize
Die beobachteten Trends setzen sich fort. Lösungen, die ein vorrangiges Sicherheitsbedürfnis befriedigen und moderate Investitionen in die Forschung erfordern, nehmen zahlenmäßig weiterhin zu, wobei die Tools zugänglich und schnell zu implementieren sind. Gleichzeitig bleiben die Lösungskategorien, die auf fortgeschrittenen und komplexen Technologien basieren, beständiger, wobei die Marktführer ihre Position behaupten.
Bedeutende Entwicklungen in vielen Bereichen
Wir beobachten deutliche Bewegungen in drei Hauptmarktsegmenten: Tools für das Risikomanagement im Lebenszyklus von KI-Systemen, Datenschutz und synthetische Datengenerierung für das Modelltraining.
Jede dieser Kategorien weist eine spezifische Dynamik auf, die eine eingehendere Analyse bedarf.
Das Risikomanagement im Zusammenhang mit KI ist eine Marktsegment, die sich mit einer beachtlichen Anzahl an identifizierten Akteuren rasant entwickelt. Die Governance der KI wird daher zu einer zentralen Herausforderung, mit der die Transparenz und Rechenschaftspflicht der eingesetzten Systeme gewährleistet werden kann.
Seit der Einführung von Vorschriften für KI-Systeme, die deren Entwicklung, Einsatz und Nutzung regeln sollen, haben sich einige Tools für das KI-Risikomanagement weiterentwickelt. Diese Lösungen ermöglichen es Unternehmen nun, Vorschriften wie den EU AI Act einzuhalten und gleichzeitig einen klaren Einblick in ihre KI-Systeme zu erhalten.
Daher haben wir beschlossen, unseren Radar zu verfeinern, indem wir eine Analyse erstellen, die sich auf Lösungen zur Einhaltung von Vorschriften konzentriert (siehe Radarbild oben). Diese Anbieter bieten Plattformen zur Zentralisierung von KI-Systemen und deren Risiken und automatisieren gleichzeitig die Überwachung von Vorschriften.
Die Verbreitung von Lösungen für das Risikomanagement könnte jedoch übertrieben sein, wenn man bedenkt, dass Unternehmen es auf den ersten Blick oft vorziehen, Risiken intern zu verwalten. In der Tat geht der Trend eher dahin, klassische Governance-Methoden an KI-Systeme anzupassen, als spezielle Tools einzuführen. Die Frage, ob dieser Ansatz den tatsächlichen Bedürfnissen des Marktes entspricht, ist daher von entscheidender Bedeutung.
Der Datenschutz ist ein wichtiges Thema im Bereich der KI-Sicherheit. Denn mit der zunehmenden Verbreitung von generativen KI-Lösungen in Unternehmen kommt es zu einer manchmal unkontrollierten Exposition von potenziell sensiblen Daten. Die Entwicklung zuverlässiger Strategien zum Schutz dieser Daten ist von entscheidender Bedeutung.
Die Hersteller solcher Systeme bieten Lösungen an, die durch verschiedene Mechanismen die Vertraulichkeit und Integrität der Daten schützen, die in KI-Modelle einfließen oder diese verlassen – sowohl während der Entwicklung als auch bei der Nutzung.
Unter den von uns identifizierten Herausgebern bieten verschiedene Lösungen eine Browsererweiterung an, um den Webverkehr wie ein Proxy zu überwachen und Datenlecks bei der Verwendung von LLMs zu verhindern.
Es ist heute auch zu beobachten, dass sich einige Industrieunternehmen bei der Entwicklung ihrer Modelle darauf konzentrieren, die Daten, die zur Echtzeitspeisung des Modells verwendet werden, vor Verunreinigung zu schützen (Retrieval-Augmented Generation (RAG) Poisoning) oder sogar die Trainingsdaten selbst zu sichern.
In unserem Radar sind viele Akteure zu sehen, die gegen den Datenschutz kämpfen, und ihre Zahl nimmt weiter zu (siehe Radarbild oben).
Unternehmen müssen nun nicht nur die Vorteile dieser Tools nutzen, sondern auch die Expert:innen finden, die sie effektiv implementieren können, um eine Überlastung der Sicherheitsteams zu vermeiden.
Synthetische Daten bieten einen konsequenten, aber noch nicht ausgeschöpften Vorteil.
Sie bezeichnen die künstliche Erzeugung von Daten, die die Eigenschaften der Realität nachahmen. Diese Daten dienen häufig dazu, die Anzahl der Personen in einem realen Datensatz zu erhöhen oder die Privatsphäre von Einzelpersonen durch Anonymisierungstechniken zu schützen, insbesondere in Bereichen, in denen Vertraulichkeit und Privatsphäre von größter Bedeutung sind. In Anlehnung an unsere Analyse von Lösungen zur Einhaltung gesetzlicher Vorschriften haben wir uns entschieden, Lösungen zur Generierung synthetischer oder anonymisierter Daten zu beleuchten, um eine genauere Wahrnehmung des Marktes zu erhalten (siehe Radarbild oben).
Die Verwendung synthetischer Daten wird zu einer bevorzugten Lösung, um sensible Informationen zu schützen und gleichzeitig ein realitätsnahes und damit effizientes Training von KI-Modellen zu ermöglichen. Dieser Ansatz ermöglicht es, Leistung und Datenschutz miteinander zu vereinbaren. Heute fällt auf, dass sich nur wenige Industrieunternehmen dafür interessieren, aber das könnte sich durch eine stärkere Sensibilisierung für diese Werkzeuge und die Demonstration von erfolgreichen Anwendungsfällen ändern.
Aktuelle und zukünftige technologische Bewegungen
Die Welt der Künstlichen Intelligenz ist geprägt von kontinuierlichen technologischen Fortschritten:
- Aufkommende Lösungen, wie Techniken zur Erzeugung von Deepfakes
- Immer raffiniertere Angriffe, z. B. Datenvergiftungsangriffe
Wir erleben eine explosionsartige Zunahme der Erstellung von KI-generierten Inhalten. Von Texten über Bilder bis hin zu Videos – die Möglichkeiten zur Generierung von Inhalten werden immer vielfältiger. Deepfakes stellen eine besondere Herausforderung dar, da sie oftmals nicht von der Realität zu unterscheiden sind. Sie unterstreichen die Notwendigkeit, wirksame Erkennungstechnologien zu entwickeln, um Missbrauch zu verhindern. Die Entwicklung solcher Werkzeuge ist von entscheidender Bedeutung, um die Zuverlässigkeit von Informationen und die Sicherheit vor Multimedia-Inhalten zu gewährleisten. Verschiedene Ansätze können von diesen Werkzeugen genutzt werden, wie die Verwendung von Machine-Learning-Modellen zur Erkennung von Inkonsistenzen oder die Überprüfung von Inhalten auf das Vorhandensein unsichtbarer digitaler Wasserzeichen. Auch die Analyse von Metadaten und Pixeln ist möglich, um nach Anzeichen für eine Manipulation des Inhalts zu suchen.
Unser Radar identifiziert immer mehr Lösungen, mit denen sich böswillige Deepfakes bekämpfen lassen (siehe Radarbild oben).
Das Aufkommen einer neuen Art von fortgeschrittenen Angriffen stellt eine wachsende Bedrohung für KI-Systeme dar. Einige dieser Angriffe zielen beispielsweise darauf ab, Gewichte aus Modellen zu extrahieren und diese zu nutzen, um gelernte Sicherheitsmechanismen auszuschalten und so die Robustheit von KI-Systemen zu gefährden. Man kann diese Angriffe mit einer Schwächung von neuronalen Netzen vergleichen. Es ist daher zwingend notwendig, Strategien zu entwickeln, um die Widerstandsfähigkeit von Modellen gegen die raffiniertesten Angriffe zu stärken
Mehrere Lösungen aus unserem Radar ermöglichen es insbesondere, die Robustheit von Modellen gegenüber bestimmten Störungen zu bewerten (siehe Radarbild oben). Einige von ihnen können insbesondere die formalen mathematischen Methoden anwenden, die in der Suite von ISO 24029-Standards vorgeschlagen werden.
Sind diese Lösungen angesichts der wachsenden Bedrohung, die aus immer komplexeren Angriffen resultiert, jedoch ausreichend, um die Robustheit der Modelle zu gewährleisten?
Ein Markt, der mit Eintritt wichtiger Akteure reift
Der Markt für KI-Sicherheit ist noch nicht ausgereift: Die ersten etablierten Akteure bauen ihre Position weiter aus, während neue Marktteilnehmer völlig neue Innovationsperspektiven eröffnen. Insbesondere die großen IT- und Cybersicherheitsunternehmen wie Microsoft oder Palo Alto beginnen, die Bühne zu betreten, und bringen erhebliche Entwicklungskapazitäten mit. Diese Dynamik könnte zu einer Konsolidierung des Marktes führen, bei der sich die multinationalen Konzerne mit Start-ups zusammenschließen oder diese aufkaufen, um deren Technologie und Expertise in ihre eigenen KI-Sicherheitsangebote zu integrieren.
Die Zukunft des Marktes für KI-Sicherheit ist vielversprechend, vor allem weil er den Bedarf an notwendigen Werkzeugen deckt, die mit den auf dem Markt zu seltenen menschlichen Arbeitskräften nur schwer zu kompensieren wären. Zwischen dem stetigen Wachstum der Startups und dem Auftreten der großen Akteure könnte der Markt für KI-Sicherheit in den nächsten Monaten turbulent werden!
