Radar 2024 des Solutions de Sécurité IA

Un marché en pleine ébullition

Depuis la première publication du Radar de Solutions de Sécurité IA il est devenu évident que le marché de la sécurisation de l’Intelligence Artificielle est en plein essor. Nos clients montrent un intérêt croissant pour les solutions de sécurité IA, confirmant l’existence d’un marché compétitif. Cette tendance est par ailleurs soutenue par l’augmentation du nombre d’acteurs et de solutions mises à disposition des entreprises. Nous ne pouvons donc que confirmer la première analyse faite en début d’année et que nous avions présentée lors du Forum International de la Cybersécurité :

+40% D’acteurs identifiées dans la nouvelle version du Radar
+60% De fournisseurs rencontrés depuis mars 2024
88 Editeurs de solutions dans notre radar

Voir la version accessible

Liste des startups identifiées en 2024 par catégories :

Anti deepfake :
- Sensity, Daon, Sentinel, DuckDuck Goose, Uncov, Buster AI, Reality Defender, Integrity, Trustiens
Protection des données et confidentialité IA :
- DynamoFL, Lasso, Harmonic, Nightfall AI, Antimatter, Safebranly.AI, Tortanix, Skyflow, HephAI, Knostic, Credal, Securit, Sarus, Mithril Security
Détection et réponse des algorithmes de Machine Learning :
- Mindgard, Hiddenlayer
Ethique, explicabilité et justesse de traitement :
- Arize, Fiddler, Saidot.AI, Vidence, Ruera, Giskard, Humanloop, Arthur, Helicone
Chatbot sécurisé et filtrage LLM :
- RebuffAI, Lakera, Usage Panda, Prompt, Insightcircle, CalypsoAI, Aimon
Collaboration sécurisée en Machine Learning :
- Aleir, Skyld, Rhino Health, Cosmian, Zama, BeekeeperAI, Opaque Systems
Evaluation de la robutesse et des vulnérabilités du modèle :
- Azure/Counterfit, Robust Intelligence, DeepKeep, Adversa, Numalis, Encord, Protect AI, Trojai, Huntr, Prism Eval, Citadel AI
Gestion des risques IA :
- Flower, Lumenova, Safer AI, Integrate.ai, Monitaur, Trustible, AIShield, FedML, Devron, Holistic AI, Nudge, Calvinrisk, Paloalto, Konfer
Mise en conformité réglementations IA :
- Fairly, Suzan AI, Enzai, Quantpi, Preamble, Credo ai, Naaia
Données synthétiques / Anonymisation :
- Hazy, Gretel, Nijta, Private AI, Mostly.AI, Tonic, TripleBlind, Octopize

Les tendances observées se confirment. Les solutions qui répondent à un besoin de sécurité prioritaire et qui requièrent un investissement modéré dans la recherche continuent de croître en nombre avec des outils accessibles et rapides à mettre en œuvre. En parallèle, les catégories de solutions s’appuyant sur des technologies avancées et complexes restent plus stables, avec des leaders qui confirment leur statut.

Des mouvements forts et en nombre

Nous observons des mouvements significatifs dans trois principaux segments du marché : les outils de gestion des risques liés au cycle de vie des systèmes IA, la protection des données et les générations de données synthétiques pour l’entrainement de modèles.

Chacune de ces catégories connaît des dynamiques spécifiques qui justifient d’une analyse plus approfondie.

Gestion des risques IA : Comment se conformer aux réglementations ?

La gestion des risques liés à l’IA est une catégorie du marché en pleine effervescence avec un nombre conséquent d’acteurs identifiés. La gouvernance de l’IA devient alors un enjeu central, permettant de garantir la transparence et la responsabilité des systèmes déployés.

Depuis la mise en œuvre de règlementations des systèmes IA, qui visent à régir leur développement, leur déploiement et leur utilisation, certains outils de gestion des risques IA ont évolué. Ces solutions permettent désormais aux entreprises de se conformer aux réglementations, telles que l’EU AI Act, tout en offrant une visibilité claire sur leurs systèmes IA.

Nous avons donc décidé d’affiner notre Radar (cf image radar ci-dessus) en créant une analyse ciblée sur les solutions de conformité aux règlementations. Ces éditeurs proposent des plateformes de centralisation des systèmes IA et leurs risques tout en automatisant le suivi des réglementations.

Néanmoins, la prolifération de solutions de gestion de risques peut être excessive lorsque l’on remarque que les entreprises préfèrent, au premier abord, souvent gérer les suivis et les évaluations de risques en interne avec leurs outils bureautiques ou des outils existants. En effet la tendance est à l’adaptation des méthodologies classiques de gouvernance aux systèmes IA plutôt que dans l’adoption d’outils spécialisés. Il est alors essentiel de s’interroger sur l’adéquation de cette approche face aux besoins réels du marché.

Protection des données : au cœur de la confidentialité

La protection des données est un enjeu majeur dans le domaine de la sécurité IA. En effet, la multiplication des solutions d’IA générative en entreprise ajoute une exposition parfois non contrôlée des données, potentiellement sensibles. Il est essentiel de développer des stratégies robustes pour protéger ces données.

Les éditeurs de ce type de solutions proposent des solutions qui, à travers différents mécanismes, visent à garantir la confidentialité et l’intégrité des données qui entrent ou sortent des modèles IA, que ce soit lors de leur développement ou de leur utilisation.

Parmi les éditeurs que nous avons identifiés, diverses solutions pour limiter largement les risques proposent une extension navigateur permettant de surveiller le trafic web, à la manière d’un proxy, et ainsi de se prémunir de toute fuite de données lors de l’utilisation de LLMs.

On remarque aussi aujourd’hui que certains industriels, développant leurs modèles, se concentrent sur la protection contre l’empoisonnement des données utilisées pour alimenter en temps réel le modèle (le Retrieval-Augmented Generation (RAG) Poisoning) voire la sécurisation des données d’entraînement elles-mêmes.

Les acteurs luttant contre la protection des données sont nombreux dans notre Radar (cf image radar ci-dessus) et leur nombre ne cesse d’augmenter.

Les entreprises doivent maintenant non seulement tirer parti de ces outils mais également trouver les experts capables de les implémenter de manière efficace pour éviter de surcharger les équipes sécurité.

Les données synthétiques pour l’entraînement des modèles : un potentiel sous-exploité

Les données synthétiques présentent un avantage conséquent mais encore sous-exploité.

Elles désignent la génération artificielle de données imitant les propriétés de la réalité. Ces données servent souvent à augmenter l’effectif d’un jeu de données réelles ou encore à protéger la vie privée des individus en mettant en œuvre des techniques d’anonymisation, en particulier dans les domaines où la confidentialité et le respect de la vie privée sont primordiaux. A l’instar de notre analyse ciblée sur les solutions de conformité règlementaires, nous avons décidé de mettre en lumière les solutions de génération de données synthétiques ou anonymisées afin d’obtenir une perception plus précise du marché.

L’utilisation de données synthétiques (cf image radar ci-dessus) devient une solution privilégiée pour protéger les informations sensibles tout en permettant un entraînement proche du réel, donc efficace, des modèles d’IA. Cette approche permet de concilier performance et respect de la vie privée. Aujourd’hui, on remarque que peu d’industriels s’y intéressent, mais cette situation pourrait changer grâce à une meilleure sensibilisation envers ces outils et des démonstrations de cas d’usages concluants.

Des mouvements technologiques en cours et à venir

Le monde de l’Intelligence Artificielle est marqué par des avancées technologiques en continu avec :

Des solutions émergentes, telles que les techniques de génération de deepfake

Des attaques de plus en plus sophistiquées, telles que les attaques par empoisonnement de données.

Deepfakes : des abus à contenir

Nous assistons à une explosion de la création de contenus générés par IA. Des textes aux images, en passant par les vidéos, les capacités de génération de contenu se multiplient. Les deepfakes représentent un défi particulier car souvent indiscernables de la réalité. Ils soulignent la nécessité de développer des technologies de détection efficaces pour prévenir les abus. Le développement de ces outils est essentiel afin d’assurer la fiabilité de l’information et la sûreté face aux contenus multimédia. Plusieurs approches peuvent être utilisées par ces outils comme l’utilisation de modèles de Machine Learning pour détecter les incohérences ou encore vérifier la présence de filigranes numériques invisibles sur le contenu. Il est également possible d’analyser les métadonnées et les pixels afin de chercher les signes d’une manipulation du contenu.

Notre Radar (cf image radar ci-dessus) identifie de plus en plus de solutions permettant de lutter contre les deepfakes malveillants.

Infection et manipulation : à l’heure de la lobotomisation des modèles

L’émergence d’un nouveau type d’attaques avancées représente une menace grandissante sur les systèmes IA. Certaines de ces attaques visent par exemple à extraire les poids des modèles et de les exploiter dans le but de désactiver les mécanismes de sécurité appris, compromettant ainsi la robustesse des systèmes d’IA. On peut comparer ces attaques à une lobotomisation des réseaux de neurones. Il est ainsi impératif de développer des stratégies pour renforcer la résistance des modèles face aux attaques les plus sophistiquées

Plusieurs solutions de notre Radar (cf image radar ci-dessus) permettent notamment d’évaluer la robustesse des modèles face à certaines perturbations. Certaines peuvent notamment appliquer les méthodes mathématiques formelles proposées par la suite de standards ISO 24029.

Cependant, face à cette menace grandissante qui est la conséquence d’attaques de plus en plus complexes, ces solutions sont-elles suffisantes pour garantir la robustesse des modèles ?

Un marché qui mûrit avec l’arrivée d’acteurs majeurs

Le marché de la sécurité IA est en pleine maturation : les premiers acteurs établis continuent de renforcer leur position, tandis que de nouveaux entrants apportent des perspectives d’innovations inédites. Les grands acteurs de l’IT et de la cybersécurité commencent notamment à entrer en scène, à l’instar de Microsoft ou encore Palo Alto, apportant des capacités de développement très conséquentes. Cette dynamique pourrait ainsi conduire à une consolidation du marché, amenant ces multinationales à se rapprocher ou à acquérir des startups dans le but d’intégrer leurs technologiques et expertises à leurs propres offres en matière de sécurité IA.

L’avenir du marché de la sécurité IA est prometteur, en particulier parce qu’il répond à des besoins d’outillages nécessaires qu’il serait difficile de compenser avec des effectifs humains trop rares sur le marché. Entre la croissance continue des startups et l’arrivée des grands acteurs, le marché de la sécurité IA risque d’être mouvementé ces prochains mois !