« Le plus gros problème actuel lié à l’IA est la définition même de celle-ci . »
L’intelligence artificielle (IA) est de plus en plus utilisée dans de nombreux domaines, et celui de la cybersécurité n’y échappe pas. Soit en sa faveur car elle peut utiliser ces algorithmes pour la détection de schémas d’attaque. Elle peut également prévenir et répondre aux menaces en temps réel grâce à l’analyse de vastes ensembles de données via l’application de modèles algorithmiques complexes. Mais l’IA peut aussi jouer en sa défaveur, car elle peut aussi être exploitée par des acteurs malveillants pour orchestrer des nouvelles attaques sophistiquées et ciblées, pouvant entraîner des conséquences désastreuses comme la compromission ou l’exfiltration d’informations, des perturbations de service voire l’arrêt complet du réseau informatique ou du SI.
L’IA est donc un élément à prendre au sérieux pour l’avenir des technologies d’attaque et de défense. Elle représente un défi de taille en matière de gestion de la cybersécurité et met en lumière les processus complexes que doivent mettre en place les entreprises pour rester protégées.
Pour échanger sur ce vaste sujet, sur ce qui est réel et ce qui est fantasmé, nous avons le plaisir d’inviter Alain Babey, consultant en gouvernance, risques et conformité chez Fidens – spécialiste de la mise en place de la norme ISO 27001 et du SMSI qui fait référence dans le domaine de la cybersécurité- ainsi que Maylis Durand, spécialiste en protection des données à caractère personnel et droit du numérique chez Fidens
Une définition flottante et un cadre juridique complexe
Maylis Durand – Le plus gros problème actuel lié à l’IA est… la définition même de celle-ci. L’enjeux est pourtant d’importance en droit : de la qualification dépendent le régime d’obligation applicable et les sanctions associées. Or, la CNIL, le Parlement européen et la Commission européenne ne retiennent pas la même définition.
Pour la CNIL, « l’IA n’est pas une technologie à proprement parler mais plutôt un domaine scientifique dans lequel des outils peuvent être classés lorsqu’ils respectent certains critères. Elle est venue préciser dans son glossaire qu’il fallait entendre l’IA comme étant un procédé logique et automatisé reposant généralement sur un algorithme et en mesure de réaliser des tâches bien définies. La définition de la CNIL est donc passée de ce que n’est pas l’IA à ce qu’elle représente : un procédé.
Le Parlement européen donne de son côté une définition comportementaliste, l’intelligence artificielle représente ici tout outil utilisé par une machine afin de « reproduire des comportements liés aux humains, tels que le raisonnement, la planification et la créativité ». Enfin la Commission Européenne a opté pour une définition par typologie d’approches : apprentissage automatique, logique et connaissance, statistique et méthodes de recherche et d’optimisation. Le règlement IA Act doit venir unifier et harmoniser cette définition, en son article 3 (1). Or, il définit un système d’intelligence artificielle (SIA) comme « un logiciel qui est développé au moyen d’une ou plusieurs des techniques et approches énumérées à l’annexe I et qui peut, pour un ensemble donné d’objectifs définis par l’homme, générer des résultats tels que des contenus, des prédictions, des recommandations ou des décisions influençant les environnements avec lesquels il interagit ».
Nous voyons donc qu’il est difficile d’appréhender le sujet de l’IA de façon pratique, car les définitions par des autorités de référence ne permettent pas de tirer une méthodologie d’identification unique. La raison de ces définitions flottantes est la difficulté d’englober un objet aussi différent que celui de l’IA et en même temps la volonté du législateur de ne pas être freiné par une définition trop restrictive qui rendrait son texte obsolète en cas de changement de technologie.
Alain Babey : la définition de l’IA est encore plus compliquée à englober quand on pense que les experts eux-mêmes dans ce domaine définissent « l’intelligence » artificielle comme « non intelligente ». Il y a donc un problème de nommage dès le départ. Pour commencer il faut déjà faire la distinction en IA faible et IA forte. Tous les systèmes d’IA dont nous parlons actuellement ne sont que des IA faibles. C’est-à-dire les outils qui se concentrent sur une tâche, un domaine, ou une problématique spécifique. Chaque capacité d’un outil est indépendante et programmée d’une manière spécifique. Et il n’est pas possible de cumuler les IA faibles pour fabriquer une IA forte. Cette dernière regroupe l’intelligence analytique, déjà présente dans l’IA faible, et les intelligences situationnelle et émotionnelle. Elle pourrait donc avoir la capacité de raisonner, de résoudre des problèmes, de porter des jugements, de planifier, d’apprendre et de communiquer. Soit des capacités cognitives permettant la manipulation de concepts appris du monde extérieur. Soyons clair, à l’heure actuelle, l’IA forte n’existe pas.
Les dangers actuels de l’IA dans l’entreprise
AB : Aujourd’hui l’intelligence artificielle représente un risque réel pour toutes les organisations, notamment au niveau de l’évasion de données et de la violation de propriété intellectuelle, difficile à détecter. Il est donc important d’apporter une réponse en s’assurant qu’il n’y a pas de collaborateurs qui « nourrissent » des IA type ChatGPT avec des documents internes à valeur ajoutée en lui demandant d’effectuer telle ou telle action. Il ne faudra pas alors s’étonner qu’un jour les secrets de l’entreprise partent à la concurrence. Le problème se pose de la même façon avec un simple traducteur automatique comme DeepL par exemple. Il peut donc paraître nécessaire de sensibiliser et de faire signer des chartes qui encadrent l’utilisation de ces outils équipés d’une IA à tous les collaborateurs. L’aspect juridique et réglementaire est l’un des axes à prendre en compte au plus vite pour limiter les dangers de l’IA.
MD : L’IA est évidemment une avancée considérable pour les entreprises, on le constate en premier lieu dans la santé, et elle tend à se généraliser dans les différents secteurs. Toutefois, des précautions doivent être prises lors de son développement et de son utilisation au risque d’en faire un outil défectueux tant pour la propriété intellectuelle que pour les personnes. On trouve par exemple des risques de discrimination par des biais algorithmiques, ou pour les données personnelles et la vie privée. Par exemple, la CNIL, et d’autres autorités de protection des données, ont sanctionné la société Clearview du fait de plusieurs non-conformité en lien avec l’algorithme de reconnaissance faciale qu’elle développait. A ce titre, la société avait aspiré des photographies de très nombreux sites dont les réseaux sociaux afin de d’alimenter son algorithme. Or cette collecte avait été réalisée sans base légale. L’objet IA doit être encadré en premier lieu au moment de son développement, puis de sa mise en production et enfin par des tests récurrents afin d’en éprouver la robustesse sur les différents volets évoqués. Chacune de ces étapes devant respecter les règles en matière de protection des données telle que la définition des finalités, la base légale, les mesures de sécurité, le privacy by design & by default, les durées de conservation, etc.
Précisons également que l’IA peut être la cible même des cybercriminels, celle-ci étant « un système d’information comme un autre ». Il faut donc assurer un niveau de sécurité commun au socle des SI de l’organisation, mais également ajouter des couches de cybersécurité spécifiques à l’IA. En effet, l’intelligence artificielle peut être l’objet d’une infection (attaque par empoisonnement) ou d’une exfiltration (attaque par inférence d’appartenance) pendant sa phase d’apprentissage. Elle peut également subir des attaques pendant sa phase de production avec une manipulation (attaque par évasion, par reprogrammation ou plus classiquement par déni de service) ou une exfiltration (attaque par inversion ou par extraction de modèle). Dans chacun des cas, l’organisation ne sera plus en mesure d’assurer la sécurité de la donnée, car elle ne peut plus veiller soit à sa confidentialité, son intégrité et/ou sa disponibilité.
Pour mieux vous préparer, vous pouvez télécharger notre guide pratique des mesures préventives pour renforcer rapidement la sécurité de votre SI.
Pour l’entreprise, une utilisation erronée ou un mauvais fonctionnement de l’IA serait impactant sur le volet opérationnel mais aussi en risquant de lui faire perdre les éléments protégés par la propriété intellectuelle. Les solutions ? Une gestion de projet doit être mise en place afin de suivre les différents chantiers associés à la conformité et la sécurité du SIA. On peut compter sur la SSI, la protection des données, l’éthique en plus évidemment du volet métier, chacun étant une pièce du puzzle et ensemble forme le schéma complet d’un SIA conforme. Une gouvernance basée sur une diversité de profils : chef de projet spécialisé en projet IA, développeur IA, ingénieur en données, Délégué à la protection des données (DPO), Responsable de la sécurité du système d’information (RSSI). Il faut également penser à un encadrement transverse (sécurité, conformité, éthique) dès le début du projet (privacy by design & by default) et tout au long de la vie du produit. Cela implique un recensement des réglementations applicables et des obligations associées et la traduction en mesure pratique pour y répondre. Diverses analyses vont être menées afin de vérifier les niveaux de risques propres aux différents chantiers, on peut citer l’analyse de risques SI qui vise à identifier les risques de sécurité du SIA, l’analyse d’impact (PIA) pour les risques sur la protection des données, et l’analyse d’impact IA auquel on peut aussi ajouter une analyse éthique. En somme, les principes du SMSI et du SMPD s’appliquent au SIA avec un focus particulier, auquel il faut ajouter les règles spécifiques à l’IA en termes de réglementation et éthique.
L’IA au service des hackers
AB : Fuite de données personnelles, piratages massifs, espionnage économique, usurpation d’identité, infection de systèmes informatiques sensibles… l’IA peut s’avérer d’une grande aide pour les pirates informatiques. Mais c’est surtout sa capacité de rendre le travail « plus facile », c’est-à-dire de massivement automatiser des tâches normalement fastidieuses pour des hackers malveillants qui la rendent aussi dangereuse. Il faut d’ailleurs savoir que des solutions de machine learning comme Deep Exploit. -un outil de tests d’intrusion entièrement automatisé lié à Metasploit qui utilise l’apprentissage par renforcement (auto-apprentissage) – est utilisé par les deux « camps », les attaquants et les défendants.
MD : Il faut également savoir que l’IA n’est pas infaillible, et que ces failles peuvent être utilisées par des personnes, dont certains hackers. Dans le cas de la vidéosurveillance par reconnaissance faciale, des individus se sont organisées pour tromper l’IA. Sans nécessairement parler d’hacker, ils sont parvenus à déjouer l’algorithme de façon intentionnelle. La marque italienne Cap_able a réussi à contourner les systèmes de reconnaissance faciale grâce à des motifs conçus par l’intelligence artificielle. Chaque pièce contient un motif, appelé « patch contradictoire » qui trompe les systèmes : soit les caméras n’identifient pas la personne, soit les caméras l’identifient comme une girafe, un zèbre, un chien ou l’un des autres animaux intégrés dans le motif* (source). Autre exemple avec le programme Face++, utilisé par le géant chinois du commerce en ligne Alibaba pour sécuriser les paiements de ses utilisateurs. Des chercheurs du Carnegie Mellon University de Pittsburgh (des hackeurs éthiques cette fois) ont berné ce système en imitant avec des lunettes à 22 cents les points de repère du visage utilisés par les réseaux neuronaux artificiels du programme pour identifier les utilisateurs* (source).
Spécialiste en protection des données et droit du numérique, j’accompagne les entités privées et publiques pour mettre en place des SMPD (Système de Management de la Protection des données) tant en qualité de DPO externe que de coach au DPO ou de livrable à la demande. J’opère dans des systèmes d’information sensibles (santé privé et public, bancaire) et plus classique pour des entreprises ayant conscience de l’enjeu de la protection des données.
TVH Consulting
Partenaire de référénce des éditeurs Microsoft, SAP et Talend, le groupe TVH Consulting est intégrateur expert de solutions ERP, Data, BI, CRM et Cybersécurité avec plus de 400 collaborateurs qui s’engagent sur 100% de réussite des projets IT.
Pour en savoir plus sur les contenus et outils de Business Intelligence, visitez le site :
Les sociétés du groupe TVH Consulting
