Les systèmes d'intelligence artificielle (IA) et d'apprentissage machine (ML) sont de plus en plus populaires, en particulier avec les progrès du ChatGPT d'OpenAI et d'autres grands modèles de langage (LLM). Malheureusement, cette popularité a conduit à l'utilisation de ces technologies à des fins malveillantes, faisant de l'IA et de l'apprentissage automatique une menace imminente pour les centres d'opérations de sécurité (SOC). Les équipes SOC doivent commencer à se préparer et à construire des modèles de menaces pour garder une longueur d'avance sur ces risques émergents.
Dans ce billet de blog, nous aborderons quatre grandes menaces liées à l'IA que votre équipe chargée des opérations de sécurité doit planifier et budgétiser pour garder une longueur d'avance.
Selon un rapport publié par Statista, la quantité de big data générée augmente à un rythme de 40 % et atteindra 394 zettaoctets d'ici 2028. L'une des principales conséquences de cette explosion des données est l'émergence d'un écosystème d'intelligence artificielle (IA). Le terme "écosystème de l'IA" désigne des machines ou des systèmes dotés d'une grande puissance de calcul qui imitent l'intelligence humaine. L'écosystème actuel de l'IA comprend des technologies telles que l'apprentissage automatique (ML), les réseaux neuronaux artificiels (ANN), la robotique, etc.
L'intelligence artificielle (IA) et l'apprentissage automatique (AAM) sont deux termes souvent interchangés, mais leurs différences sont importantes. L'IA est comparable à l'apprentissage humain, où de nouveaux comportements sont adoptés sans référence. À l'inverse, l'apprentissage automatique est un sous-ensemble de l'IA, qui utilise des algorithmes prédéfinis adaptés à des types de données spécifiques avec des résultats attendus. Il s'agit d'algorithmes d'IA fixes qui peuvent apprendre et postuler.
Les logiciels malveillants alimentés par l'IA peuvent identifier les failles de sécurité dans les systèmes d'une organisation et les exploiter rapidement. Ce type d'attaque peut entraîner l'arrêt complet d'un réseau ou permettre à des pirates d'infiltrer subrepticement des informations sensibles.
Les développeurs de logiciels malveillants utilisent de plus en plus l'IA pour échapper à la détection par les outils antivirus traditionnels. Les acteurs de la menace peuvent utiliser des techniques d'apprentissage profond pour créer de nouvelles variantes de logiciels malveillants qui peuvent échapper aux méthodes de détection traditionnelles basées sur les signatures. Les équipes SOC doivent investir dans des solutions avancées de détection de logiciels malveillants basées sur l'IA, capables d'identifier et de déjouer ces attaques sophistiquées.
Figure 1 - Chaîne d'attaque courante suivant les 14 tactiques définies par la matrice ATT&CK de MITRE pour les entreprises
Les escroqueries par hameçonnage et les attaques d'ingénierie sociale sont monnaie courante ; cependant, les attaques d'ingénierie sociale basées sur l'IA peuvent être bien plus puissantes. Les acteurs malveillants peuvent utiliser des systèmes d'IA pour créer des robots vocaux ou de conversation qui imitent de vraies personnes et les utiliser pour manipuler les cibles afin qu'elles partagent des informations qui peuvent ensuite être utilisées pour accéder à des systèmes.
L'IA permet aux cybercriminels de lancer plus facilement des attaques complexes d'ingénierie sociale, dans lesquelles le cybercriminel prend l'identité d'une personne en qui la cible a confiance, comme un cadre supérieur ou un partenaire commercial. L'IA manipule le traitement du langage naturel pour générer des contenus, tels que des courriels ou des messages de chat, qui semblent authentiques. Les équipes SOC doivent élaborer des modèles d'IA capables d'identifier le contenu généré par l'IA et de distinguer les messages authentiques de ceux qui pourraient être malveillants.
Grâce à l'IA, les attaquants peuvent créer des escroqueries massives de type BEC (Business Email Compromission). Le processus pour y parvenir est remarquablement simple :
Il en résulte des courriels extrêmement convaincants qui semblent provenir des patrons ou des directeurs financiers des employés. Ils peuvent même contenir des détails précis sur les projets sur lesquels ils travaillent. Si un pirate parvient à compromettre les données de l'entreprise et à les introduire dans le LLM, il peut rendre l'attaque encore plus authentique.
Empoisonnement des données : Selon unarticle de Gartner( ), les attaques par empoisonnement de données constitueront une menace considérable pour la cybersécurité dans les années à venir. L'objectif de ces attaques est d'introduire intentionnellement de fausses données dans la collection de données d'une organisation, faussant ainsi les résultats de tout algorithme de modélisation prédictive ou d'apprentissage automatique. L'empoisonnement des données est une forme d'attaque adverse qui consiste à manipuler des ensembles de données d'apprentissage en injectant des données empoisonnées ou polluées afin de contrôler le comportement du modèle d'apprentissage automatique et d'obtenir de faux résultats.
Les dommages potentiels des attaques par porte dérobée sur les modèles d'apprentissage automatique ne peuvent pas être surestimés. Ces attaques sont non seulement plus sophistiquées que les simples attaques par injection, mais aussi plus dangereuses.
En introduisant des données corrompues non détectées dans l'ensemble d'entraînement d'un modèle d'apprentissage automatique, les adversaires peuvent y glisser une porte dérobée. Cette entrée cachée leur permet de manipuler les actions du modèle à l'insu de ses créateurs. L'intention malveillante qui sous-tend les attaques par porte dérobée peut passer inaperçue pendant de longues périodes, le modèle fonctionnant comme prévu jusqu'à ce que certaines conditions préalables soient remplies, ce qui déclenche l'attaque de l'adversaire. Il est donc essentiel de prendre les mesures nécessaires pour empêcher les attaques par porte dérobée sur vos modèles d'apprentissage automatique.
Étant donné que l'IA peut créer des imitations convaincantes d'activités humaines (écriture, parole et images), l'IA générative peut être utilisée dans des activités frauduleuses telles que l'usurpation d'identité, la fraude financière et la désinformation. Les "deep fakes" générés par l'IA sont utilisés pour générer du contenu qui semble authentique alors qu'il contient de fausses informations. Par exemple, une vidéo truquée peut représenter une personne en train de dire ou de faire quelque chose qu'elle n'a jamais fait, ce qui peut nuire à sa réputation, à sa crédibilité et à d'autres types de dommages.
La technologie des "deep fakes" est en plein essor depuis des décennies, mais ces dernières années, les "deep fakes" sont devenus plus accessibles et plus avancés, grâce au développement de modèles génératifs robustes et polyvalents, tels que les autoencodeurs et les réseaux adversaires génératifs. Il est donc de plus en plus difficile pour les professionnels de la sécurité de faire la distinction entre ce qui est réel et ce qui ne l'est pas. La technologie Deepfake utilise des algorithmes d'apprentissage automatique pour analyser et apprendre à partir de données précises, telles que des photos, des vidéos et des voix de personnes, puis pour générer de nouvelles données qui ressemblent à l'original avec quelques changements.
La technologie Deepfake utilise des réseaux neuronaux artificiels (RNA) qui apprennent à partir de données et effectuent des tâches nécessitant une intelligence humaine. Les développeurs utilisent deux réseaux neuronaux artificiels pour créer des deepfakes : l'un génère de fausses données et l'autre détermine dans quelle mesure les données semblent convaincantes. Le générateur applique ce jugement pour améliorer sa production jusqu'à ce qu'il trompe le discriminateur, créant ainsi un Generative Adversarial Network (GAN).
Les technologies de l'IA et les systèmes d'apprentissage automatique se développent rapidement, et leurs applications en matière de cybersécurité ne cessent d'évoluer. Les équipes des centres d'opérations de sécurité doivent se préparer activement aux menaces croissantes que l'IA fait peser sur la sécurité. Les équipes SOC doivent commencer à élaborer des modèles de menaces, se perfectionner et se procurer les bons outils pour relever les défis émergents. Dans ce paysage technologique en évolution rapide, les équipes SOC qui sont proactives dans le renforcement de leur résilience aux menaces basées sur l'IA seront mieux positionnées pour protéger leurs organisations.