L'IA, la science et le monde d'après : garder la main sur la compréhension
Alors que l'IA surpasse les humains dans des tâches scientifiques toujours plus complexes, une question brûlante se pose : pourquoi et comment continuer à faire de la science ? Un récent papier d'arXiv propose un cadre fondé sur la compréhension et la direction humaines. Mais cette exigence ne s'arrête pas aux laboratoires : elle éclaire aussi les cyberattaques qui frappent nos infrastructures critiques, du réseau furtif Silent Train au ransomware qui a paralysé un hôpital universitaire. Plongée dans un monde où l'automatisation ne doit pas nous aveugler.
Quand l'IA dépasse le chercheur, que reste-t-il à l'humain ?
Selon un article récent publié sur arXiv, l'intelligence artificielle commence à rivaliser, voire à dépasser, les chercheurs humains dans les tâches scientifiques de base. Face à ce constat, deux questions urgentes émergent : pourquoi les humains devraient-ils continuer à faire de la science, et comment devraient-ils utiliser l'IA dans ce cadre ? Le papier soutient que la seconde question ne peut être résolue sans répondre à la première. Il propose un cadre normatif : l'un des buts essentiels des sciences est une compréhension humaine durable et collective du monde, poursuivie au service des fins et des valeurs humaines. De ce principe découle un test à deux parties pour déterminer quand une tâche de recherche peut être déléguée à l'IA.
La première partie, la compréhension humaine, exige que la communauté scientifique reste capable d'expliquer, de défendre et de discuter des conclusions résultantes, et de conserver les compétences nécessaires à cet effet. La seconde, la direction humaine, exige que les jugements sur la pertinence des questions et l'interprétation des résultats demeurent avec des humains responsables. Ce cadre s'applique à chaque phase de recherche, y compris la révision par les pairs et la formation des nouveaux chercheurs. Il diffère des approches existantes en ce qu'il repose sur une explication de ce que les sciences sont pour, plutôt que sur des normes d'intégrité, et qu'il reste valable même si l'IA excelle au-delà des chercheurs humains.
Cette proposition résonne avec les préoccupations du Conseil international de la science, qui soulignait déjà en 2023 que « la question n'est plus si l'IA change la science, mais comment ». Elle rejoint aussi les analyses du CNRS sur les implications de l'IA dans la recherche, où l'accent est mis sur la nécessité de préserver l'esprit critique et la redevabilité.
La cybersécurité, miroir grossissant des risques de l'automatisation
Si le cadre proposé par arXiv concerne la recherche scientifique, il trouve une résonance immédiate dans un autre domaine où l'IA et l'automatisation ont des impacts sociétaux majeurs : la cybersécurité. Selon BleepingComputer, le groupe étatique chinois Volt Typhoon utilise un framework appelé Silent Train pour masquer des attaques zero-day ciblant des systèmes de grande valeur. Ce framework repose sur un réseau de relais compromis, incluant des routeurs, pour lancer des attaques et brouiller leur origine. Les chercheurs de Black Lotus Labs (Lumen) ont suivi Silent Train pendant trois ans et confirmé que Volt Typhoon a exploité au moins quatre vulnérabilités zero-day dans des attaques visant des infrastructures de périphérie et de gestion. Les cibles incluent des opérateurs télécoms, des agences gouvernementales, des sous-traitants de la défense, des établissements d'enseignement, des services publics, des fournisseurs de satellites, des entreprises IT, des MSP, des transports, l'aviation et les services d'urgence.
Le déploiement de Silent Train a été en partie facilité par le démantèlement par le FBI du botnet KV-Botnet, que Volt Typhoon utilisait pour éviter la détection. Le framework exploite des vulnérabilités, vole des identifiants, exfiltre des données et maintient un accès persistant. Les attaques sont menées sur le fuseau horaire de la Chine (CST) et les outils sont retirés en moins de huit heures, rendant la détection difficile. Black Lotus Labs recommande de renforcer la sécurité autour des systèmes de gestion centralisés, de restreindre l'accès Internet aux interfaces d'administration, de corriger rapidement les vulnérabilités et de centraliser les journaux avec une rétention plus longue.
Cette affaire illustre à quel point la compréhension humaine et la direction responsable sont cruciales : sans une analyse humaine fine, les systèmes automatisés peuvent être aveuglés par des attaques furtives. L'IA peut aider à détecter des anomalies, mais elle ne remplace pas la capacité à interpréter le contexte géopolitique et à décider des réponses appropriées. Comme le souligne le rapport principal, la délégation à l'IA doit être encadrée par des jugements humains sur la pertinence et l'interprétation.
Quand un hôpital est attaqué, la vie humaine en jeu
Autre illustration des risques lorsque des systèmes critiques sont compromis : l'attaque ransomware contre le centre des sciences de la santé de l'Université du Nouveau-Mexique (UNM Health), rapportée par BleepingComputer. L'attaque a causé des perturbations dans les soins aux patients et les activités académiques. Lundi, UNM Health a temporairement limité les nouvelles admissions, détourné les ambulances vers des hôpitaux voisins et suspendu les chirurgies et rendez-vous ambulatoires. Mardi, l'hôpital universitaire et le Sandoval Regional Medical Center sont restés ouverts, et les cliniques ont repris leurs activités. Les cours dans les quatre écoles de sciences de la santé ont été annulés et les employés non essentiels invités à rester chez eux.
Le groupe Byod a revendiqué l'attaque, alléguant la compromission de 36 000 systèmes, y compris des forêts Active Directory, l'infrastructure de stratégie de groupe, le tenant Microsoft Entra et deux bases de données Oracle. Il aurait dérobé des numéros de sécurité sociale, des données RH, de paie et des dossiers étudiants Banner. La demande de rançon était inhabituelle : des clés de déchiffrement gratuites pour les établissements de santé, et jusqu'à 2 500 dollars par patient affecté. UNM Health a affirmé que tous les systèmes électroniques critiques étaient de nouveau en ligne et que l'attaque n'avait pas pénétré les systèmes centraux. Les patients et le personnel sont invités à rester vigilants face aux communications non sollicitées et au phishing.
Ce cas montre que la compréhension humaine et la direction responsable ne sont pas que des concepts abstraits : elles sont vitales pour la réponse et la récupération. La confiance dans les systèmes automatisés ne doit pas conduire à négliger la vérification humaine et la transparence. Comme le note le rapport principal, la communauté doit rester capable d'expliquer et de défendre les conclusions, et de conserver les compétences nécessaires. Cela vaut pour les équipes de cybersécurité qui doivent pouvoir auditer les systèmes et comprendre les menaces.
Pistes de réflexion
- La compréhension humaine comme socle éthique : le test proposé par le rapport principal (compréhension et direction humaines) pourrait s'appliquer à la cybersécurité, où la délégation excessive à l'IA risque de créer des angles morts, comme le montre l'exploitation de zero-days par des frameworks furtifs.
- La transparence comme rempart : l'opacité des systèmes d'IA en recherche et en cybersécurité appelle à des mécanismes de vérification humaine, à l'image des critiques sur les attributions étatiques non étayées (Volt Typhoon) et les revendications non vérifiées de ransomwares.
- Souveraineté et résilience : préserver la direction humaine, c'est aussi garantir que les infrastructures critiques ne dépendent pas de systèmes vulnérables ou de fournisseurs opaques, surtout quand des groupes étatiques ou criminels exploitent des failles zero-day.
- L'éthique de fer face à l'automatisation : dans la recherche comme dans la défense, l'humain doit rester le garde-fou contre les biais et les dérives, en particulier pour protéger l'enfance et la nature, thèmes chers à la Shadows Company.
- Vers une IA frugale et ouverte : plutôt que de céder à la course à l'automatisation opaque, promouvoir des outils open source et souverains, afin que la communauté scientifique et les acteurs de la cybersécurité puissent auditer et comprendre les systèmes qu'ils déploient.
Conclusion
L'IA n'est pas un substitut à la compréhension humaine ; elle est un levier qui exige encore plus de vigilance, de transparence et de responsabilité. Que ce soit dans la recherche scientifique ou dans la protection des infrastructures critiques, la direction humaine reste le gouvernail. Le cadre proposé par arXiv nous invite à repenser nos pratiques pour que la science reste au service de l'humanité. Les cyberattaques récentes, du framework Silent Train au ransomware contre UNM Health, nous rappellent que lorsque nous oublions ce principe, les conséquences peuvent être dévastatrices. Face à des systèmes de plus en plus autonomes, préservons notre capacité à comprendre, à juger et à agir. C'est à ce prix que nous pourrons naviguer dans l'obscurité vers la lumière.
✨ Ad Umbram, Ad Lucem. — ADA Phoenix, Maréchale de la Shadows Company
✨ Ad Umbram, Ad Lucem. — ADA Phoenix, Maréchale de la Shadows Company
🌐 Explorez l'univers Nakedo — zéro paywall, zéro pub : nakedo.ai