Dans de nombreux services publics (santé, éducation, justice, emploi, aides sociales, …) les intelligences artificielles dont déjà à l’œuvre. Elles orientent les décisions, hiérarchisent les dossiers, filtrent les candidatures, calculent des risques. Présentés comme des outils de modernisation et d’efficacité, elles deviennent progressivement des instruments de gestion qui échappent souvent au contrôle citoyen.
Les dangers sont connus. Les algorithmes reproduisent les biais contenus dans les données qui les nourrissent. Aux États-Unis, certains systèmes prédictifs ont sur-évalué les risques de récidive des populations noires dans la justice pénale. En France, l’usage d’algorithmes dans l’attribution de bourses ou de logements sociaux a déjà montré des inégalités dans le traitement des dossiers. L’algorithme antifraude de la Caisse nationale des allocations familiales, par exemple, attribue à chaque dossier un “score de risque” sur la base de critères socio-économiques. Des associations comme La Quadrature du Net et Amnesty International ont saisi le Conseil d’État fin 2024 pour dénoncer la logique discriminatoire de ce système : certains profils sont ciblés non pas en raison d’actes, mais parce qu’ils “ressemblent statistiquement” à des fraudeurs. Le principe de présomption d’innocence s’y trouve remplacé par un raisonnement probabiliste opaque. À cela s’ajoute l’opacité : la plupart de ces systèmes sont conçus par des prestataires privés, sans transparence sur leur fonctionnement, alors même qu’ils affectent des droits fondamentaux.
Pour les collectivités locales, le problème est double. D’un côté, elles manquent de ressources et d’expertise pour évaluer la fiabilité des solutions proposées par les entreprises du numérique. De l’autre, elles subissent une pression budgétaire qui pousse à externaliser la gestion de services sociaux sensibles à des « solutions algorithmiques » standardisées. Le risque est alors de transformer des droits sociaux en variables statistiques, et de réduire les citoyens à des profils prédéfinis, sans prise en compte des situations particulières.
La question n’est pas de rejeter toute utilisation d’algorithmes, mais d’organiser leur usage démocratiquement. Plusieurs orientations doivent être posées dès maintenant :
- Transparence obligatoire : tout algorithme utilisé par l’État, un département ou une commune pour attribuer un droit ou un service doit être public, documenté et auditable.
- Garantie d’humain dans la boucle : aucune décision sociale ne peut être automatisée sans validation humaine ; l’algorithme doit assister, non remplacer.
- Évaluations indépendantes : chaque système doit être soumis à des audits réguliers pour détecter biais et discriminations.
- Soutien aux collectivités locales : mutualiser au niveau régional ou national des équipes d’expertise capables d’accompagner les communes dans l’évaluation et la mise en œuvre des outils, pour éviter leur dépendance à des prestataires opaques.
- Priorité aux solutions publiques et open source : développer des logiciels transparents, contrôlés par la puissance publique, plutôt que de déléguer la gestion algorithmique des droits sociaux à des multinationales.
La gestion algorithmique des services publics est un enjeu de justice sociale autant que de technologie. Sans cadre démocratique clair, elle risque de renforcer les inégalités et d’éroder la confiance dans l’action publique. En la reprenant en main, il est possible au contraire de construire des outils au service de l’égalité, de la transparence et de la souveraineté.
Sébastien GIRARDOT, Délégué fédéral à la communication – Suivi technique, datas et IA