Jean-Marie
JOHN-MATHEWS
Researcher in AI Ethics

Chercheur associé à l'Université Paris-Saclay et co-fondateur de Giskard AI, mes activités de recherche se situent dans le champ de l'éthique des technologies et plus particulièrement de l'intelligence artificielle (AI Ethics). Je suis enseignant à Sciences Po du cours Algorithms & Public Policies et en mathématiques pour le Machine Learning à AIvancity.

Par le passé, j'ai travaillé en tant que Data Scientist et ingénieur en IA après une formation en mathématiques (Mines et ENSAE), économie (Sciences Po / Polytechnique et PSE) et philosophie (Sorbonne et ICP).

Sciences Po :
- Algorithms & Public Policies, M2, Master Politiques Publiques, École des Affaires Publiques :
 2019/2020, 2020/2021 et 2021/2022
- Méthodes quantitatives pour les sciences sociales, L1, Collège universitaire :
2018/2019
- Analyse et évaluation des politiques publiques, M2, Master Politiques Publiques, École des Affaires Publiques :
2016/2017

Université Paris Dauphine :
- Stratégie d'entreprise, Licence de gestion, 3ᵉ année :
2021/2022

Université AIvancity :
- Mathématiques pour l'intelligence artificielle, Licence, 1re année :
2021/2022
- Ethique de l'IA, 2022-2023

Université Paris Sciences & Lettres (PSL) :
- Mathématiques & Probabilités, Cycle Pluridisciplinaire d'Etudes Supérieures (CPES), 2ᵉ année :
2016/2017, 2017/2018, 2018/2019 et 2019/2020
- Statistiques, Cycle Pluridisciplinaire d'Etudes Supérieures (CPES), 2ᵉ année :
2016/2017, 2017/2018, 2018/2019 et 2019/2020

Université Paris Sorbonne :
- Econométrie, L3, Licence d'économie :
2013/2014
- Statistiques, L3, Licence d'économie :
2016/2017

 

Intervention BFM Business sur l'IA et Giskard
BFM Business, 4 janvier 2023, Jean-Marie John-Mathews
Lien vidéo

Formation aux administrations publiques sur le test en Machine Learning
Direction interministérielle du numérique, Etalab, 8 novembre 2022, Jean-Marie John-Mathews
Résumé : Pourquoi est-ce si important de tester les modèles de Machine Learning ? Quelles sont les enjeux et les difficultés ? Quelles sont les différentes méthodes ? Dans cette formation dédiées aux administrations publiques des différents ministères, nous abordons la théories et la pratiques des techniques de tests du Machine Learning.
Lien vidéo 

Conférence: "Comment mesurer les biais des données de l'IA ?" 
Séminaire DAMA, 23 novembre 2022, Jean-Marie John-Mathews
Résumé : Les incidents et les risques engendrés par l'IA sont aujourd'hui nombreux : chute de performance, discrimination, faille de sécurité, modèle de responsabilité altérée, etc. Face à ces incidents, le data management a un rôle primordial pour gérer les risques dès la phase amont des projets IA. Cela passe par la mise en place de tests des biais de l'IA. Dans ce webinaire, nous présenterons en détail une méthodologie pour le test des données de l'IA. Nous nous appuierons sur la solution Giskard pour présenter une démo sur des cas pratiques.
Lien vidéo 

Comment tester les produits ML ? 
Meet-up AI Engineering, 1 août 2022, Jean-Marie John-Mathews
Résumé : Comment tester des produits ML ? Jean-Marie John-Mathews de Giskard AI nous présentent les difficultés posées par le ML Testing, les solutions théoriques et une implémentation pratique de ces tests avec intégration dans une pipeline de CI/CD
Lien vidéo 

Conférence: "Pourquoi réguler l'IA est-il difficile ?" 
Banque de France, 18 février 2022, Jean-Marie John-Mathews
Résumé : Regulation in AI is difficult because finding stable normative categories is much harder than in traditional software. This is what I tried to experiment and theorize in my research. One way to overcome this issue is to jointly combine two movements: (1) Open up the AI: collect the feedback, errors, and criticism. This step is essential to trigger a reflexive attitude from the AI constructor. (2) Materialize the new associations: structure the feedback, build metrics and test it. This is essential to stabilize the new findings brought by the opening step. At Giskard AI, we help AI constructors to collect feedback to turn them into actionable tests. It's the concretization of academic research into the operational world.
Lien 

Conference : "A Critical Empirical Study of Black-box Explanations in AI" 
International Conference in Information Systems, 14 décembre 2021, Jean-Marie John-Mathews
Résumé : This paper provides empirical concerns about post-hoc explanations of black-box ML models, one of the major trends in AI explainability (XAI), by showing its lack of interpretability and societal consequences. Using a representative consumer panel to test our assumptions, we report three main findings. First, we show that post-hoc explanations of black-box model tend to give partial and biased information on the underlying mechanism of the algorithm and can be subject to manipulation or information withholding by diverting users’ attention. Secondly, we show the importance of tested behavioral indicators, in addition to self-reported perceived indicators, to provide a more comprehensive view of the dimensions of interpretability. This paper contributes to shedding new light on the actual theoretical debate between intrinsically transparent AI models and post-hoc explanations of black-box complex models – a debate which is likely to play a highly influential role in the future development and operationalization of AI systems.
Lien 

Séminaire : "L'éthique de l'intelligence artificielle en pratique : enjeux et limites" 
Sciences Po Paris, 16 novembre 2021, Jean-Marie John-Mathews
Résumé : Alors que l’Intelligence Artificielle (IA) est de plus en plus critiquée en raison des enjeux éthiques qu’elle pose, un ensemble d’outils et de méthodes ont émergé ces dernières années pour la normer, tels que les algorithmes de débiaisement, les métriques d’équité, la génération d’explications, etc. Ces méthodes, dites de l’IA responsable, doivent s’adapter à des algorithmes qui s’alimentent de données de plus en plus granulaires, volumineuses et comportementales. Dans ce travail de recherche, nous décrivons comment l’IA prétend calculer le monde lui-même sans l’usage des catégories normatives que nous utilisons habituellement pour formuler des critiques. Comment normaliser une IA qui prétend justement se positionner en deçà des normes ?
Lien 

Séminaire : "Is interpretability a solution to address discrimination in Machine Learning?" 
Good In Tech Webinar, 12 mai 2021, Jean-Marie John-Mathews
Résumé : We consider two fundamental and related issues currently facing the development of Artificial Intelligence (AI): the lack of ethics, and the interpretability of AI decisions. Can interpretable AI decisions help to address the issue of ethics in AI? Using a randomized study, we experimentally show that the empirical and liberal turn of the production of explanations tends to select AI explanations with a low denunciatory power. Under certain conditions, interpretability tools are therefore not means but, paradoxically, obstacles to the production of ethical AI since they can give the illusion of being sensitive to ethical incidents.
Lien 

Conférence : "Au coeur des algorithmes. Démarche scientifique de l'automatisation,  enjeux éthiques, juridiques et sociétaux"
Institut Imagine, Espace éthique, 6 février 2020, Jean-Marie John-Mathews
Lien vidéo conférence
Lien vidéo Table ronde

 

Conférence : "L'intelligence artificielle : pourquoi l'IA pose-t-elle problème ?" 
Université de droit et économie de Metz, 17 janvier 2020, Jean-Marie John-Mathews
Résumé : Ces dernières années, de nombreuses applications telles que la voiture autonome, les assistants virtuels, les systèmes de recommandation, la reconnaissance faciale ou vocale utilisent du Machine Learning, une sous-discipline de l'intelligence artificielle (IA). Ces usages font débat et posent aujourd'hui de nombreux problèmes éthiques de nature variée tels que les faits de discrimination, l'atteinte aux libertés individuelles, à l'autonomie des sujets ou encore la responsabilité des algorithmes étant donné leur opacité. Dans cette conférence, nous présenterons ces différentes préoccupations à partir d'un point de vue technique. Une communauté grandissante de chercheurs et ingénieurs en intelligence artificielle traitent en effet ce sujet éthique en proposant des outils dits responsables en IA. À partir de la présentation de ces outils et méthodes dits responsables, nous exposerons leurs présupposés théoriques ainsi que leurs limites et contradictions.
Lien

 

Interview : Une plongée dans les réseaux de neurones 
IT for Business, Octobre 2019
Lien

 

Conférence : "L'ingénieur en mathématique dans un monde d'intelligence artificielle" 
Université Paris Diderot, 18 février 2019, Jean-Marie John-Mathews
Résumé : Ces dernières années, de nombreuses applications telles que la voiture autonome, les assistants virtuels, les systèmes de recommandation, la reconnaissance faciale ou vocale prétendent "utiliser de l'intelligence artificielle". Qu'est ce que cela signifie ? Une vision plus précise des modèles au sein de ces technologies permet d'identifier leur dénominateur commun qui n'est autre qu'une discipline au sein même des mathématiques appliquées : le machine learning. Quelle place pour l'ingénieur en mathématique dans un monde d'intelligence artificielle ? Son rôle dans la société s'en trouve t-il changé ? Nous verrons dans cette conférence comment la conception des algorithmes mettent l'ingénieur au cœur des enjeux éthiques et sociétaux induits par l'intelligence artificielle.
Lien vidéo