├── .gitignore ├── img ├── partenaires_soutiens.png ├── diversite_contributeurs.png ├── composition_comite_gouvernance.png └── processus_mise_a_jour_referentiel_cadre_dsrc.png ├── workshops-notes ├── 2022.11.21_workshop-s03e05_notes.md ├── 2023.03.06_workshop-s04e01_notes.md ├── 2023.11.27_workshop-s04e04_notes.md ├── 2024.03.18_workshop-s05e01_notes.md ├── 2023.07.03_workshop-s04e02_notes.md ├── 2023.09.18_workshop-s04e03_notes.md ├── 2022.06.27_workshop-s03e03_notes.md ├── 2020.09.08_workshop-5_notes.md ├── 2020.11.10_workshop-6_notes.md ├── 2020.12.16_workshop-7_notes.md ├── 2019.12.18_workshop-1_notes.md ├── 2022.09.19_workshop-s03e04_notes.md ├── 2021.02.22_workshop-s02e01_notes.md ├── 2020.06.23_workshop-4_notes.md ├── 2022.05.09_workshop-s03e02_notes.md ├── 2022.03.07_workshop-s03e01_notes.md ├── 2021.11.22_workshop-s02e05_notes.md ├── 2021.09.20_workshop-s02e04_notes.md ├── 2021.06.21_workshop-s02e03_notes.md ├── 2020.04.02_workshop-3_notes.md ├── 2021.04.26_workshop-s02e02_notes.md └── 2020.02.06_workshop-2_notes.md ├── methode.md ├── LICENSE ├── references.md └── README.md /.gitignore: -------------------------------------------------------------------------------- 1 | .idea/* -------------------------------------------------------------------------------- /img/partenaires_soutiens.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/datacraft-paris/referentiel-evaluation-dsrc/HEAD/img/partenaires_soutiens.png -------------------------------------------------------------------------------- /img/diversite_contributeurs.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/datacraft-paris/referentiel-evaluation-dsrc/HEAD/img/diversite_contributeurs.png -------------------------------------------------------------------------------- /img/composition_comite_gouvernance.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/datacraft-paris/referentiel-evaluation-dsrc/HEAD/img/composition_comite_gouvernance.png -------------------------------------------------------------------------------- /img/processus_mise_a_jour_referentiel_cadre_dsrc.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/datacraft-paris/referentiel-evaluation-dsrc/HEAD/img/processus_mise_a_jour_referentiel_cadre_dsrc.png -------------------------------------------------------------------------------- /workshops-notes/2022.11.21_workshop-s03e05_notes.md: -------------------------------------------------------------------------------- 1 | # Meetup "IA responsable et de confiance" s03e05 du 21 novembre 2022 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/1E9n-GD7fIT1A18f7VGPEXVHBDfKULdrZhhwZK7PdWvE/edit?usp=sharing) 7 | - [Référentiel d'évaluation](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay de cet atelier](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s03e04-kmxc8) 10 | 11 | ## Participants 12 | 13 | 98 inscrits, voir détails [ici](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/events/289370069/attendees/). 14 | 15 | ## Sommaire 16 | 17 | 1. Introduction et mot d'actualité sur le label 18 | 1. Présentation du AI Act Day organisé par Impact AI et Datacraft (Gwendal Bihan et Xavier Lioneton) 19 | 1. Présentation démarche et organisation sur les sujets éthiques chez Hugging Face (Giada Pistilli) 20 | 1. Actualités IA responsable : événements et travaux normatifs 21 | 22 | ## Présentations 23 | 24 | - [Présentation démarche et organisation sur les sujets éthiques chez Hugging Face (Giada Pistilli)](https://drive.google.com/file/d/10O3kPdSOulY6Kjnb5QDYbOdjtZNc0efr/view?usp=share_link) 25 | 26 | ## Replay 27 | 28 | Vous pouvez retrouver le replay sur ce [lien](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s03e04-kmxc8). 29 | -------------------------------------------------------------------------------- /workshops-notes/2023.03.06_workshop-s04e01_notes.md: -------------------------------------------------------------------------------- 1 | # Meetup "IA responsable et de confiance" s04e01 du 6 mars 2023 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/1ez4vIPfbSdqXO_CGSZ19TCGtX03sjGEadW1FF6uZxM8/edit?usp=share_link) 7 | - [Référentiel d'évaluation](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay de cet atelier](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s04e01) 10 | 11 | ## Participants 12 | 13 | 82 inscrits, voir détails [sur la page Meetup de l'événement](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/events/291443564/). 14 | 15 | ## Sommaire 16 | 17 | 1. Introduction et mot d'actualité sur le label 18 | 1. Présentation de Quantmetry sur les audits IA de confiance (Grégoire Martinon, Philippe Neveux, Olivier Petit, Nicolas Girard) 19 | 1. Projet P16 dans le cadre de la Stratégie Nationale pour l'IA (François Goupil, INRIA) 20 | 21 | ## Présentations 22 | 23 | - [Présentation de Quantmetry sur les audits IA de confiance](https://drive.google.com/file/d/1MP5ThPUunhE48XUoA8O00RzFK0w1O6UR/view?usp=share_link) 24 | - [Présentation de l'INRIA sur le projet P16](https://drive.google.com/file/d/1MQyXD7UBJKjFluB-KA27AVhmfUBMda9u/view?usp=share_link) 25 | 26 | ## Replay 27 | 28 | Vous pouvez retrouver le replay sur ce [lien](www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s04e01). 29 | -------------------------------------------------------------------------------- /workshops-notes/2023.11.27_workshop-s04e04_notes.md: -------------------------------------------------------------------------------- 1 | # Meetup "IA responsable et de confiance" s04e04 du 27 novembre 2023 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/13cZoTcl6nklafNivfAy9kihescXIERcGMOnVq67E1Aw/edit?usp=drive_link) 7 | - [Référentiel d'évaluation](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay de cet atelier](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s04e04) 10 | 11 | ## Participants 12 | 13 | 54 inscrits, voir détails [sur la page Meetup de l'événement](https://www.meetup.com/data-science-responsable-et-de-confiance/events/297278030/). 14 | 15 | ## Sommaire et notes 16 | 17 | 1. Présentation de Samuel Jaulin et Yann Golhen (MAIF) : Une vision "patrimoine IA" pour gérer l'intégration d'un grand nombre de briques IA en production 18 | 1. Présentation de Céline Alby (Axionable) : les coûts cachés (voire oubliés) des LLMs 19 | 20 | ## Présentations 21 | 22 | - [Une vision "patrimoine IA" pour gérer l'intégration d'un grand nombre de briques IA en production](https://drive.google.com/file/d/1z5D60sF5v_W3etLePjIEBM7-GDZkWPkp/view?usp=drive_link) 23 | - [Les coûts cachés (voire oubliés) des LLMs](https://drive.google.com/file/d/1gp2Pxu05sQAuNnkwcyhPTU8OB5VgiOSo/view?usp=drive_link) 24 | 25 | ## Replay 26 | 27 | Vous pouvez retrouver le replay sur ce [lien](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s04e04). 28 | -------------------------------------------------------------------------------- /workshops-notes/2024.03.18_workshop-s05e01_notes.md: -------------------------------------------------------------------------------- 1 | # Meetup "IA responsable et de confiance" s05e01 du 18 mars 2024 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/1HsfScNVcaVpWp0faRq5M0yKFt11JOLxWq94we-RoWMQ/edit?usp=sharing) 7 | - [Référentiel d'évaluation](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay de cet atelier](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s05e01) 10 | 11 | ## Participants 12 | 13 | 106 inscrits, voir détails [sur la page Meetup de l'événement](https://www.meetup.com/data-science-responsable-et-de-confiance/events/297829930/). 14 | 15 | ## Sommaire et notes 16 | 17 | 1. Présentation de Jean-Pierre Lorré de Linagora : openLLM-France, modèles Claire-7B et Lucie-7B, travaux de l'Open Source Initiative autour de la définition de ce qu'est une IA générative open source. 18 | 1. Présentation de Rémy Ibarcq, Caroline Jean-Pierre et Samuel Rincé de Dataforgood : livre blanc sur les défis de la genAI, projet "Gen AI impact" de calcul de l’empreinte environnementale des modèles appelés en API, serious game "La Bataille de l'IA" 19 | 20 | ## Présentations 21 | 22 | - [openLLM-France, modèles Claire-7B et Lucie-7B, travaux de l'Open Source Initiative autour de la définition de ce qu'est une IA générative open source](https://drive.google.com/file/d/16lHZ-xVn1uW98jf7wBnp58H1f-6_5o_I/view?usp=drive_link) 23 | - [livre blanc sur les défis de la genAI, projet "Gen AI impact" de calcul de l’empreinte environnementale des modèles appelés en API, serious game "La Bataille de l'IA"](https://docs.google.com/presentation/d/1dlsID6dJELrurHxDsQEmF6yIJbBZad464W5_6AkiJh0/edit?usp=sharing) 24 | 25 | ## Replay 26 | 27 | Vous pouvez retrouver le replay sur ce [lien](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s05e01). 28 | -------------------------------------------------------------------------------- /workshops-notes/2023.07.03_workshop-s04e02_notes.md: -------------------------------------------------------------------------------- 1 | # Meetup "IA responsable et de confiance" s04e02 du 3 juillet 2023 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/1Ma9UoLJLq_nnS21LLszfEWndkLZLGGombb3-u53G7kw/edit?usp=sharing) 7 | - [Référentiel d'évaluation](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay de cet atelier](www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s04e02) 10 | 11 | ## Participants 12 | 13 | 68 inscrits, voir détails [sur la page Meetup de l'événement](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/events/294011467/). 14 | 15 | ## Sommaire et notes 16 | 17 | 1. Introduction et mot d'actualité sur le label : 18 | - AI Act voté au Parlement Européen le 14/06, en ligne pour une adoption définitive avant fin 2023 19 | - La coordination de la Stratégie Nationale IA réunit à Bercy mi-juillet les porteurs de labels 20 | - La mise à jour semestrielle du référentiel est en cours pour S1 2023. Elle sera suivie (~septembre) d’une mise à jour du référentiel par défaut sur la plateforme d’assessment, reprenant les évolutions S1 2022, S2 2022 et S1 2023 21 | 22 | 1. Présentation de William Nait Mazi (Ekimetrics) sur ClimateQ&A 23 | 1. Présentation de Jean-Marie John Mathews (Giskard.ai) sur les tests de qualité des LLMs et les outils développés par Giskard dans cette optique 24 | 25 | ## Présentations 26 | 27 | - [Présentation de William Nait Mazi (Ekimetrics) sur ClimateQ&A](https://docs.google.com/presentation/d/1-UOmMq4tvLCfzyYGEST_dBQ9pYuPLO1_/edit?usp=sharing&ouid=117856019377976156276&rtpof=true&sd=true) 28 | - [Présentation de Jean-Marie John Mathews (Giskard.ai)](https://docs.google.com/presentation/d/14D6H76RhP99SgV_oLlinfNsKdzvxK-qSupjEYSCap3Q/edit?usp=sharing) 29 | 30 | ## Replay 31 | 32 | Vous pouvez retrouver le replay sur ce [lien](www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s04e02). 33 | -------------------------------------------------------------------------------- /workshops-notes/2023.09.18_workshop-s04e03_notes.md: -------------------------------------------------------------------------------- 1 | # Meetup "IA responsable et de confiance" s04e03 du 18 septembre 2023 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/19iZNlPvO7TrVaoaXYtHyFt-RzWPR0_LUbBWBXX_kRRg/edit?usp=drive_link) 7 | - [Référentiel d'évaluation](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay de cet atelier](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s04e03) 10 | 11 | ## Participants 12 | 13 | 96 inscrits, voir détails [sur la page Meetup de l'événement](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/events/295922693/). 14 | 15 | ## Sommaire et notes 16 | 17 | 1. Introduction et mot d'actualité sur le label : 18 | - La mise à jour semestrielle du référentiel est pour le S1 2023 a été mergée sur le repo. Elle sera suivie dans les semaines à venir d’une mise à jour du référentiel par défaut sur la plateforme d’assessment, reprenant les évolutions S1 2022, S2 2022 et S1 2023. Les organisations qui ont un assessment complété ou en cours pourront le migrer vers cette version plus récente et finaliser leurs assessments sur les points nouveaux / ayant changé 19 | 20 | 1. Présentation de Quantmetry sur la conformité et l'audit des LLMs 21 | 1. Présentation d'Hanan Ouazan (Artefact) de synthèse du livre blanc d'Artefact sur l'adoption des LLMs en entreprise 22 | 23 | ## Présentations 24 | 25 | - [Article de blog correspondant à la présentation de Quantmetry sur la conformité et l'audit des LLMs](https://www.quantmetry.com/blog/auditer-chatgpt-un-enjeu-de-survie-pour-les-llms-en-europe/) 26 | - [Présentation d'Hanan Ouazan (Artefact) de synthèse du livre blanc d'Artefact sur l'adoption des LLMs en entreprise](https://drive.google.com/file/d/1wGQX6ttOVTnI2qzvBTsda6CRgX9rTyyI/view?usp=sharing) 27 | 28 | ## Replay 29 | 30 | Vous pouvez retrouver le replay sur ce [lien](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s04e03). 31 | -------------------------------------------------------------------------------- /workshops-notes/2022.06.27_workshop-s03e03_notes.md: -------------------------------------------------------------------------------- 1 | # Meetup "IA responsable et de confiance" s03e03 du 27 juin 2022 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/10-MdhbnXQ4u6U2ZmPtdlIR3_Dg8FYZ43ruZlaYU7JHk/edit?usp=sharing) 7 | - [Référentiel d'évaluation](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay de cet atelier](www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-saison-3-pisode-3) 10 | 11 | ## Participants 12 | 13 | Eric Boniface, Anne-Laure, Caroline Lancelot Miltgen, Céline Jacques, Cloélia Tissier, Corentin Boidot, Corentin Vasseur, Emilie Sirvent-Hien, Fabrice Radja, Heytem Boumaza, Irène Balmès, Marie Couvé, Marlène D., Romain Goussault, Xuecan Yang, Clément Mayer 14 | 15 | ## Sommaire 16 | 17 | 1. Introduction et mot d'actualité sur le label : 2 nouveaux labellisés, MAIF et Artefact, rejoignent Axionable 18 | 1. Présentation d'Emilie Sirvent-Hien sur la démarche éthique et responsable autour du développement et de l'usage de l'IA 19 | 1. Présentation d'une offre d'emploi "Tech Evangelist pour le logiciel open source Substra" par Romain Goussault (Owkin) 20 | 21 | ## Présentations 22 | 23 | - [Présentation d'Emilie Sirvent-Hien sur la démarche éthique et responsable autour du développement et de l'usage de l'IA](https://drive.google.com/file/d/1A6ieX4DXZziZfkST4G3HT2Goc0J-DZF1/view?usp=sharing), Groupe Femmes et IA du Cercle InterElles 24 | 25 | ## Replay 26 | 27 | Vous pouvez retrouver le replay sur ce [lien](www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-saison-3-pisode-3) 28 | 29 | ## Copie du chat 30 | 31 | Cloélia Tissier 32 | 17:01 33 | Bonjour à tous et toutes ! 34 | 35 | Vous 36 | 17:01 37 | Bonjour Cloélia ! 38 | 39 | CORENTIN BOIDOT 40 | 17:02 41 | Bonjour à tous ! 42 | 43 | Caroline Lancelot Miltgen 44 | 17:32 45 | Y a t-il de la place dans vos deux structures pour des personnes qui ne sont pas 'data scientists' ? Je suis social scientist et ces sujets (IA responsable et femmes & IA) m'intéressent beaucoup ... 46 | 47 | CORENTIN BOIDOT 48 | 17:33 49 | Quand vous parlez d'IA non-sexiste, est-il question de mettre en avant l'une des définitions d'équité algorithmique proposées par les chercheurs sur la fairness du ML ? ou bien est-ce juste dans une perspective moins technique ? 50 | Caroline Lancelot Miltgen17:34 51 | Merci pour votre réponse 52 | 53 | Caroline Lancelot Miltgen 54 | 17:34 55 | Merci pour votre réponse 56 | 57 | CORENTIN BOIDOT 58 | 17:37 59 | Merci pour votre réponse ! 60 | 61 | Clément Mayer 62 | 17:56 63 | Le lien : https://github.com/LabeliaLabs/referentiel-evaluation-dsrc/pull/185 64 | 65 | Cloélia Tissier 66 | 17:59 67 | Merci beaucoup pour ce meetup ! 68 | 69 | xuecan yang 70 | 18:01 71 | Merci pour les presentation. 72 | 73 | Marlène D. 74 | 18:01 75 | Vous évoquiez la création d'un MOOC lors de précédentes séances (en lien avec la certification individuelle me semble-t-il), est-ce toujours d'actualité ? 76 | 77 | Fabrice Radja 78 | 18:04 79 | Merci pour le meetup, bonne soirée 80 | 81 | Marlène D. 82 | 18:06 83 | Ok, merci beaucoup ! 84 | Et merci aux intervenants et organisateurs :) 85 | 86 | Anne Laure 87 | 18:07 88 | Merci beaucoup ! c'était vraiment intéressant ! 89 | 90 | Irène Balmès 91 | 18:07 92 | Merci et bonne soirée 93 | 94 | Emilie Sirvent-Hien 95 | 18:07 96 | Merci et bravo pour votre initiative 97 | 98 | Heytem Boumaza 99 | 18:07 100 | Merci pour votre présentation 101 | 102 | Marlène D. 103 | 18:07 104 | Merci, à bientôt 105 | -------------------------------------------------------------------------------- /workshops-notes/2020.09.08_workshop-5_notes.md: -------------------------------------------------------------------------------- 1 | # Atelier DSRC #5 du 8 septembre 2020 2 | ​ 3 | Présents : *@ClementMayer, @bowni, @natct10, @nicolas-landel, @SaboniAmine, @celinejacques, Timothée Faucon, @cmeuree, @j-abi, @rodgzilla, @RomainGoussault, @Fabien-GELUS, @arthurPignet, Lamine Diop* 4 | ​ 5 | Le dépôt : [https://github.com/SubstraFoundation/referentiel-evaluation-dsrc](https://github.com/SubstraFoundation/referentiel-evaluation-dsrc) 6 | 7 | ## 1. Présentation d'ALTAI par Nicolas 8 | 9 | Notes : 10 | ​ 11 | ​- Sondage rapide : aviez-vous entendu parler de cet outil de l'UE ? 12 | ​Plusieurs ont vu passer le guide, en revanche l'outil ALTAI seul Grégory en avait déjà entendu parler.​ 13 | ​​- Structure en 7 thèmes ou chapitres​ 14 | ​ 15 | ### Présentation du site Altai 16 | ​ 17 | [Lien vers l'outil](https://altai.insight-centre.org/) 18 | 19 | En vrac :​ 20 | 21 | - sections 22 | ​- calcul du score (par section, questions rouges) 23 | ​- résultats 24 | ​- affichage dynamique (selon réponses) ; max 91 questions, certaines très pointues, réponses souvent binaires 25 | ​- long et fastidieux 26 | ​- High level expert group 27 | 28 | Echange sur la comparaison avec l'assessment DSRC : 29 | ​ 30 | - proche et permet comparaison 31 | ​- conforte la cohérence du travail fait ici 32 | ​- pas les mêmes "cibles" (système d'IA / organisation) => impact sur le fond et la forme 33 | ​- l'assessment DSRC met en avant des ressources externes (illustrations, articles et documentation) 34 | ​- l'assessment DSRC vise un outil et une certification pour les entreprises 35 | ​​ 36 | Questions diverses : 37 | ​ 38 | - Y a t il un projet de règlement euro derrière le projet Altai ? 39 | ​- Discussion autour des 7 axes UE / 5 axes qui émergent comme un nouveau standard 40 | ​- L'assessment semble avoir été peu vu par les participants => prototype, d'où faible communication sur le projet 41 | ​​ 42 | ## 2. Evolutions du référentiel 43 | ​ 44 | ​Sur le fond et la forme : 45 | ​ 46 | - Ajout de nouvelles ressources (ex. Awful AI, fastai, Opacus (FB differential privacy)) 47 | ​- Curation de resssources pour chaque élément d'évaluation 48 | ​- Typage des ressources (articles, academic, software & tools, etc.) 49 | ​- Questions conditionnées (concerné / non concerné) 50 | ​- Scoring 51 | ​- Formulations rafraichies, clarifiées, contextualisées 52 | ​- [Ajout] 4.3 Analyse et partage d'incidents 53 | ​- [Ajout] 6.5 "*Verifiable claims*" et audit par une tierce partie 54 | ​- [Ajout] 7.3 Mise en place d'un comité d'éthique indépendant 55 | ​- Traduction (merci Amine) 56 | ​- Glossaire 57 | ​ 58 | ​Questions diverses : 59 | ​ 60 | - Est-ce qu'un score seuil unique est pertinent? => bonne question, plusieurs seuils sont possibles, mais un score unique offre l'avantage d'être simple et efficace. Discussion à prolonger​ 61 | ​ 62 | À venir : 63 | ​ 64 | - Star repo Github q(❂‿❂)p 65 | ​- Slack chanel #workgroup\_dsrc 66 | ​- Saison 8 Dataforgood ᕦ(ò\_óˇ)ᕤ 67 | ​- 2 Podcasts, meetup, *stay tuned!* 68 | ​ 69 | ♥‿♥ 70 | ​ 71 | ​## 3. Démo de la plateforme d'évaluation 72 | ​ 73 | ​Features: 74 | ​ 75 | - front 76 | ​- signup 77 | ​- create org (plusieurs users par org, partage d'évaluation avec notes associées) 78 | ​- make assessment 79 | ​- 7 sections, questions, notes, save, explications, ressources, favoris 80 | ​- score final ([todo] score par section), avec notes et ressources 81 | ​- [todo] export pdf 82 | ​- [todo] glossaire 83 | ​- [todo] feedback par section & par question, suggestion de ressource 84 | ​- [todo] versioning du référentiel (update trimestrielle possible par exemple) et migration d'une evaluation d'une version de l'assessment à une autre (+ courbe d'évolution des résultats, et rendant les comparaison avec d'autres org possibles) 85 | ​- [todo] refresh front 86 | ​​ 87 | Objectifs : 88 | ​ 89 | - beta up fin septembre ! A vos tests ! 90 | ​- accompagner la montée des organisations sur l'évaluation et la dsrc plus généralement ! 91 | ​ 92 | ​Sondage rapide : 93 | ​ 94 | - Réactions à l'idée d'une formation thématique de 2 à 4 h pour qqn qui a des bases en DS mais pas DSRC ? 95 | ​ - Retour : Pour les grandes organisations, oui ! Cabinet de conseil et étudiants également 96 | -------------------------------------------------------------------------------- /workshops-notes/2020.11.10_workshop-6_notes.md: -------------------------------------------------------------------------------- 1 | # Atelier DSRC #6 du 10 novembre 2020 2 | 3 | Présents : *@ClementMayer, @bowni, @natct10, @nicolas-landel, @celinejacques, @cmeuree, @RomainGoussault, @Fabien-GELUS, @arthurPignet, Mickaël Fine, Nathan L., Daniel Bartolo, Théo L., Joséphine Lecoq-Vallon, Patricia L, Chloé, Ana Ulianovici, Eric Armbruster, Ali T, Victoire M, Paul-Marie C, Cécile G, Arnaud L* 4 | ​ 5 | ## Liens utiles 6 | 7 | - [Dépot du projet](https://github.com/SubstraFoundation/referentiel-evaluation-dsrc) 8 | - [Références](https://github.com/SubstraFoundation/referentiel-evaluation-dsrc/blob/master/references.md) 9 | - [Evaluation](https://github.com/SubstraFoundation/referentiel-evaluation-dsrc/blob/master/referentiel_evaluation.md) 10 | - [site internet](https://www.labelia.org/) 11 | - [Article de blog](https://www.labelia.org/fr/blog/evaluation-data-science-responsable) 12 | - [Substra Slack, salon DSRC](https://substra-workspace.slack.com/archives/CTQ1SNPK2) 13 | 14 | ## Compte-rendu de l'atelier 15 | 16 | ### Actualités 17 | 18 | - Préparation de matériaux pédagogiques dans le cadre de la saison 8 de Data For Good (notebooks sur les fairness metrics, robustesse de modèle, DP, distilation de modèle, généalogie modèle de bout-en-bout) 19 | - Retour sur les dernières actualités et événements de Labelia Labs (ex- Substra Foundation) 20 | - Livre blanc ImpactAI (en préparation pour le 10 Décembre) : Guide pratique pour l'IA digne de confiance 21 | - Syntec Numérique : "Concevoir des IA éthiques by design" (6 ateliers jusqu'à Noël) 22 | 23 | ### Evolutions du référentiel 24 | 25 | - Stabilisation du référentiel par rapport aux premières versions 26 | - Découpage en 6 sections désormais, affinage de l'évaluation globale et travail de reformulation/clarification 27 | - _En cours_ Prise en compte du secteur publique et de ses spécificités 28 | - Ajouts de nouvelles ressources : 29 | - [Privacy Enhancing Technologies Decision Tree (v2)](https://private-ai.ca/PETs_Decision_Tree.png) 30 | - [Faulty Facial Recognition Led to His Arrest—Now He’s Suing](https://www.vice.com/en/article/bv8k8a/faulty-facial-recognition-led-to-his-arrestnow-hes-suing) 31 | - [Stratified cross-validation for unbiased and privacy-preserving federated learning](https://arxiv.org/abs/2001.08090) 32 | - Model Cards : 33 | - [Model Cards for Model Reporting](https://arxiv.org/abs/1810.03993) 34 | - Méta-étude : 35 | - [A Unified Framework of Five Principles for AI in Society](https://hdsr.mitpress.mit.edu/pub/l0jsh9d1/release/6) 36 | - Fairness metrics : 37 | - [Unfair biases in Machine Learning: what, why, where and how to obliterate them](https://www.mlsecurity.ai/post/unfair-biases-in-machine-learning-what-why-where-and-how-to-obliterate-them) 38 | - [A Tutorial on Fairness in Machine Learning](https://towardsdatascience.com/a-tutorial-on-fairness-in-machine-learning-3ff8ba1040cb) 39 | - [Fairness and machine learning - Limitations and opportunities](https://fairmlbook.org/) 40 | 41 | ### Lancement version beta de la plateforme d’évaluation 42 | 43 | - Présentation des fonctionalités de l'auto-évaluation : création de comptes et des organisations, gestion des ressources, scoring, feedback... 44 | - Lancement probable le 17 novembre 2020 ! 45 | - Accès à la plateforme : [https://assessment.labelia.org/](https://assessment.labelia.org/) 46 | 47 | Question : 48 | 49 | - explication du scoring ? --> Une explication sera ajoutée sur la plateforme - travail en cours côté Substra 50 | - Mise à jour du référentiel ? --> Objectif de stabilité du référentiel, avec évolution tous les 3 à 6 mois, en restant toujours réactif 51 | 52 | ### Data For Good (S08) - Axes de travail 53 | 54 | #### Généalogie de bout-en-bout 55 | 56 | - Présentation du [template](https://github.com/dataforgoodfr/batch8_substra/blob/master/G%C3%A9n%C3%A9alogie%20de%20bout-en-bout/Genealogie-de-bout-en-bout_template.md) en cours de constitution par Joséphine. 57 | - Objectif : proposer un document de référence sur la production d'un modèle, ex. Google Cards Face detection et construction d'un template à usage des data scientists 58 | 59 | #### Distillation de modèles 60 | 61 | - Travaux en cours sur des librairies de distillation de modèle. 62 | - Objectif : proposer un notebook utilisable par des data scientists 63 | 64 | #### Robustness metrics 65 | 66 | - Travaux en cours sur les robustness metrics, au delà de l'overfitting. 67 | - Objectif : proposer un notebook utilisable par des data scientists 68 | -------------------------------------------------------------------------------- /workshops-notes/2020.12.16_workshop-7_notes.md: -------------------------------------------------------------------------------- 1 | # Atelier DSRC #7 du 16 décembre 2020 2 | 3 | Présents : _@ClementMayer, @bowni, @natct10, @nicolas-landel, @SaboniAmine, @celinejacques, @cmeuree, @RomainGoussault, @arthurPignet, Nathan, Gijs, Paul-Marie, Dena, Gabrielle, Sébastien Castier, Julien Thevenon_ 4 | 5 | Le dépôt : [https://github.com/SubstraFoundation/referentiel-evaluation-dsrc](https://github.com/SubstraFoundation/referentiel-evaluation-dsrc) 6 | 7 | La plateforme d'assessment: [https://assessment.labelia.org/](https://assessment.labelia.org/) 8 | 9 | ## Rétrospective 2019 / 2020 10 | 11 | Fin de ce premier cycle d'ateliers, avec 7 ateliers et +100 participations ! 12 | 13 | De belles réussites : partant d'un premier atelier sur les risques de l'IA, nous avons conçu collectivement un référentiel d'évaluation et une plateforme d'évaluation ! 14 | 15 | De nombreuses ressources ont été fournies dans ce référentiel. Point d'attention : ne pas multiplier les ressources qui perdraient l'utilisateur. 16 | 17 | ## Actualités 18 | 19 | Impact AI, groupe de travail “IA responsable”: Sortie du livre blanc [“Guide pratique pour l’IA digne de confiance”](https://www.impact-ai.fr/guideiaconfiance/) le 10 décembre. 20 | 21 | Syntec Numérique: Initiative “Concevoir des IA éthiques by design” : 5 ateliers sur 6 ont eu lieu 22 | 23 | - Participation de Clément et Eric à ces ateliers. 24 | - Suivi à prévoir en 2021 sur les synthèses et sur le livre blanc qui est prévu. 25 | 26 | LNE: “Un groupe de travail pour créer une certification sur l’IA” 27 | 28 | - Substra a été mis en relation avec un responsable. 29 | - _(Action - Substra)_ Faire un retour à Pierre-Marie sur la possibilité d'intégrer les travaux de la LNE. 30 | 31 | Points de contacts récents : Mozilla Foundation, Linux Foundation AI 32 | 33 | - De nombreux retours intéressants et meetings prévus pour présenter en détail le référentiel d'évaluation. 34 | 35 | ## Plateforme d'évaluation 36 | 37 | Feedbacks : 38 | 39 | - Premiers retours positifs sur la plateforme, sa simplicité, la possibilité de commencer puis de reprendre une évaluation, la gestion des ressources... 40 | - Volonté d'obtenir un score par section, puis pouvoir se comparer par la suite par section _(We are on it!)_ 41 | - Version anglaise en cours de développement 42 | 43 | Comment relayer l'initiative ? 44 | 45 | - Présenter l'initiative auprès de B-corp, qui n'a pas encore de partie spécifique à la Data Science Responsable ? 46 | - Présenter le référentiel d'évaluation dans des conférences (exemple : [techrocks](https://www.tech.rocks) _(à étudier)_ 47 | 48 | ## Data For Good - présentations techniques 49 | 50 | ### Nathan - Robustness 51 | 52 | Un [notebook](https://github.com/Nathanlauga/understand-robustness/blob/main/notebooks/understand_robustness.ipynb) a été réalisé pour présenter trois approches : 53 | 54 | - Un modèle qui n'est pas over ni underfitted 55 | - Un modèle qui est cohérent (explicabilité) 56 | - Un modèle qui peut resister aux attaques 57 | 58 | ### Gijs - Distillation de modèle 59 | 60 | Un article de blog est en cours de rédaction pour expliquer ce qu'est la distillation de modèle. 61 | 62 | La distillation de modèle est à l'état de recherche, il n'y a pas encore de librairies clé en main qu'il est facile d'utiliser. 63 | 64 | Les aspects de privacy sont gérés avec le recours en plus de Differential Privacy dans la plus part des cas. 65 | ​ 66 | ### Mickael - Fairness metrics 67 | 68 | L'article de blog en cours sera présenté lors d'un prochain atelier. 69 | 70 | Un grand merci à tous les bénévoles pour leur travail ! 71 | 72 | ## Amélioration section 2 73 | 74 | La section 2 sur les biais méritent d'être retravaillés. 75 | 76 | Elle sera améliorée avec l'aide de l'article en cours sur les fairness metrics. 77 | 78 | Il peut être également intéressant de s'inspire de [ce mooc dédié](https://ivado.ca/evenements/bias-and-discrimination-in-ai/). 79 | 80 | A regarder : cet [outil sur la privacy](https://gretel.ai) 81 | 82 | ### Perspective 2021 83 | 84 | Proposition de thèmes à aborder : 85 | 86 | - Etudier les référentiels / démarches qui sont en train de travailler des sujets similaires et s’en nourrir pour améliorer l’outil 87 | - Retour d’expérience d’organisations sur l’évaluation, sur ce qu’elles mettent en place pour monter en maturité 88 | - Présentations pour partage de bonnes pratiques par des organisations très avancées (1 par section de l’évaluation) 89 | - Identification de nouveaux cas concrets (e.g. articles, crises, etc.), risques, bonnes pratiques, ressources 90 | - Evolution du référentiel : traductions, nouveaux exemples, etc… 91 | 92 | Une co-animation avec d’autres organisations 93 | 94 | Fréquence tous les deux mois le mardi à 17h (sauf l’été, donc 5 occurrences au total sur 2021 pour cette saison 2) 95 | 96 | A étudier : 97 | 98 | - Voir si la date est idéale. 99 | - Possibilité d'enregistrer les présentations techniques 100 | 101 | 102 | Merci à tous les participants, et à l'année prochaine ! 103 | -------------------------------------------------------------------------------- /workshops-notes/2019.12.18_workshop-1_notes.md: -------------------------------------------------------------------------------- 1 | # Atelier du 18 décembre 2019 2 | 3 | _Présents : @ClementMayer, @bowni, @SaboniAmine, Jeverson Moreira, @celinejacques, Grégory Chatel, Annass Mahar, Mouad Fettachi, Romain Boidin, @RomainBey_ 4 | Merci d'avoir bravé les difficultés de transport :muscle: ! 5 | 6 | _Excusés : Nabil Rachdi, Timothée Faucon, Marco Fiorini, Marie Langé, Grégoire Mialet, Mélodie Bernaux, Mélanie Didier, Marie Ngo Loog Kingand, Laurent Labous, Hassanatou Thiam, Cédric Meurée, Chengheri Bao, Franck Halegoi, Ahmed Nomaine, Sohreab Deljavan, Clara Chaouat, Cindy Lhermite, Mostapha Benhenda, @DaBoos, @mattthieu_ 7 | Navré que vous ayez été empêchés mais au plaisir de vous retrouver lors du 2nd atelier :crossed_fingers: 8 | 9 | ## Notes / Matière brute 10 | 11 | _(à lire en regard du contenu contexte, risques, mesures rédigés dans `README.md` en date du 18/12/2019, commit 7d6c77fc56747078e79eba250a5ce04f2fd02943)_ 12 | 13 | - **Périmètre de l’initiative** : 14 | - comprendre “data science” avec un sens large (y compris les systèmes experts par exemple) 15 | - cible : l’activité data science d’une organisation. Question sur l’opportunité de présenter également une version light / quelques questions ciblant un projet spécifique 16 | 17 | - **Organisation du contenu** : 18 | 19 | - Ajouter aux référentiels des exemples positifs / bonnes pratiques 20 | - Section "à creuser / théorique" 21 | - Documenter des exemples iconiques 22 | 23 | - **Risques et mesures / bonnes pratiques** : 24 | 25 | - Conformité : 26 | - Veille juridique nécessaire notamment données personnelles 27 | - Ne pas voler, empoisonner... 28 | 29 | - Données : 30 | - Lorsque données synthétiques, le préciser 31 | - L'hébergement est sensible, notamment avec le Cloud Act. Risque juridique : où se trouve la donnée ? AWS publie chaque mois les demandes de la justice américaine 32 | - Biais données de tests, déséquilibres de représentation 33 | - Choix du dataset d’entraînement vs. contexte d’usage d’un modèle : exemple des photos de personnes positionnés devant une porte à l’hôpital 34 | 35 | - Modélisation : 36 | - Biais dû à l'architecture d'un modèle et/ou de l’algorithme d’apprentissage et pas que des données → exemple du vecteur qui genre une profession dans les systèmes d’apprentissage (cas à creuser) 37 | - Prendre en compte les modèles qui apprennent en continu, apprentissage par renforcement 38 | - Dispositif médicaux : validation sur le modèle existant mais pas d’apprentissage continu → questionner la validation d’un modèle à travers le temps 39 | 40 | - Validation, performance : 41 | - RC2-01 : dédoubler avec les données de tests (pas que données d'entraînement) 42 | - Un modèle doit avoir une plage de prédictions "indéfinies", expliciter les seuils 43 | - Drift du domaine d'application et donc du modèle par rapport à celui-ci. Dégénérescence des modèles (condition de mesure qui change, apprentissage renforcé qui fait dévier le modèle…) 44 | - Niveaux d'interprétabilité : en fonction de ce que le modèle fournit : prediction, proba / niveau de confiance, Features explicatives globales, Features explicatives pour chaque prédiction, Preuve / vérité 45 | - Trade-off entre la complexité d’un modèle et sa performance → cas concret à identifier (solutions existantes tel que LIME à creuser) 46 | 47 | - Historique, généalogie : 48 | - ? quels sont les risques induits par la perte d'historique 49 | 50 | - Responsabilités : 51 | - Proposition : expliciter les contextes d’utilisation, le "domaine de vol" pour chaque étape (données, modélisation...) 52 | - Limiter les outputs exploités à ceux sur lesquels on maîtrise l'usage et les conséquences 53 | - Comportement responsable si on se rend compte qu'un modèle qu'on utilise a un problème 54 | - Utilisation d’un modèle standard, conséquence d’une éventuelle faille révélée 55 | - Nécessité de mettre en place des processus manuels dégradés en cas de faillite d’un modèle + processus pour stopper un modèle 56 | - Prévoir un check / validation humaine régulier 57 | - Avoir des certifs sur la SSI ? 58 | - Gouvernance globale, chaine de responsabilité données - conception - exploitation. 59 | - Question des assurances autour de modèles prédictifs / systèmes automatiques 60 | - Inclure dans les formations des employés une rubrique sur la data science 61 | 62 | - Attaques : 63 | - Model poisoning 64 | - Failles 0-day dans un modèle --> faire de la veille, savoir réagir 65 | - Vol de modèle par inférences : 'model stealing' 66 | - Vol de temps de calcul : 'adversarial reprogramming' 67 | 68 | - Externalités : 69 | - Bienfaisance et non-malfaisance 70 | - Modèle qui pourrait être utilisé pour de mauvaises fins 71 | - Modèle qui a des effets positifs et des effets négatifs non désirés 72 | - Automatisation de tâches et/ou d'emploi → besoin de réaliser des études d’impacts 73 | - Externalité : étendre à d’autres qu’environnemental -------------------------------------------------------------------------------- /workshops-notes/2022.09.19_workshop-s03e04_notes.md: -------------------------------------------------------------------------------- 1 | # Meetup "IA responsable et de confiance" s03e04 du 19 septembre 2022 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/10-MdhbnXQ4u6U2ZmPtdlIR3_Dg8FYZ43ruZlaYU7JHk/edit?usp=sharing) 7 | - [Référentiel d'évaluation](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay de cet atelier](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s03e04) 10 | 11 | ## Participants 12 | 13 | Eric Boniface, Clément Mayer, Ahmed Ayadi, Alexandre Willot, Alexis Leautier, Anais Gedik, Anthéa Serafin, Baptiste Pilloy, Caroline Lancelot Miltgen, Cecile Lefevre-Ardant, Cloélia Tissier, Elise Pupier, Emma Le Priol, Eric Chau, Fabien Faivre, Francis Wolinski, Gabriel, Guillaume Vignal, Thomas Bouché, Hortense Monnard, Jean-Baptiste Queyrie, Julien Roussel, Levi Sallah, Manon Le Roux, Marie Couvé, Marlène D., Marzouk Adnane, Nassima Kheldouni, Nicolas Landel, Nicolas Szabo, Pierre Foulquié, Romayssa Bedjaoui, Sophie P., Thibault Lelievre, Yousra Addali, Amine Saboni, Mickaël Fine 14 | 15 | ## Sommaire 16 | 17 | 1. Introduction et mot d'actualité sur le label 18 | 1. Présentation de Guillaume Vignal et Thomas Bouché (MAIF) sur la librairie open source Eurybia 19 | 1. Présentation de Julien Roussel, Nicolas Szabo et Alexandre Willot (Quantmetry) sur l'adaptation de données temporelles impactées par un phénomène perturbateur 20 | 21 | ## Présentations 22 | 23 | - [Présentation de Guillaume Vignal et Thomas Bouché (MAIF) sur la librairie open source Eurybia](https://docs.google.com/presentation/d/1d_ahoE0O56zZcTalQAXeB-Yq-KRVZit-/edit?usp=sharing&ouid=117856019377976156276&rtpof=true&sd=true) 24 | - [Présentation de Julien Roussel, Nicolas Szabo et Alexandre Willot (Quantmetry) sur l'adaptation de données temporelles impactées par un phénomène perturbateur](https://docs.google.com/presentation/d/1dZTdtlBQ0njHahH81HFEa3Kff1IACSFB/edit?usp=sharing&ouid=117856019377976156276&rtpof=true&sd=true) 25 | 26 | ## Replay 27 | 28 | Vous pouvez retrouver le replay sur ce [lien](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s03e04). 29 | 30 | ## Copie du chat 31 | 32 | Fabien FAIVRE 33 | 17:03 34 | bonjour à tous 35 | 36 | Vous 37 | 17:03 38 | Bonjour Fabien ! 39 | 40 | Marlène D. 41 | 17:03 42 | Bonjour ! 43 | 44 | Cloélia Tissier 45 | 17:04 46 | Hello ! 47 | 48 | thibault lelievre 49 | 17:04 50 | Bonjour :) 51 | 52 | Julien Roussel 53 | 17:04 54 | Bonjour à tous :) 55 | 56 | Nicolas Landel 57 | 17:04 58 | Hello ! 59 | 60 | Marzouk Adnane 61 | 17:04 62 | Hello :) 63 | 64 | Francis Wolinski 65 | 17:05 66 | Bonjour ! 67 | 68 | Jean-Baptiste Queyrie 69 | 17:07 70 | Hello 😊 71 | 72 | guillaume 73 | 17:07 74 | MAIF: Thomas et Guillaume sont là :) 75 | 76 | Vous 77 | 17:15 78 | Bonjour à toutes et à tous ! N'hésitez pas au fil de la présentation à préparer d'éventuelles questions - à poser plutôt à la fin de la présentation il y aura un temps dédié pour ça 79 | D'ici là voici le lien vers la trame de présentation avec le sommaire et l'introduction : https://docs.google.com/presentation/d/1B75XCUAwd-Ycfkqni5s-8xtMETzlBd2ZNWIjFC6f_tw/edit?usp=sharing 80 | Vous y retrouverez les liens que j'ai mentionnés rapidement durant l'intro 81 | 82 | Jean-Baptiste Queyrie 83 | 17:29 84 | Yes 85 | 86 | Manon Le roux 87 | 17:36 88 | pour eurybia vous avez un background / des spécialistes en statistiques (au moins bac+3) où c'est surtout d'un point de vue "informaticiens" ? 89 | 90 | Francis Wolinski 91 | 17:36 92 | Merci ! Quel algo de ML est utilisé pour calculer le data drift ? 93 | 94 | Jean-Baptiste Queyrie 95 | 17:38 96 | D'un point de vue ergonomie, quelle est la valeur ajoutée d'Eurybia par rapport à des solutions existantes (SageMaker Model Monitor, Azure ML...) ? Egalement, Eurybia permet-elle de ré-entraîner automatiquement le modèle une fois un certain seuil de dérive atteint ? 97 | 98 | Jean-Baptiste Queyrie 99 | 17:42 100 | Top, merci pour cette synthèse 👌 101 | 102 | chau eric 103 | 17:44 104 | merci pour la présentation Guillaume, quelle est la roadmap de Eurybia ? 105 | 106 | Vous 107 | 18:03 108 | C'était une question que j'avais justement ! 109 | 110 | Fabien FAIVRE 111 | 18:05 112 | Bonjour, 113 | Merci pour la présentation. Est-ce qu’il n’y aurait pas un parallèle à faire avec la production de contrefactuels vis-à-vis d’une intervention, ici le COVID ? 114 | 115 | Fabien FAIVRE18:10 116 | https://www.youtube.com/watch?v=e8nomN9hxZM&t=1381s 117 | 118 | Jean-Baptiste Queyrie 119 | 18:11 120 | Très concis et clair. Merci beaucoup ✌🐸 121 | 122 | Francis Wolinski 123 | 18:11 124 | Merci ! 125 | 126 | Cloélia Tissier 127 | 18:11 128 | Merci beaucoup et bonne fin d'aprem ! 129 | 130 | Yousra Addali 131 | 18:11 132 | Merci ! 133 | 134 | Thomas Bouché 135 | 18:11 136 | Merci, Bonne soirée 137 | 138 | Marlène D. 139 | 18:12 140 | Merci beaucoup à tous (intervenants et organisateur) ! 141 | 142 | Fabien FAIVRE 143 | 18:12 144 | Merci 145 | 146 | Marzouk Adnane 147 | 18:12 148 | merci :) 149 | 150 | Baptiste Pilloy 151 | 18:12 152 | Merci, bonne soirée ! 153 | -------------------------------------------------------------------------------- /methode.md: -------------------------------------------------------------------------------- 1 | # Principes de consensus 2 | 3 | ## Approche et méthode de consensus 4 | 5 | Nous avons voulu travailler de manière ouverte et collaborative à la définition de ce que serait la data science responsable et de confiance. Notre conviction est que seule l'ouverture, la transparence, et la possibilité pour chacun de contribuer et faire valoir son point de vue, permettront d'élaborer un référentiel à la fois complet, de qualité, proche des problématiques terrain, et actionnable. C'est une démarche qui s'inscrit dans un temps long, tout en visant à proposer rapidement une première base de travail utile aux organisations intéressées. 6 | Ce travail est élaboré sous la responsabilité éditoriale de l'association à but non lucratif Labelia Labs (ex- Substra Foundation), qui s'engage à le mettre à disposition de manière à ce qu'il puisse être librement reproduit et partagé. 7 | 8 | ### Méthode de consensus 9 | 10 | Un processus de décision de ce qui rentre dans le référentiel doit être défini, transparent et inclusif. 11 | 12 | La plupart des décisions dans une communauté ouverte ne sont pas prises par des votes, mais par des personnes impliquées et bien informées qui sont responsables, après consultation des gens qui les entourent et souhaitent participer à l'effort collectif. 13 | En effet, si le vote peut sembler la manière la plus simple et la plus rapide d'aboutir à une décision, celui-ci peut se relever excluant, frustrant et au final inopérant. 14 | 15 | C'est pour cela que nous lui préférons la méthode de consensus. 16 | 17 | Un consensus caractérise l'existence parmi les membres d'un groupe d'un accord général (tacite ou manifeste), positif et unanime pouvant permettre de prendre une décision ou d'agir ensemble sans vote préalable ou délibération particulière (source : [Wikipédia](https://fr.wikipedia.org/wiki/Consensus)). 18 | 19 | Le consensus est un effort intellectuel et relationnel important pour chacun, mais il est la meilleure manière d'aboutir à un référentiel solide, représentatif des différentes compréhensions de ce qu'est la data science responsable et de confiance. 20 | 21 | ## Consensus au sein du groupe de travail 22 | 23 | L'objectif lors des ateliers est d'arriver à un consensus autour des risques, thèmes, mesures qui sont soumis par les différents contributeurs. 24 | 25 | - Lorsqu'un élément fait consensus, il est ajouté alors au référentiel open source. 26 | 27 | - Lorsqu'un élément ne fait pas consensus entre les différents participants à l'atelier, il est conservé sous forme d'_issue_ afin de pouvoir être rediscuté : 28 | - Lors d'un atelier suivant ; 29 | - De manière asynchrone via le repo (voir ci-dessous). 30 | Le point reste alors ouvert tant qu'il n'y a pas convergence, jusqu'à ce que le consensus décide de l'inclure définitivement ou de le fermer. 31 | 32 | ## Travaux asynchrones 33 | 34 | - La mise en place du référentiel open source de bonnes pratiques permettant aux organisations intéressées d'évaluer leur niveau de maturité s'organise et s'articule principalement autour des ateliers participatifs qui sont fixés tous les deux mois. 35 | 36 | - Cependant, il est possible pour tous de participer en dehors de ces ateliers, en contribuant au [repo Github dédié](https://github.com/SubstraFoundation/referentiel-ds-responsable-confiance) : 37 | - En créant une _issue_ : ceci correspond à une suggestion, une idée, une question, un commentaire, une demande de correction... 38 | - En contribuant à travers une _Pull Request_ : il s'agit d'une contribution "concrète" au référentiel, par la rédaction et la proposition d'une partie de celui-ci. 39 | 40 | - Labelia Labs (ex- Substra Foundation) supporte la responsabilité éditoriale de ce repository. Elle en est le _maintainer_ et se charge donc d'étudier et valider les contributions sous forme de _Pull Requests_ qui sont soumises. 41 | Labelia Labs (ex- Substra Foundation) présentera lors des différents ateliers les contributions et issues qui ont été soumises afin de les valider collectivement ou de remettre en question certains points. 42 | 43 | _Les termes ci-dessus ne vous sont pas familiers ? Vous désirez en savoir plus sur git et son fonctionnement ? Une introduction vidéo (environ 20 minutes) est disponible sur [le site officiel](https://git-scm.com/videos)._ 44 | 45 | ## License 46 | 47 | Le référentiel a été placé sous license Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International Public License (CC BY-NC-ND 4.0). 48 | 49 | Les principes de [cette license](https://creativecommons.org/licenses/by-nc-nd/4.0/deed.fr) : 50 | 51 | - Ce que vous pouvez faire : 52 | 53 | - **Partager** - copier, distribuer et communiquer le matériel par tous moyens et sous tous formats. 54 | 55 | - Ce que vous ne pouvez pas faire : 56 | 57 | - Partager sans **Attribution** - Vous devez créditer l'Oeuvre, intégrer un lien vers la licence et indiquer si des modifications ont été effectuées à l'Oeuvre. Vous devez indiquer ces informations par tous les moyens raisonnables, sans toutefois suggérer que l'Offrant vous soutient ou soutient la façon dont vous avez utilisé son Oeuvre. 58 | 59 | - Appliquer des **Restrictions complémentaires** - Vous n'êtes pas autorisé à appliquer des conditions légales ou des mesures techniques qui restreindraient légalement autrui à utiliser l'Oeuvre dans les conditions décrites par la licence. 60 | 61 | - En faire une **Utilisation commerciale** - Vous n'êtes pas autorisé à faire un usage commercial de cette Oeuvre, tout ou partie du matériel la composant. 62 | 63 | - Distribuer des **Modifications** - Dans le cas où vous effectuez un remix, que vous transformez, ou créez à partir du matériel composant l'Oeuvre originale, vous n'êtes pas autorisé à distribuer ou mettre à disposition l'Oeuvre modifiée. 64 | 65 | ## Références 66 | 67 | - [Open decision framework par Red Hat](https://github.com/red-hat-people-team/open-decision-framework/blob/master/ODF-community.pdf) 68 | - [Meritocracy 2.0: A framework for decision-making](https://opensource.com/open-organization/16/6/presenting-framework-meritocracy) 69 | - [You're making decisions by consensus, but are you collaborating?](https://opensource.com/business/10/10/youre-making-decisions-consensus-are-you-collaborating) 70 | -------------------------------------------------------------------------------- /workshops-notes/2021.02.22_workshop-s02e01_notes.md: -------------------------------------------------------------------------------- 1 | # Atelier DSRC S02E01 du 22 février 2021 2 | 3 | Présents : @ClementMayer, @bowni, @natct10, Antoine Duval, Alice Gasselin, Ana Ulianovici, Antoine Duval, Camille, Camille Boivigny, Cédric Meurée, Céline Jacques, Charlène Dupont, Cléo Tassain, Daniel Bartolo, Edwige Zhu, Eugénie Clément, Eric Féjan, Fabien Faivre, Gabrielle Du Marais, Gabrielle Rives, Gregor Baues, Helene Jeannin, Heytem Boumaza, Jeremie Abiteboul, Joséphine Lecoq-Vallon, Julie Bec, Laurence Godnair, Line Ton That, Lee Clementine, Luis Arias, Michael Fine, Minwei Deng, Mylan Deveau, Nathan Lauga, Nicolas Landel, Pierre Delanoue, Rahali Bilel, Salaheddine Jouhri, Sebastien Quinault, Soufiane Abouliatim, Thomas Bouché, Véronique Macé, Yann Golhen. 4 | 5 | ## Liens utiles 6 | 7 | - [Présentation](https://data-for-good.slack.com/archives/C04GWR7J8/p1614077106056700) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Référentiel d'évaluation](https://github.com/SubstraFoundation/referentiel-evaluation-dsrc/blob/master/referentiel_evaluation.md) 10 | - [Article de Blog sur les Fairness metrics](https://www.labelia.org/en/blog/fairness-in-machine-learning) 11 | - [Outil Open Source Shapash](https://github.com/MAIF/shapash) 12 | 13 | ## Sommaire 14 | 15 | - Introduction à ce nouveau cycle d’ateliers 16 | - Revue de l'article de blog sur la Fairness 17 | - Retour d’expérience sur l'évaluation par la MAIF 18 | - Présentation de l'outil Open Source Shapash développé par la MAIF 19 | - Coup d’oeil sur 2 initiatives : “Responsible AI? report” et (R)REPEATS 20 | - Enseignements du guide Impact IA : "Guide IA digne de confiance, pour construire une gouvernance adaptée à chaque entreprise " 21 | - Présentation des nouveautés sur la plateforme et définition d'un plan de lancement 22 | - Amélioration itérative du référentiel d’évaluation 23 | - Gouvernance du référentiel d’évaluation 24 | 25 | ## Retour d’expérience sur l'évaluation par la MAIF par Daniel Bartolo 26 | 27 | Présentation du contexte de la MAIF : 28 | 29 | - Modèle mutualiste 30 | - Signataire de la Charte du numérique au service de l'homme 31 | - Démarche interne pour IA plus éthique (sensibilisation interne & élaboration cadre éthique à l'élaboration des projets d'IA à partir des travaux du HLEG - high level expert group de l'Union Européenne sur l'IA) 32 | 33 | Le référentiel d'évaluation semble complémentaire avec les démarches initiées et cohérent avec les travaux européen mais adapté au contexte français. 34 | 3 personnes ont participé à l'évaluation 35 | 36 | **Retour** 37 | 38 | Points d'intéret du référentiel d'évaluation : 39 | 40 | - périmètre entreprise / organisiation 41 | - beaucoup de ressources documentaires (aide aussi à bien comprendre les questions) 42 | - baromètre du niveau de maturité 43 | - permet d'objectiver les avancées et demain mesurer les évolutions 44 | - permet d'identifiier clairement les axes de progrès et avoir une vision globale 45 | - Pourrait devenir un outil de veille et d'anticipation 46 | - léger et "frugal" (ne demande pas un trop grand effort pour avoir un premier retour) 47 | - questionnaire généraliste (pas spécialisé sur un secteur particulier) 48 | - travail synthétique d'autres éléments (résonne avec d'autres travaux) 49 | 50 | Points d'amélioration : 51 | 52 | - aujourd'hui, la démarche est non certifiante et déclarative 53 | 54 | -> sujet de travail pour cette année. Aujourd'hui, l'évaluation est gratuite et libre accès pour travailler et progresser en interne mais pas pour communiquer en externe. Un audit permettra de faire de la communication dessus en externe (travail en cours) 55 | 56 | - Une visualisation plus graphique serait appréciable 57 | 58 | -> prévue dans la prochaine livraison ! 59 | 60 | ## Présentation de Shapash 61 | 62 | Projet open source [Shapash](https://github.com/MAIF/shapash) : 63 | 64 | - outil visant l'explicabilité des modèles de Data Science, orienté grand public 65 | - surcouche de SHAP, LIME 66 | - génèse : rendre partageable les résultats pour les clients - objectif de donner de l'explicabilité auprrès des clients finaux 67 | - [Publication](https://pub.towardsai.net/shapash-making-ml-models-understandable-by-everyone-8f96ad469eb3) 68 | 69 | Deux options : 70 | 71 | - en mode exploration -> participer à l'élaboration des modèles (object SmartExplainer) 72 | - en mode production -> suivre les modèles (SmartPredictor) 73 | 74 | Roadmap : 75 | 76 | - output html report (+ de précision dans les graphes entre autrre) 77 | - intégration de nouvelles méthodes (backend update, alternative à SHAP et Lime) 78 | - webapp : Aggrégation de features & interactions (zoom et navigation dans les features) 79 | - NLP 80 | 81 | Aujourd'hui, un cas d'usage en production avec la possibilité pour un conseiller : 82 | 83 | - d'introduire son discours commercial 84 | - de déjuger les recommandations 85 | 86 | **N'hésitez pas à fournir des feedback autour de ce projet !** 87 | **Vous pouvez également contribuer à ce projet dont la roadmap ouverte !** 88 | 89 | ## Sujets de travail sur le référentiel d'évaluation 90 | 91 | Quelques sujets actuellement ouverts ont été mentionnés, pour inviter les participants à y contribuer : 92 | 93 | - lien vers les [issues ouvertes](https://github.com/SubstraFoundation/referentiel-evaluation-dsrc/pull/121/files) 94 | - Intégration des ressources élaborées dans le cadre de Data For Good 95 | - Biais et fairness : split de l’élément d’évaluation 2.3 afin de créer un élément spécifique et plus complet sur la fairness 96 | - 3 sujets pas encore explicitement traités dans le référentiel d’évaluation : 97 | - Egalité Femmes-Hommes & Diversité 98 | - "AI Literacy" 99 | - Accessibilité 100 | - Intégration suite aux enseignements du Guide Impact AI 101 | - Ajouter des "hints" aux quelques éléments d’éval. qui n’en ont pas encore 102 | 103 | ## Gouvernance du référentiel d’évaluation 104 | 105 | Dans la perspective de la création d'un label, Labelia Labs (ex- Substra Foundation) lance la mise en place d'une gouvernance plus formelle du référentiel : 106 | 107 | - appel à manifestation d'intérêt 108 | - mise en place d'un comité de validation des nouvelles versions (2 à 4 par an) 109 | - objectif : constitution d'un comité de 7 à 10 personnes 110 | 111 | **Merci à tous pour votre participation !** 112 | -------------------------------------------------------------------------------- /workshops-notes/2020.06.23_workshop-4_notes.md: -------------------------------------------------------------------------------- 1 | # Atelier Data Science Responsable et de Confiance #4 | 23 Juin 2020 à 14h 2 | 3 | Dépôt du projet : [https://github.com/SubstraFoundation/referentiel-ds-responsable-confiance](https://github.com/SubstraFoundation/referentiel-ds-responsable-confiance) 4 | 5 | Participants : *Céline Jacques, Amine Saboni, Jeremie Abiteboul, Annabelle Blangero, Anne-Sophie Cissey, Cedric Meurée, Elmahdi Kardaoui, Eric Dubois, Anasse Berahab, Jean Haizmann , Sophie Lohézic, Vincent Quiblier, Nicolas Siami, Marie Lange, Soumia Ghalim, Timothé Faucon, Eric Boniface, Clément Mayer, Nicolas Landel, Nathanaël Cretin, Fabien Gelus, Romain Goussault* 6 | 7 | # Evolutions du référentiel depuis l'atelier #3 8 | 9 | - Retours de Cédric (AiVision) 10 | - Refonte de la forme 11 | - Nouveaux éléments d'évaluation (question de la répartition création de valeur \& transparence quant à l'utilisation de modèles prédictifs) 12 | - Nouveaux items de réponse, rédaction 13 | - Nouvelles ressources et références ! 14 | - Démarrage de la traduction du référentiel en anglais 15 | 16 | ## Retours d'expérience 17 | 18 | ### Retour d'expérience de Jérémie Abiteboul (DreamQuark) 19 | 20 | - Fintech (outil utilise ML pour banques) mais utilisateurs produits (pas de connaissances en ML) 21 | - logiciel (cas d'usage de recommandation produit, attrition) -> responsable et de confiance gd enjeux car DreamQuark doit garantir confiance 22 | - Expérience : 23 | - 45 minutes pour première session 24 | - 1 à 2h en plus pour **confirmer certaines réponses** (DPO \& contractuel) 25 | - Difficulté : "produit vs projet" (!) (l'outil permet à l'utilisateur de déployer des algos). Idée : mettre en place une charte pour les utilisateurs du produit 26 | - Good : validation des perf, explicabilité, monitoring, généalogie (rapport de modèle complet, annotable par l'utilisateur) 27 | - domaine de validité -> point plus précis que leur orga 28 | - Pourrait mieux faire : veille \& documentation 29 | - Reste à améliorer (pas pensé ou pas eu le temps de s'y pencher) : ML sec, Biais / métrique de Fairness), chaine de responsabilité (pas directement concerné mais question reste pertinente), impact CO2, impact éthique (pensé mais pas formalisé) 30 | 31 | Fonctionnalités de Dream Quark: 32 | 33 | - volonté de transparence des seuils auprès des clients 34 | - génénalogie : rapport du modèle fourni auprès des clients (performances, type de modèle)+versioning 35 | - -> pas d'info sur la répartition des data training/test fournie auprès des users -> besoin des utilisateurs et en cours de dev 36 | - monitoring stabilité des données: en production warnings lorsque feature sort du domaine de validité 37 | - monitoring stabilité du score / à entraînement (est ce que comportements clients ont changé ? est ce que en dehors du domaine de validité ? ) 38 | 39 | ### Retour d'expérience de Céline Jacques (Apricity) 40 | 41 | - 2h+ pour faire l'évaluation, le temps de bien parcourir tous les éléments 42 | - prise de notes de sa part pour chaque éléments d'évaluation 43 | - palette de choix trop "manichéenne" 44 | - manquerait une synthèse par section (-> champs Notes !) 45 | 46 | ### Merci également à Cédric Meurée (Aivision) pour son 2nd retour sur le référentiel 47 | 48 | ## Présentation du modèle de *scoring* 49 | 50 | But du scoring : avoir un point de repère par rapport à d'autres orga ou dans le temps 51 | 52 | Score additif simple (sur 100) ; référence à Bcorp (score sur 200 [https://bcorporation.net/)](https://bcorporation.net/)) \& coeff. Prise en compte des éléments non pertinents pour une organisation (complexité à recouvrir tous les cas d'usages/types de structure) 53 | => Règle d'équilibrage : 50% des points attribués automatiquement (cf potentiels non accessibles/non concerné) \& dilatation des points des autres éléments d'évaluation, jusqu'à un total de 100. Objectif de positionnerait relatif 54 | 55 | Suggestion de Fabien : Ajouter un 2e score de risque en complément au 1er score d'éval 56 | 57 | Question d'Amine Saboni : "Plutôt que de réduire le score total, est ce que présenter les résultats dans le scope des questions répondues ne serait pas mieux ?" 58 | 59 | -> oui c'est un peu ce qu'on fait déjà, si on peut répondre à 90% du score, 10% du score manquant -> 5 points attribués automatiquement + une dilatation du score (qui est sur 95) pour le ramener sur 100 60 | 61 | Idée de faire un score par section (pb si trop de parties non concernées dans une section ?) 62 | 63 | Suggestion de Sophie Lohézic : 64 | 65 | "Bonjour. ce serait peut-être intéressant dans tous les cas d'avoir le score sur les sous-thèmes : EDP : l'Exposition de Données Personnelles ou confidentielles PDI : la Prise de Décisions Inappropriées par des systèmes automatiques RC : ne pas Rendre des Comptes de manière responsable à ses parties prenantes ESE : avoir une Empreinte Sociale et Environnementale irresponsable TR : transverses 66 | 67 | Pour ensuite avoir des recommandations "d'amélioration" 68 | 69 | => scores par question 70 | 71 | => ressources qui permettent de fournir pistes d'améliorations 72 | 73 | ## Développement de la plateforme d'autoévaluation 74 | 75 | Principales fonctionnalités => faire son évaluation, prendre des notes, obtenir un score \& une évaluation, inscrire son organisation et pouvoir comparer des résultats (dans le temps et entre différents organisations/départements) 76 | 77 | Centre de ressources / bonnes pratiques dsrc 78 | 79 | Présentation de la plateforme : 80 | 81 | - page d'acceuil 82 | - versionning du référentiel et des évaluations 83 | - vue grid des sections 84 | - liste des questions par section 85 | - choix multiples / simple 86 | - champ prise de note (non pris en compte pour l'évaluation, mais permet de garder des éléments au sein d'une organisation) 87 | - vue résultats en cours de finalisation (cf scoring en cours d'élaboration) 88 | 89 | Question d'Amine : forme de la page de résultat (dataviz, texte) ? 90 | 91 | => Les deux + format détachable + format type certification : objectif d'avoir un document que l'on puisse fournir aux clients de l'entreprise, comme justificatif des bonnes pratiques 92 | 93 | ## Certification 94 | 95 | Evaluation *open access* 96 | 97 | - Légitimité de la certif vis à vis des partenaires 98 | - Labelisation (certification de l'auto-évaluation) 99 | - Ressources techniques 100 | - Réseau de partenaires experts 101 | - question d'Annabelle Blangero : "certification à la B-corp" 102 | 103 | => yea, it's so cool! 104 | 105 | Cf. leur nested questions? 106 | 107 | => Yes, cf. affichage conditionnel des questions 108 | 109 | Question de Timothé Faucon : durée de validité de la certif ? 110 | 111 | Cf. bonnes pratiques de l'audit, donc oui, ex. Bcorp = 3 ans 112 | 113 | Les pratiques et les exigences évoluent. 114 | 115 | Question d'Annabelle Blangero : AO du gouvernement pour la certification ? 116 | 117 | Cf. Mission parlementaire sur la filière IA (?) 118 | 119 | -> "défis IA" 120 | 121 | A voir si contexte de l'AO assez globale pour rentrer dans les critères 122 | 123 | Question de Timothé Faucon : y a-t-il un risque de conflit d'intérêt de l'organisme certificateur ? 124 | 125 | - tjs ce pb pour les certifications : il ne faut pas que ça soit trop simple car sinon plus de valeurs et désintérêt de la part des utilisateurs 126 | 127 | Vivement le prochain atelier *irl* 128 | s -------------------------------------------------------------------------------- /workshops-notes/2022.05.09_workshop-s03e02_notes.md: -------------------------------------------------------------------------------- 1 | # Meetup "IA responsable et de confiance" s03e02 du 9 mai 2022 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/1HIHlbeSoYqIKgo-gy3zlv3hv-SG8hzBQYoOGhKgbVSA/edit?usp=sharing) 7 | - [Référentiel d'évaluation](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay de l'atelier saison 3 épisode 2](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-saison-3-episode-1) 10 | - [Replay audio de l'atelier / table ronde de juin 2021](https://www.labelia.org/fr/replay-atelier-21062021) 11 | - [Replay de cet atelier](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-saison-3-episode-2) 12 | 13 | ## Participants 14 | 15 | Clément Mayer, Hafid Ait Sidi Hammou, Alexis Leautier , Marlène d, Olivier Bourreau, Fabrice radja, Jérémie Abitboul, anthéa sérafin, Antoine gautier, Caroline Lancelot, Céline Jacques, Cloélia Tissier, Corentin Boidot, Daniel Bartolo, Edouard Ruiz, Emilie Sirvent, Goulven Furet, Grégoire Martinon, Heytem Bouzama, Jean-Baptiste Queyrie, Marie Couvé, Maru Waan, Mika Ouazan, Pierre Camilleri, Quentin Loridant, MAthilde Poulain, Rémy Robinot, Eric Chau, Enguerand Acquarone, Félicien Vallet, Cédric Meurée, Marie Gervais, Gabriel, Alice Peltier, Corentin Vasseur, Eric Boniface 16 | 17 | ## Sommaire 18 | 19 | 1. Hafid Ait Sidi Hammou, chargé de mission chez la Métropole Européenne de Lille a présente certaines problématiques d’IA dans les organismes publics. 20 | 1. Alexis Leautier de la CNIL présente le guide d'auto-évaluation pour les systèmes d'intelligence artificielle et ses travaux sur l'IA. 21 | 1. Emmanuelle Legrand, de la Direction Générale des Entreprises intervient pour présenter les enjeux et le calendrier autour de la réglementation européenne de l'IA. 22 | 23 | ## Présentations 24 | 25 | - [Présentation d'Hafid Ait Sidi Hammou de la Métropole Européenne de Lille](https://drive.google.com/file/d/1nd3jWrXsyjnEmciBoinA1UUxKic0HVIm/view) 26 | - [Présentation d'Alexis Leautier de la CNIL](https://drive.google.com/file/d/1Eb9uJ2a23QZdrjy82J7wmefhhrZG4ZBa/view) 27 | 28 | ## Replay 29 | 30 | Vous pouvez retrouver le replay sur ce [lien](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-saison-3-episode-2) 31 | 32 | ## Copie du chat 33 | 34 | Cloélia Tissier 35 | 17:02 36 | Bonjour à toutes et tous :) 37 | 38 | Hafid ASH 39 | 17:02 40 | Bonjour! 41 | 42 | Jean-Baptiste Queyrie 43 | 17:02 44 | Hello ! 45 | 46 | Grégoire Martinon 47 | 17:02 48 | Bonjour à tous 49 | 50 | Alexis Leautier 51 | 17:02 52 | Bonjour ! 53 | 54 | CORENTIN BOIDOT 55 | 17:03 56 | Bonjour ! 57 | 58 | Jean-Baptiste Queyrie 59 | 17:05 60 | Yes 61 | 62 | Maru Waan 63 | 17:19 64 | pourrais-tu stp fermer la barre de google meet? elle cache les titres des slides 65 | 66 | Maru Waan 67 | 17:23 68 | Salut Hafid, pourais-tu stp fermer la barre de google meet de partage d'ecran? elle cache une partie de tes slides en haut... 69 | 70 | Maru Waan 71 | 17:24 72 | merci a vous 2! 73 | 74 | Vous 75 | 17:27 76 | N'hésitez pas à poser vos questions dans le chat si vous en avez :) 77 | 78 | Maru Waan 79 | 17:28 80 | Question sur le slide Conclusion: Dans le contexte de la MEL, comment se passent les discussions concertnant les interets des partis pris? et comment "mesurer" (je sais le terme lui-meme n'est pas exact...) les changements (ou meme plus-values) generees? 81 | 82 | Maru Waan 83 | 17:29 84 | parti-pris (stakeholders) 85 | oui, peuvent etre des citiyens ou des sources de fianncement, ou les entreprises, le departement ou l'etat etc... 86 | 87 | Maru Waan 88 | 17:32 89 | Merci 90 | 91 | Félicien Vallet 92 | 17:44 93 | Pour les personnes intéressées, un sommaire de ces contenus est disponible ici : https://www.cnil.fr/fr/intelligence-artificielle/la-cnil-publie-ressources-grand-public-professionnels 94 | 95 | Hafid ASH 96 | 17:45 97 | Parmi les bonnes pratiques est-ce que vous allez jusqu'à recommander directement des approches/techniques (apprentissage fédéré par exemple) ? 98 | 99 | Vous 100 | 17:46 101 | https://www.cnil.fr/fr/intelligence-artificielle/guide 102 | 103 | Félicien Vallet 104 | 17:49 105 | https://linc.cnil.fr/fr/dossier-intelligence-artificielle 106 | 107 | Emilie Sirvent-Hien (Orange) 108 | 17:51 109 | est-ce que vos recommendations s'étendent aux cas où il n'y a pas de données personnes mais quand même des enjeux éthiques? 110 | 111 | GOULVEN FURET 112 | 17:51 113 | Il me semble que la CNIl recommande de distinguer la finalité d'entrainement de modèle de celle d'inférence. Pas trivial à appréhender, auriez vous un exemple ? 114 | 115 | Rémy Robinot 116 | 17:54 117 | Pour la phase d’entraînement, existe t il des bases de données certifiées conformes pouvant être réutilisées par les entreprises ? 118 | 119 | GOULVEN FURET 120 | 17:54 121 | merci ;) 122 | 123 | Rémy Robinot 124 | 17:56 125 | Merci beaucoup 126 | 127 | Hafid ASH 128 | 17:57 129 | L'outil DGML d'Etalab a préparé des jeux de données ouvertes pour du machine Learning, je ne crois pas qu'elles soient certifiés mais pré-travaillées au moins 130 | 131 | Félicien Vallet 132 | 17:58 133 | Tout à fait ces données sont très intéressantes. Cependant, il ne s'agit pas de données personnelles 134 | 135 | Maru Waan 136 | 17:59 137 | tu pourrais partager un lien si tu l'as sous la main, Hafid? SInon je m'en vais googler :-) 138 | 139 | Félicien Vallet 140 | 18:00 141 | https://datascience.etalab.studio/dgml/ 142 | 143 | Hafid ASH 144 | 18:00 145 | merci :) 146 | 147 | Maru Waan 148 | 18:03 149 | Thanks Felicien! 150 | ca devrait etre ajoute aux databases de Kaggle et Coursera projects 151 | 152 | Emilie Sirvent-Hien (Orange) 153 | 18:15 154 | est-ce que vous avez des pressions de lobbys ? 155 | 156 | Félicien Vallet 157 | 18:15 158 | Peut-être ^peut-on indiquer que le Parlement travaille également de son côté à sa propre version avant le trilogue conseil/commission/parlement ? 159 | 160 | Rémy Robinot 161 | 18:15 162 | Désolé si vous l’avez déjà évoqué : avez vous une estimation de la date d’entrée en application du règlement ? 163 | 164 | Caroline Lancelot Miltgen 165 | 18:16 166 | Qu'en est-il des citoyens / usagers ? Savons-nous quelles sont leurs craintes vs. les bénéfices qu'ils perçoivent à l'IA ? Y a t-il des études / sondages à ce sujet ? 167 | 168 | Emilie Sirvent-Hien (Orange) 169 | 18:16 170 | merci 171 | 172 | Félicien Vallet 173 | 18:19 174 | merci ! c'était pour souligner aux personnes moins connaisseuses de ces sujets combien l'adoption d'un texte au niveau européen est complexe 175 | 176 | Vous 177 | 18:19 178 | Merci Félicien :) 179 | 180 | Rémy Robinot 181 | 18:20 182 | Merci pour cette réponse très complète 183 | 184 | Rémy Robinot 185 | 18:20 186 | Merci pour cette réponse très complète 187 | 188 | Quentin Loridant 189 | 18:24 190 | Merci à tous ! 191 | 192 | Marlène D. 193 | 18:24 194 | Merci ! 195 | 196 | GOULVEN FURET 197 | 18:24 198 | merci, bonne soirée 199 | 200 | Cloélia Tissier 201 | 18:24 202 | Merci ! 203 | 204 | Antoine Gautier 205 | 18:24 206 | merci 207 | 208 | Pierre CAMILLERI 209 | 18:24 210 | Merci, à bientôt 211 | 212 | Félicien Vallet 213 | 18:24 214 | merci et bonne soirée 215 | 216 | Anthea Sérafin 217 | 18:24 218 | Merci à tous les intervenants ! Au revoir -------------------------------------------------------------------------------- /workshops-notes/2022.03.07_workshop-s03e01_notes.md: -------------------------------------------------------------------------------- 1 | # Meetup "IA responsable et de confiance" s03e01 du 7 mars 2022 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/1HIHlbeSoYqIKgo-gy3zlv3hv-SG8hzBQYoOGhKgbVSA/edit?usp=sharing) 7 | - [Référentiel d'évaluation](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay de cet atelier](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-saison-3-episode-1) 10 | - [Replay audio de l'atelier / table ronde de juin 2021](https://www.labelia.org/fr/replay-atelier-21062021) 11 | 12 | ## Participants 13 | 14 | 53 participants. 15 | 16 | ## Sommaire 17 | 18 | 1. Axionable - Retour d’expérience sur l’obtention de la certification LNE et du label "Labelia - IA Responsable et de Confiance" en temps que 1er labellisé ! 19 | 1. Nouveau workgroup dédié aux librairies Open Source IA Responsable - Quantmetry: présentation de Mapie 20 | 1. Data for Good - saison 10 21 | 1. ~Les problématiques d’IA dans les organismes publics (Hafid Ait Sidi Hammou)~ -> *reporté au prochain meetup* 22 | 1. Actualité de Labelia Labs : évolution de la plateforme, mise à jour semestriel du référentiel, etc. 23 | 24 | ## Compte-rendu 25 | 26 | ### 1. Axionable - Retour d’expérience sur l’obtention de la certification LNE et du label 27 | 28 | Présentation par Gwendal Bihan (DG Axionable), José Sanchez (Senior Manager), Marie Couvé (Data Scientist). 29 | 30 | ### 2. Nouveau workgroup dédié aux librairies Open Source IA Responsable - Quantmetry: présentation de Mapie 31 | 32 | - Présentation par l'équipe MAPIE de Quantmetry 33 | - Voir le [repo GitHub de MAPIE](https://github.com/scikit-learn-contrib/MAPIE) 34 | 35 | ### 3. Data for Good - saison 10 36 | 37 | Présentation par Mickaël Fine : [voir support de présentation](https://docs.google.com/presentation/d/1HIHlbeSoYqIKgo-gy3zlv3hv-SG8hzBQYoOGhKgbVSA/edit?usp=sharing). 38 | 39 | ### 4. Actualité de Labelia Labs 40 | 41 | - Publication en janvier 2022 de la mise à jour semestrielle "2021-S2" du référentiel cadre : [lien](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc/releases) 42 | - Nouvelle fonctionnalité mise en ligne sur la plateforme d'assessment : possibilité de constituer un plan d'action en sélectionnant au fil de l'évaluation les éléments que l'on souhaite mettre de côté et retrouver dans un onglet "Plan d'action" dédié 43 | 44 | ## Sondages en séance 45 | 46 | - Si l’on sortait un certificat individuelle de connaissances sur l’IA responsable et de confiance, le passeriez-vous ? 47 | 48 | - Nb oui : 33 49 | - Nb non : 5 50 | - % oui : 87% 51 | - % non : 13% 52 | 53 | - Avez-vous déjà participé à une saison Dataforgood ? 54 | 55 | - Nb oui : 2 56 | - Nb non : 16 57 | - % oui : 11% 58 | - % non : 89% 59 | 60 | - Prévoyez-vous de participer à la saison 10 ? 61 | 62 | - Nb oui : 3 63 | - Nb non : 4 64 | - % oui : 43% 65 | - % non : 57% 66 | 67 | - Si l’on élargit le groupe de travail technique sur les librairies open source pour l’IA responsable, souhaiteriez-vous y participer ? (1 fois / mois, contenu sur le développement de ces librairies) 68 | 69 | - Nb oui : 8 70 | - Nb non : 1 71 | - % oui : 89% 72 | - % non : 11% 73 | 74 | ## Copie du chat 75 | 76 | Fabien FAIVRE - 17:03 77 | bonjour 78 | 79 | Hery Son - 17:03 80 | Bonjour à tous 81 | 82 | Vous - 17:03 83 | Bonjour à toutes et à tous, merci de vous joindre à nous ce soir. On démarre à 17h05 ! 84 | 85 | clémence saillard - 17:03 86 | Bonjour ! 87 | 88 | sysy FONJOU - 17:07 89 | Bonjour. Très nouvelle pour les enregistrements 90 | 91 | Gregoire MARTINON-SC - 17:07 92 | Bonjour à tous ! 93 | 94 | Elliot Knight - 17:11 95 | Ça a commencé ? J'ai pas de son ^^ 96 | 97 | Clément Mayer - 17:11 98 | Oui Elliott, essaye peut être de te reconnecter ? 99 | 100 | Elliot Knight - 17:11 101 | D'acc 102 | 103 | Hery Son - 17:14 104 | Très intéressé !! 105 | 106 | Vous - 17:30 107 | Je confirme, il est TRES intéressant à lire ! 108 | 109 | Vous - 17:39 110 | La plateforme d'évaluation, gratuite et en libre accès : assessment.labelia.org 111 | Scores seuils : 112 | 113 | - 45/100 pour être éligible au label niveau intermédiaire 114 | - 55/100 pour être éligible au label niveau avancé 115 | 116 | CORENTIN BOIDOT - 17:40 117 | La certification LNE vise-t-elle aussi le suivi des modèles de ML après leur mise en production ? Quel niveau d'exigence sur l'explicabilité ? 118 | 119 | Cedric Meurée - 17:41 120 | Merci ! Cb de temps entre audits de suivi du LNE ? 121 | 122 | Vous - 17:42 123 | Précision : La tarification est fonction de la taille de l'organisation 124 | 125 | Vous - 17:43 126 | @ Cédric : il me semble que ça doit être environ 2 ans, à confirmer 127 | 128 | Hery Son - 17:43 129 | Question : ca ma peut être échappé, mais je me demande si dans les deux référentiel la possibilité de prise en compte des retours des utilisateurs (du service utilisant l'IA) est évaluée ? 130 | 131 | Data for Good - 17:43 132 | Quelques questions : 133 | 1/ Qu'allez vous faire de ces certifications ? 134 | 135 | - pour des missions clients 136 | - en business développement, ... ? 137 | -2/ Quel avantage pour une structure de se faire certifier ? 138 | 139 | Hery Son - 17:54 140 | @Mickael il y aussi des cellules de data4good en région qui se sont crées comme ici a Marseille :) 141 | 142 | Vous - 17:57 143 | Petit sondage pour savoir si vous avez déjà participé à des saisons Dataforgood - cf. le picto triangle-carré-rond 144 | 145 | Clément Mayer - 17:58 146 | 147 | 148 | phileas condemine - 17:58 149 | le sondage est fini :-/ 150 | 151 | azoben Sadio - 17:58 152 | Est-ce qu'il existe une cellule de data4good sur Paris? 153 | 154 | Julie Bec - 17:58 155 | je n'ai pas eu le tps de voter :( 156 | 157 | Mamy Ratsimbazafy - 17:59 158 | azoben: oui 159 | 160 | Clément Mayer - 17:59 161 | C'est relancé ! 162 | 163 | Mamy Ratsimbazafy - 18:09 164 | (?) 165 | 166 | Vous - 18:11 167 | Oui c'est bien ça 168 | 169 | Vous - 18:19 170 | Qui ici pourrait avoir besoin d'utiliser MAPIE dans ses projets data science à venir ? 171 | 172 | phileas condemine - 18:20 173 | moi ça m'intéresse mais j'ai surtout des sujets de classification multilabel donc pas forcément vis-à-vis des alternatives 174 | 175 | Vianney Taquet - 18:25 176 | On est en train d'attaquer les sujets multi-label également :-) 177 | 178 | phileas condemine - 18:25 179 | top ! 180 | super lib en tout cas 181 | 182 | Vincent Blot - 18:25 183 | les sujets concernant les taches avec du multi-label ont été identifiées et nous travaillons actuellement à la revue de la littérature concernant ce sujet 184 | 185 | phileas condemine - 18:25 186 | bravo 187 | 188 | José SANCHEZ - 18:25 189 | Merci à tous et à toutes 190 | 191 | Hery Son - 18:25 192 | Merci beaucoup :) 193 | 194 | Antoine Gautier - 18:25 195 | Merci beaucoup pour les présentations. 196 | 197 | Marie Couve - 18:25 198 | Merci à toutes et à tous :) 199 | 200 | Yoann Couble - 18:25 201 | Merci beaucoup 202 | 203 | Julie Bec - 18:25 204 | Merci beaucoup!!! 205 | 206 | phileas condemine - 18:26 207 | Merci à tous ! 208 | 209 | Céline Alby - 18:26 210 | Merci ! 211 | 212 | Fabien FAIVRE - 18:26 213 | Top! Merci beaucoup 214 | 215 | clémence saillard - 18:26 216 | Merci beaucoup 217 | 218 | Cedric Meurée - 18:26 219 | Merci beaucoup ! 220 | 221 | Cloélia Tissier - 18:26 222 | Mille mercis et à bientôt ! 223 | 224 | Clément Mayer - 18:26 225 | Le 9 mai :) 226 | 227 | Marlène D. - 18:26 228 | Merci beaucoup ! A bientôt =) 229 | -------------------------------------------------------------------------------- /workshops-notes/2021.11.22_workshop-s02e05_notes.md: -------------------------------------------------------------------------------- 1 | # Atelier DSRC s02e04 du 22 novembre 2021 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/1m4kwe5X0pyoYJFaSUfcQWr56LrVMfy3zE2bAiiYJ6Zg/edit?usp=sharing) 7 | - [Référentiel d'évaluation](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay audio de l'atelier / table ronde de juin 2021](https://www.labelia.org/fr/replay-atelier-21062021) 10 | 11 | ## Participants 12 | 13 | Heytem Boumaza 14 | Arnaud B 15 | Elise Pupier 16 | Damien 17 | Alice Peltier 18 | MArlène D. 19 | Grégoire mariton 20 | Cédric Meurée 21 | MAtthieu Brient 22 | Marie Couvé 23 | Sebastiao Correia 24 | Valentin Defour 25 | Céline Jacques 26 | Edouardo Bonnefemme 27 | Clémence Saillard 28 | Bruno Siarry 29 | Marie Thieulin 30 | Nicolas Landel 31 | Joséphine Lecoq Vallon 32 | Geoffray Brelurut 33 | Eric Boniface 34 | Clément Mayer 35 | Clémence Saillard 36 | Grégoire Mialet 37 | Julie Robles 38 | Eugénie Clément 39 | Eric Chau 40 | Amine Saboni 41 | Emilie Sirvent-Hien 42 | Kamal Hafyane 43 | 44 | ## Sommaire 45 | 46 | 1. Présentation sur l'IA durable (Quantmetry / Grégoire Martinon et Geoffray Brelurut) 47 | 1. La coalition #RESET menée par la FING (FING / Matthieu Brient) 48 | 1. Actualités autour de l'initiative DSRC 49 | 50 | ## Compte-rendu 51 | 52 | ### 1. Présentation sur l'IA durable (Quantmetry / Grégoire Martinon et Geoffray Brelurut) 53 | 54 | Voir l'article de blog *["IA durable et sobriété numérique : ce que les professionnels de la donnée peuvent faire"](https://medium.com/quantmetry/ia-durable-et-sobri%C3%A9t%C3%A9-num%C3%A9rique-ce-que-les-professionnels-de-la-donn%C3%A9e-peuvent-faire-5782289b73cc)* retranscrivant le sujet de l'intervention. 55 | 56 | ### 2. La coalition #RESET menée par la FING (FING / Matthieu Brient) 57 | 58 | - [Introduction et cahier d'enjeux](https://fing.org/publications/cahier-questions-numeriques-reset.html) de la coalition Rest 59 | - [Livret de la coalition](https://reset.fing.org/wp-content/uploads/2020/06/2021_10_Coalition-IA_livret_coalition.pdf) 60 | - Contacts : et/ou 61 | 62 | ### 3. Actualités autour de l'initiative DSRC 63 | 64 | - Changement de nom : Substra Foundation -> Labelia Labs 65 | - Lancement du Label : "Labelia - IA responsable et de confiance" 66 | - Premières entreprises candidates au label : Axionable et Apricity 67 | - Mise à jour semestrielle du référentiel en cours, voir la PR "release candidate" 68 | - Prochaine publication open source du code de la plateforme d'évaluation 69 | 70 | ## Copie du chat 71 | 72 | Matthieu Brient 73 | 17:02 74 | Bonjour tout le monde 75 | 76 | Nicolas Landel 77 | 17:02 78 | Bonjour à tous ! 79 | 80 | Valentin Defour 81 | 17:03 82 | Hello à tous ! 83 | 84 | Vous 85 | 17:03 86 | Bonjour à tous ! On démarre dans 2 minutes:) 87 | 88 | Alice Peltier 89 | 17:03 90 | Bonjour à toutes et à tous ! 91 | 92 | damien 93 | 17:03 94 | Bonjour à tous, Damien Hervault, je travaille en R&D chez Quantmetry, en particulier sur les sujets liés à l'IA de confiance 95 | 96 | Eric Boniface 97 | 17:04 98 | Hello Damien, bienvenue et désolé de n'avoir pas répondu à ton email ! Très sympa de te retrouver ici 99 | 100 | Sebastiao Correia 101 | 17:04 102 | Bonjour, Sebastiao Correia, je travaille à Talend et dirige une équipe de data scientists. 103 | 104 | Alice Peltier 105 | 17:05 106 | Bonjour à toutes et à tous ! Alice Peltier, freelance product manager en data science - en mission pendant 3 ans chez Leroy Merlin - actuellement en recherche de mission ;-) 107 | 108 | Grégoire Martinon 109 | 17:05 110 | Bonjour à tous, Grégoire Martinon, je suis consultant chez quantmetry et travaille sur les thématiques IA de confiance 111 | 112 | Marie THIEULIN 113 | 17:05 114 | Bonjour ! Je travaille dans la data, entre enseignement et missions qui ont du sens :) 115 | 116 | Bruno Siarry 117 | 17:06 118 | Bonjour à tous, Bruno Siarry, Data scientist à Axionable. Je travaille sur les thématiques de l'IA responsable. 119 | 120 | GBrelurut 121 | 17:06 122 | Bonjour à tous, Geoffray Brelurut, consultant Data Scientist chez QM, je travaille essentiellement sur les sujets liés aux time series et IA de confiance/durable 123 | 124 | clémence saillard 125 | 17:07 126 | Bonjour tout le monde, Clémence Sevrin-Saillard, research data scientist chez Deezer 127 | 128 | Josephine LECOQ-VALLON 129 | 17:07 130 | Toujours ! 131 | 132 | Elise Pupier 133 | 17:08 134 | Bonjour, Elise Pupier, je travaille à Simpliciti dans le domaine de la smart city, et je suis aussi impliquée à Data for Good Provence 135 | 136 | Vous 137 | 17:08 138 | https://github.com/LabeliaLabs/referentiel-evaluation-dsrc/blob/master/referentiel_evaluation.md 139 | https://assessment.labelia.org/fr/ 140 | 141 | Vous 142 | 17:16 143 | La pull request: https://github.com/LabeliaLabs/referentiel-evaluation-dsrc/pull/146 144 | 145 | Vous 146 | 17:30 147 | N'hésitez pas à poser vos questions dans le chat. 148 | 149 | Matthieu Brient 150 | 17:44 151 | mbrient@fing.org 152 | 153 | Vous 154 | 17:46 155 | Merci beaucoup Matthieu 156 | 157 | Matthieu Brient 158 | 18:00 159 | "Quand les #GAFAM affirment comme objectif le basculement de leur mix énergétique vers une large majorité d’#ENR, [...] ces derniers n’évoquent jamais la réduction de leur consommation d’énergie". A lire dans le #HorsSaison n°3 https://horssaison.my-destination.fr/horssaison/ 160 | 161 | Grégoire Martinon 162 | 163 | https://mlco2.github.io/impact/#compute 164 | 165 | Vous 166 | 18:15 167 | https://mlco2.github.io/codecarbon/ 168 | 169 | Alice Peltier 170 | 18:19 171 | merci ! et pourquoi pas rentrer dans l'économie circulaire de l'algo, en finetunant des algos pour éviter les entrainements from scratch ? 172 | 173 | Valentin Defour 174 | 18:22 175 | +1 avec la question d'Eric :) 176 | 177 | Amine Saboni 178 | 18:23 179 | Hello! Est ce qu'il y a des données sur la part des émissions des algos produits pour la recherche, comparé à celles dégagées des algos réellement utilisés dans l'industrie ? (j'imagine que le calcul n'est pas simple, mais par quoi commencer si nous devions nous y intéresser ?) 180 | 181 | Alice Peltier 182 | 18:26 183 | dans l'IA grise, est-ce qu'il y a une différence significative en terme de construction / épuisement ressource entre CPU et GPU ? 184 | 185 | Alice Peltier 186 | 18:28 187 | merci ! 188 | 189 | Matthieu Brient 190 | 18:28 191 | franchement chapeau ! C'était passionnant Quantmetry 192 | 193 | clémence saillard 194 | 18:29 195 | +1 sur le commentaire précédent 196 | 197 | Julie Robles 198 | 18:29 199 | Très intéressant ! Merci aux speakers et aux orgas :) 200 | 201 | Sebastiao Correia 202 | 18:31 203 | Merci 204 | 205 | Valentin Defour 206 | 18:31 207 | Merci pour l'orga et bravo aux speakers ! Bonne soirée à tous. 208 | 209 | Nicolas Landel 210 | 18:31 211 | Merci, bonne soirée ! 212 | 213 | Heytem Boumaza 214 | 18:31 215 | Merci pour la présentation !! c'était top ! 216 | 217 | Bruno Siarry 218 | 18:31 219 | Merci beaucoup pour les présentations ! 220 | 221 | Amine Saboni 222 | 18:31 223 | Merci pour l'organisation, encore une fois des présentations très intéressantes! 224 | 225 | Kamal Hafyane 226 | 18:31 227 | merci pour la présentation 228 | 229 | Cedric Meurée 230 | 18:31 231 | Merci beaucoup pour vos présentations, très intéressant ! 232 | 233 | Matthieu Brient 234 | 18:31 235 | merci à vous ! 236 | 237 | Alice Peltier 238 | 18:31 239 | c'est chouette de faire en remote pour les provinciaux ! 240 | 241 | Eduardo Bonnefemne 242 | 18:31 243 | Merci à vous pour la présentation 244 | 245 | Marlène D. 246 | 18:32 247 | Séance très intéressante, merci beaucoup ! 248 | 249 | Matthieu Brient 250 | 18:32 251 | à très bientôt -------------------------------------------------------------------------------- /workshops-notes/2021.09.20_workshop-s02e04_notes.md: -------------------------------------------------------------------------------- 1 | # Atelier DSRC s02e04 du 20 septembre 2021 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/1MIa4NCodLFZRD_m-FYg_uhNJ__GiK9kD2vm-jNMOHCs/edit?usp=sharing) 7 | - [Référentiel d'évaluation](https://github.com/SubstraFoundation/referentiel-evaluation-dsrc/blob/master/referentiel_evaluation.md) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay audio de l'atelier / table ronde](https://www.labelia.org/fr/replay-atelier-21062021) 10 | 11 | ## Participants 12 | 13 | - Scaphy Data 14 | - Heytem Boumaza 15 | - Clément Mayer 16 | - Marlène D. 17 | - Eric Boniface 18 | - Cloélia Tissier 19 | - Céline Jacques 20 | - Amine Saboni 21 | - Alexis Leautier 22 | - Possibile Parigi 23 | - Benjamin Cohen-Lhyver 24 | - Maxime 25 | - Virgile Fouquet 26 | - Cédric Brice 27 | - Cédric Meurée 28 | - Guillaume Avrin Lne 29 | - Katleen Blanchet 30 | - Tiba Delespierre 31 | - José Luis Sànchez Rojas 32 | - Nicolas Landel 33 | - Farid Ahamada 34 | - Emilie Sirvent-Hien 35 | - Lore LePabic 36 | - Thomas Cayla 37 | - Eric chau 38 | - Brik Reda 39 | - Arthur Lezer 40 | 41 | ## Sommaire 42 | 43 | 1. Nouveautés sur l’outil d’assessment 44 | 1. Label Intelligence Artificielle Responsable et de Confiance 45 | 1. Atelier participation : évolutions du référentiel d’évaluation (2è semestre 2021) 46 | 47 | ## Compte-rendu 48 | 49 | ### Nouveautés sur l’outil d’assessment 50 | 51 | Nouvelle fonctionnalité en production : 52 | 53 | 1. Possibilité, pour chaque élément de réponse, d’ajouter une justification pour expliquer le(s) item(s) de réponse sélectionné(s). 54 | 55 | Nouvelles fonctionnalités en cours de développement : 56 | 57 | 2. Amélioration du versioning 58 | 59 | Afin de pouvoir mieux identifier les éléments nouveaux ou qui ont été modifiés à la suite de la mise à jour du référentiel d’évaluation (chaque semestre), le versionning a été amélioré. 60 | À chaque release semestrielle du référentiel cadre, pour chaque élément d'évaluation, une pastille "nouveau" / "mis à jour" / "inchangé" indique l'impact de la mise à jour sur l'élément. Lorsque celui-ci est nouveau ou mis à jour, un message explique de quoi il retourne. Cela permet d'éditorialiser en quelque sorte les nouveautés de l'assessment, afin que l'utilisateur s'y retrouve mieux. 61 | Une nouvelle page dédiée recense l’ensemble des changements par nouvelle version du référentiel 62 | 63 | 3. Demande de labellisation en ligne 64 | 65 | Les demandes de labellisations sont accessibles depuis un onglet “Labellisation” dans “Mon tableau de bord” pour les évaluations ayant atteinte le score seuil d'éligibilité. 66 | Une partie du workflow est gérée directement depuis la plateforme. 67 | Les échanges d’informations ont lieu en dehors de la plateforme à ce stade. 68 | 69 | ### Label Intelligence Artificielle Responsable et de Confiance 70 | 71 | Présentation du label Intelligence Artificielle Responsable et de Confiance par Labelia Labs (ex- Substra Foundation) : *voir document de présentation*. 72 | 73 | Questions reçues pendant la présentation : 74 | 75 | - Quelle temporalité estimée pour ce label ? --> Octobre 2021 76 | - Est-ce que vous avez vu une demande de la part des entreprises/des utilisateurs ? --> la naissance du label provient en effet d'une demande de la part d'utilisateurs ayant réalisé l'auto-évaluation et voulant communiquer autour de leur score. 77 | - Ce label aura-t-il une visée internationale ? --> Complexe en raison de la diversité des contextes et des réglementations. Cependant le référentiel d'évaluation est disponnible en anglais. 78 | - Combien de temps environ pour être labelisé ? --> Après avoir réalisé l'auto-évaluation, cela peut être dans l'ordre du mois, mais cela dépendra également de la réactivité des entreprises. 79 | - Présentation par Guillaume Avrin de la certification proposée par le LNE 80 | 81 | ### Atelier participation : évolutions du référentiel d’évaluation (2è semestre 2021) 82 | 83 | 1. Proposition de modifications des sections 84 | 85 | Un premier ensemble de sections dédiées aux activités des data scientists : 86 | 87 | - Préparation et protection des données 88 | - Modélisation, formation, évaluation 89 | - Déploiement, suivi/MLOps 90 | 91 | Une deuxième série de sections consacrée aux aspects organisationnels, aux processus et aux externalités, plus globale pour l'organisation qui effectue l'évaluation : 92 | 93 | - Organisation, gouvernance, responsabilités - internes à l'organisation 94 | - Organisation, gouvernance, responsabilités - liées aux parties externes 95 | - Externalités négatives 96 | 97 | Retour des participants : 98 | 99 | - Choix business / variable qu'on veut maximiser ? Plutôt côté organisation / processus ? Objectif de ce que veut maximiser l'algorithme peut avoir un fort impact et mériterait dans la première partie 100 | - Nouvelles sections sont plus claires au global. 101 | 102 | 2. Data Préparation 103 | 104 | - Point à traiter : au sujet de ces éléments de data préparaton : quel public accède aux informations collectées par les différents points ? (Concepteurs, utilisateurs, autres ?) 105 | 106 | ## Copie du chat 107 | 108 | > 16:46 109 | > Bonjour à tous, nous démarrons l'atelier d'ici 15 20 minutes :) 110 | > 111 | >Scaphy Data 112 | > 16:46 113 | > Ok 114 | > 115 | > Heytem Boumaza 116 | > 16:51 117 | > Bonjour! 118 | > 119 | > Vous 120 | > 16:53 121 | > Bonjour à tous, on démarre vers 17h05 :) 122 | > 123 | > Vous 124 | > 17:10 125 | > https://github.com/SubstraFoundation/referentiel-evaluation-dsrc/blob/master/referentiel_evaluation.md 126 | > 127 | > Vous 128 | > 17:14 129 | > https://assessment.labelia.org/fr/ 130 | > 131 | > Cloélia Tissier 132 | > 17:39 133 | > Bonjour, quelle temporalité estimée pour ce label ? 134 | > 135 | > virgile fouquet 136 | > 17:39 137 | > Plutôt intéressant :) 138 | > 139 | > Marlène D. 140 | > 17:39 141 | > Plutôt intéressant 142 | > 143 | > Katleen Blanchet 144 | > 17:41 145 | > Très intéressant ! 146 | > 147 | > Alexis Leautier 148 | > 17:41 149 | > 150 | > Très intéressant ! :) Une question : est-ce que vous avez vu une demande de la part des entreprises/des utilisateurs ? 151 | > 152 | > (je débarque un peu pardon :) ) 153 | > 154 | > Cloélia Tissier 155 | > 17:42 156 | > Ce label aura-t-il une visée internationale ? 157 | > 158 | > Alexis Leautier 159 | > 17:43 160 | > merci ! 161 | > 162 | > virgile fouquet 163 | > 17:43 164 | > j'ai peut etre râté une étape, mais combien de temps environ pour être labelisé ? 165 | > 166 | > virgile fouquet 167 | > 17:45 168 | > uff 169 | > merci 170 | > 171 | > virgile fouquet 172 | > 17:46 173 | > à l'échelle d'un grand groupe c'est même très rapide 174 | > 175 | > Cloélia Tissier 176 | > 17:46 177 | > si le grand groupe est réactif ;) 178 | > 179 | > Guillaume Avrin Lne 180 | > 17:50 181 | > Merci Eric ! 182 | > 183 | > Vous 184 | > 18:00 185 | > https://docs.google.com/presentation/d/1MIa4NCodLFZRD_m-FYg_uhNJ__GiK9kD2vm-jNMOHCs/edit?usp=sharing 186 | > 187 | > virgile fouquet 188 | > 18:04 189 | > je dois vous laisser. Merci 190 | > 191 | > Eric Boniface 192 | > 18:04 193 | > Merci Virgile à bientôt 194 | > 195 | > Cedric Meurée 196 | > 18:05 197 | > besoin d'un peu de recul peut-être, mais ça fait du sens en lien avec certaines des discussions qu'il a pu y avoir 198 | > 199 | > Amine Saboni 200 | > 18:13 201 | > Au sujet de ces éléments de data prep : quel public accède aux informations collectées par les différents points ? (Concepteurs, utilisateurs, autres ?) 202 | > 203 | > Vous 204 | > 18:27 205 | > https://www.labelia.org/fr/replay-atelier-21062021 206 | > 207 | > Arthur Lezer 208 | > 18:28 209 | > un replay du meetup d'ajd sera-t-il dispo ? (raté le début) 210 | > 211 | > pas de souci je récupèrerai avec la pres 212 | > 213 | > Arthur Lezer 214 | > 18:29 215 | > merci pour le récap! 216 | > 217 | > Marlène D. 218 | > 18:30 219 | > C'était très intéressant, merci beaucoup ! 220 | > 221 | > Scaphy Data 222 | > 18:30 223 | > Merci 224 | > 225 | > Katleen Blanchet 226 | > 18:31 227 | > Merci ! 228 | > 229 | > Cedric Meurée 230 | > 18:31 231 | > merci beaucoup à vous pour ce meetup ! 232 | > 233 | > Cloélia Tissier 234 | > 18:31 235 | > Merci beaucoup et belle soirée ! 236 | > 237 | > Arthur Lezer 238 | > 18:32 239 | > Merci salut! -------------------------------------------------------------------------------- /workshops-notes/2021.06.21_workshop-s02e03_notes.md: -------------------------------------------------------------------------------- 1 | # Atelier DSRC S02E03 du 21 juin 2021 2 | 3 | ## Liens utiles 4 | 5 | - [Page Meetup "Data science responsable et de confiance"](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) 6 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/1Ok_iR9qa7dnC2I-EkJFTuyGvjQoWIWIitM-N0xHA9Yc/edit?usp=sharing) 7 | - [Référentiel d'évaluation](https://github.com/SubstraFoundation/referentiel-evaluation-dsrc/blob/master/referentiel_evaluation.md) 8 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 9 | - [Replay audio de l'atelier / table ronde](https://www.labelia.org/fr/replay-atelier-21062021) 10 | 11 | ## Participants 12 | 13 | Participants : 14 | 15 | - Clément Mayer 16 | - Heytem B. 17 | - Eric Boniface 18 | - Jérémie Abiteboul 19 | - Quentin Marechal 20 | - Vincent Bourboulay 21 | - Cocyte 22 | - Jerome Cleyrop 23 | - Arnaud Mullar 24 | - Grégoire Mialet 25 | - Fabien Faivre 26 | - Hugo Lacauste 27 | - Maeva Bodet 28 | - Arnaud Malinksy 29 | - Antoine Duval 30 | - Arthur Lezer 31 | - Emilie Sirvent-Hien 32 | - Mickael Fine 33 | - T S 34 | - Nicolas Landel 35 | - Simon chignard 36 | - Cloélia Tissier 37 | - Alex 38 | - Benedicte de Linares 39 | - Eva Lekic 40 | - Célines Jacques 41 | - Virgile Fouquet 42 | - Cedric Meurée 43 | - Alix Checchi 44 | - Daniel Bartolo 45 | - Scaphy Data 46 | - Lauter Leter 47 | - Amine Saboni 48 | - Eugénie Clement 49 | 50 | ## Sommaire 51 | 52 | 1. Le “draft” de réglementation européenne de l’IA : objectives, calendrier, contenu, points faibles 53 | - Jérémie Abiteboul, DreamQuark 54 | - Mickaël Fine, La Fourchette & Dataforgood 55 | 1. Table-ronde : perspectives et vision sur cette future réglementation 56 | - Grégoire Mialet, C-Ways 57 | - Vincent Courboulay, Institut du Numérique Responsable 58 | - Arnaud Muller & Jérôme Valat, Cleyrop 59 | - Simon Chignard, Etalab 60 | 1. Mise à jour semestrielle du référentiel cadre 61 | 1. Dernières évolutions de la plateforme d'évaluation 62 | 63 | ## Compte-rendu 64 | 65 | ### Le “draft” de réglementation européenne de l’IA : objectives, calendrier, contenu, points faible 66 | 67 | - Présentation grandes lignes du projet de réglementation par Jérémie Abiteboul (DreamQuark) 68 | - Présentation objections formulées par différents acteurs par Mickaël Fine (La Fourchette) 69 | 70 | [Lien vers la présentation](https://docs.google.com/presentation/d/1Ok_iR9qa7dnC2I-EkJFTuyGvjQoWIWIitM-N0xHA9Yc/edit?usp=sharing) 71 | 72 | [Lien vers le replay audio de l'atelier / table-ronde](https://www.labelia.org/fr/replay-atelier-21062021) 73 | 74 | ### Table-ronde : perspectives et vision sur cette future réglementation 75 | 76 | - Grégoire Mialet, C-Ways 77 | - Vincent Courboulay, Institut du Numérique Responsable 78 | - Arnaud Muller & Jérôme Valat, Cleyrop 79 | - Simon Chignard, Etalab 80 | 81 | Extraits des échanges : 82 | 83 | > Question par Quentin MARECHAL: Bonjour à tous, j'ai constaté dans le texte l'absence de traitement des impacts écologiques d'IA, qui, a court ou long termes, affectent par rebond l'intégrité des personnes physiques. Avez-vous des précisions quant à la classification de ces IA ? 84 | > 85 | > Remarque par Simon Chignard: Il y a des travaux en cours au sein du LNE (labo national d'essais) sur les tests de conformité des IA 86 | > 87 | > Simon Chignard: 88 | > "Brussels effect" 89 | > https://www.amazon.fr/Brussels-Effect-European-Union-Rules/dp/0190088583 90 | > 91 | > vincent courboulay 92 | > 93 | > institutnr.org 94 | > academie-nr.org 95 | > label-nr.fr 96 | > charte.institutnr.org 97 | > wiki.institutnr.org 98 | > 99 | > Mickael Fine 100 | > Pour info, la lettre envoyée à l'UE suite a la publication de la règlementation par 50+ organisations : https://edri.org/wp-content/uploads/2021/04/Letter-from-51-civil-society-organisations-seeking-your-support-for-a-ban-on-biometric-mass-surveillance-practices.pdf. qui contient un lien vers leur 1ere lettre également. 101 | > 102 | > Quentin MARECHAL 103 | > Merci, j'ai une deuxième question sur le regulatory sandbox, j'ai du mal à en comprendre la portée et l'implémentation opérationnelle. Savez vous à quoi cela correspond ? 104 | > 105 | > Jeremie Abiteboul 106 | > Par rapport aux nouveaux usages et aux usages futurs, pas certain que ça soit suffisant, mais il me semble qu'il y a dans le règlement des mécanismes prévus pour mettre à jour la liste des usages interdits / à haut risque 107 | > 108 | > Arthur Lezer 109 | > 110 | > il y a un « Marquage CE » prévu pour attester de la conformité d’une IA à la régulation. Quelqu’un aurait une idée sur la mise en œuvre de cette marque ? LNE ? Utile pour la sensibilisation et la consommation, ou personne ne le verra car la brique d’IA est perdue dans une appli ? 111 | > Opportunité potentielle 112 | > 113 | > Questions du contrôle ? CNIL = 245 personnes 114 | > 115 | > Distinction publique / privée importante 116 | > Volonté pour l'Europe d'être en concurrence sur la donnée collective 117 | > On se met en ordre de bataille avec des armes plus fortes. 118 | Problème d'applicabilité Europe vs. Monde ? Quoi faire dans un monde > globalisé ? 119 | > --> application à tout provider de service 120 | > 121 | > Question de l'impact environnemental ? Information auprès du consommateur > ? 122 | > 123 | > 124 | > 4 ans --> très optimiste 125 | > 126 | > Etat membre vs. parlement européen 127 | > 128 | > Approche par risque et non par principe 129 | > 130 | > Interdiction d'usage et non technologie 131 | > 132 | > Brussel impact: impact de l'UE au delà d l'UE 133 | > 134 | > Hors UE : faire confiance à la CNIL Irlande ? (exemple RGPD) 135 | > 136 | > Application à tous les acteurs ? Acteurs systèmiques ? 137 | > 138 | > Beaucoup de progrès par rapport à la RGPD 139 | > 140 | > Reconnaissance faciale : plus besoin de beaucoup de techniques 141 | > 142 | > Privé vs public ? 143 | > 144 | > Besoin de cadre de référence 145 | > 146 | > Peu de connaissance de la part des dirigeants 147 | 148 | ### Mise à jour semestrielle du référentiel cadre 149 | 150 | - Lien vers la PR de release candidate pour la mise à jour semestrielle du 1er semestre 2021 : [lien](https://github.com/SubstraFoundation/referentiel-evaluation-dsrc/pull/137) 151 | 152 | ### Dernières évolutions de la plateforme d'évaluation Assessment DSRC 153 | 154 | - Score d'exposition au risque 155 | - Score par section 156 | - Export PDF 157 | 158 | ## Copie du chat 159 | 160 | > Fabien FAIVRE17:00 161 | > bonjour 162 | > 163 | > Cocyte17:00 164 | > bonjour 165 | > 166 | > Clément Mayer17:01 167 | > Bonjour à tous ! 168 | > 169 | > Nicolas Landel17:02 170 | > Bonjour à tous ! 171 | > 172 | > Clément Mayer17:11 173 | > https://assessment.labelia.org/ 174 | > 175 | > Vous17:17 176 | > Nous rappelons aux personnes récemment connectées que l'audio est enregistré - si vous le souhaitez vous pouvez nous demander de couper vos questions / interventions au montage du podcast. 177 | > 178 | > Arnaud Muller17:18 179 | > Eric, tu pourras partager le lien de la présentation please ? 180 | > 181 | > Vous17:19 182 | > Bien sûr 183 | > 184 | > Arnaud Muller17:19 185 | > Top merci 186 | > 187 | > Vous17:19 188 | > https://docs.google.com/presentation/d/1Ok_iR9qa7dnC2I-EkJFTuyGvjQoWIWIitM-N0xHA9Yc/edit?usp=sharing 189 | > 190 | > Quentin MARECHAL17:30 191 | > Bonjour à tous, j'ai constaté dans le texte l'absence de traitement des impacts écologiques d'IA, qui, a court ou long termes, affectent par rebond l'intégrité des personnes physiques. Avez-vous des précisions quant à la classification de ces IA ? 192 | > 193 | > Simon Chignard17:33 194 | > Il y a des travaux en cours au sein du LNE (labo national d'essais) sur les tests de conformité des IA 195 | > 196 | > vincent courboulay17:34 197 | > pffff j'avais prévu 18h35 sur l'inr ... 198 | > tant pis 199 | > 200 | > Vous17:35 201 | > Tu enchaînes juste après Cleyrop Vincent ça marche pour toi ? 202 | > 203 | > vincent courboulay17:37 204 | > impec ! 205 | > 206 | > vincent courboulay17:38 207 | > (en fait je voulais dire que j'avais prévu de parler 18minutes 35 de l'inr et pas 18h35 ! je vais aller m'acheter des doigts promis) 208 | > 209 | > Simon Chignard17:38 210 | > "Brussels effect" 211 | > https://www.amazon.fr/Brussels-Effect-European-Union-Rules/dp/0190088583 212 | > 213 | > vincent courboulay17:44 214 | > "les effectifs de la cnil" une bonne blague à la machine à café :o) 215 | > elles les donnent... 216 | > 217 | > Jerome CLEYROP17:54 218 | > oui c'est en opendata 219 | > https://www.data.gouv.fr/fr/datasets/effectifs-de-la-cnil/ 220 | > 221 | > vincent courboulay17:56 222 | > institutnr.org 223 | > academie-nr.org 224 | > label-nr.fr 225 | > charte.institutnr.org 226 | > wiki.institutnr.org 227 | > 228 | > Mickael Fine17:57 229 | > Pour info, la lettre envoyée à l'UE suite a la publication de la règlementation par 50+ organisations : https://edri.org/wp-content/uploads/2021/04/Letter-from-51-civil-society-organisations-seeking-your-support-for-a-ban-on-biometric-mass-surveillance-practices.pdf. qui contient un lien vers leur 1ere lettre également. 230 | > 231 | > Arnaud Muller17:57 232 | > Gros biais là :) 233 | > 234 | > Eugénie CLEMENT (Occitanie Data)17:58 235 | > Merci de le mentionner :) 236 | > 237 | > Vous17:58 238 | > Oui ! 239 | > 240 | > Eva Lekic17:58 241 | > 👍 242 | > 243 | > Quentin MARECHAL18:01 244 | > Merci, j'ai une deuxième question sur le regulatory sandbox, j'ai du mal à en comprendre la portée et l'implémentation opérationnelle. Savez vous à quoi cela correspond ? 245 | > 246 | > Jeremie Abiteboul18:09 247 | > Par rapport aux nouveaux usages et aux usages futurs, pas certain que ça soit suffisant, mais il me semble qu'il y a dans le règlement des mécanismes prévus pour mettre à jour la liste des usages interdits / à haut risque 248 | > 249 | > vincent courboulay18:14 250 | > le LNE, j'ai fait un stage chez eux quand j'avais 20 ans, ca me rajeunit pas 251 | > 252 | > vincent courboulay18:15 253 | > https://acpr.banque-france.fr/sites/default/files/medias/documents/revue_acpr_mars-2018_rapportonu-regulatory-innovation.pdf 254 | > 255 | > Vous18:17 256 | > Est-ce qu'un modèle d'IA entraîné sur des données personnelles est Une donnée personnelle ? 257 | > 258 | > vincent courboulay18:17 259 | > extrait : Ce sont des dispositifs de test et de soutien de nouveaux services ou modèles d’affaires, exercés en conditions réelles ; elles sont soumises à unencadrement et une surveillance particulière. 260 | > 261 | > Vous18:17 262 | > :-) 263 | > 264 | > vincent courboulay18:18 265 | > 42 266 | > 267 | > vincent courboulay18:25 268 | > je pense que c'est l'affaire de tous 269 | > c'est yuka qui a fait bougé les lignes de la conso autant* que je grenelle de l'alimentation 270 | > * (je dis autant parceque l'état mon employeur peut relire ce chat) 271 | > 272 | > vincent courboulay18:26 273 | > "bouger" pardon 274 | > 275 | > Quentin MARECHAL18:28 276 | > Intéressant, merci Simon 277 | > 278 | > Arthur Lezer18:30 279 | > il y a un « Marquage CE » prévu pour attester de la conformité d’une IA à la régulation. Quelqu’un aurait une idée sur la mise en œuvre de cette marque ? LNE ? Utile pour la sensibilisation et la consommation, ou personne ne le verra car la brique d’IA est perdue dans une appli ? 280 | > 281 | > Cloélia Tissier18:30 282 | > Merci beaucoup pour vos interventions, je dois malheureusement vous quitter. 283 | > 284 | > vincent courboulay18:31 285 | > je vais devoir vous quitter, mon autre call attend, Merci beaucoup ! et à la prochaine :o) 286 | > 287 | > Arnaud Muller18:32 288 | > Merci bcp le meetup Eric. Top. 289 | > 290 | > Jerome CLEYROP18:32 291 | > Je dois enchainer 292 | > Merci pour l'invitation et pour ce partage ! 293 | > Aurevoir ! 294 | > 295 | > laure leter18:32 296 | > Merci à tous 297 | > 298 | > Fabien FAIVRE18:32 299 | > Merci beaucoup ! 300 | > 301 | > Antoine Duval18:32 302 | > Merci beaucoup pour ce meetup ! 303 | > 304 | > Nicolas Landel18:32 305 | > Merci, super intéressant ! 306 | > 307 | > Cedric Meurée18:33 308 | > Merci beaucoup pour vos interventions ! 309 | > 310 | > Scaphy Data18:33 311 | > Merci à tous c'etait très intéréssant 312 | > 313 | > Alex18:34 314 | > merci pour la présentation 315 | -------------------------------------------------------------------------------- /workshops-notes/2020.04.02_workshop-3_notes.md: -------------------------------------------------------------------------------- 1 | # Atelier du 2 avril 2020 - Notes / Matière brute 2 | 3 | _Présents : @ClementMayer, @bowni, @natct10, @SaboniAmine, @celinejacques, Anne-Sophie Cissey, Timothée Faucon, Cédric Meurée, Jeremie Abiteboul, Raphaelle Bertrand, Augustin Durivault, Anabelle Blangero, Timothé Delion, Grégory Chatel_ 4 | 5 | _Merci à tou.te.s !_ 6 | 7 | Retrouvez [les slides de la présentation](https://docs.google.com/presentation/d/1C46TOlvJidpKBekw8xjbqVU3q3h7kl85jfCfdb7x0kQ/edit). 8 | 9 | ## Introduction et contexte 10 | 11 | ### Labelia Labs (ex- Substra Foundation) 12 | 13 | - [Présentation de l'association](https://frama.link/substrapres) 14 | - [Repos Labelia Labs (ex- Substra Foundation)](https://github.com/SubstraFoundation/) 15 | - [Projet Healthchain](https://www.labelia.org/fr/healthchain-project) 16 | - [Projet Melloddy](https://www.labelia.org/fr/melloddy-project) 17 | - _New_ ! **[Documentation du framework Substra](https://doc.substra.ai)** 18 | 19 | ### Démarche Data Science Responsable et de Confiance 20 | 21 | - [Le dépôt](https://github.com/SubstraFoundation/referentiel-ds-responsable-confiance) 22 | - **[Le référentiel](https://github.com/SubstraFoundation/referentiel-ds-responsable-confiance/blob/master/referentiel_evaluation.md)** 23 | 24 | ## Présentation aiVision et retour d'expérience 25 | 26 | Présentation par Cédric Meurée, [aiVision](https://www.aivision.health/). 27 | 28 | ### Présentation aiVision 29 | 30 | - Plateforme de télémédecine pour ophtalmologistes et orthoptistes 31 | - Solutions basées sur de l'intelligence artificielle pour l'aide au diagnostic (rétinopathie diabétique, DMLA, glaucome) 32 | 33 | ### Pourquoi rejoindre les ateliers ? 34 | 35 | - Domaines d'activité 36 | - Convictions et intérêts personnels 37 | - Croissance de l'équipe aiVision : bon moment pour s'interroger sur bonnes pratiques à mettre en place 38 | - Visibilité et crédibilité pour l'entreprise : atout dans ce secteur d'activité 39 | 40 | ### Revue des mesures 41 | 42 | Revue de deux mesures par thème (afin de ne pas parcourir tout le référentiel) et de l'évaluation de ces données. 43 | 44 | L'évaluation est sur une échelle de 0 à 5 - Les niveaux de maturité : 45 | 46 | - 0 : Mesure non implémentée / Pratique inexistante ou incomplète 47 | - 1 : Mesure en cours d'implémentation / Pratique informelle 48 | - 2 : Mesure implémentée nécessitant amélioration / Pratique répétable et suivie 49 | - 3 : Mesure implémentée / Processus défini 50 | - 4 : Mesure implémentée et contrôlée / Processus contrôlé 51 | - 5 : Mesure implémentée, contrôlée et optimisée / Processus en amélioration continue 52 | 53 | **Question :** Sur l'utilisation de dataset de données publiques : quelles informations sont disponibles sur comment ils ont été élaborés ? Manière de prendre les photos, technologies, époques... ? 54 | 55 | Des informations sont prises sur le dataset, beaucoup sont récents avec de l'information sur comment ils ont été constitués. 56 | Sur des dataset plus anciens, images segmentés à la main : moins d'informations disponibles. 57 | 58 | **Question :** L'âge des patients est-il disponible sur toutes les données ? 59 | 60 | Pour les jeux de données publiques, ils viennent souvent d'Amerique du nord et d'Indes : information disponible sur l'éthnie par exemple mais pas nécessairement l'âge. 61 | 62 | L'information est présente sur les dataset d'études cliniques nécessaires pour valider les dispositifs médicaux. 63 | --> l'information est disponible plus facilement sur les datasets de test que d'entraînement. 64 | 65 | **Fairness metrics (BIA-03) :** 66 | Certaines mesures ne sont pas pertinentes en fonction du domaine de l'organisation. Certaines mesures sont rédigées de manière trop ambiguë et il n'est pas facile de s'évaluer. 67 | 68 | **Question :** DON-3 - évaluation d'aiVision de 4/5 : êtes vous en capacité de déterminer ce qu'il vous faut faire pour passer d'un processus défini à un processus contrôlé ? 69 | 70 | Aujourd'hui, l'accompagnement est extérieur pour le projet. Nécessité d'internaliser la compétence / de s'approoprier les outils. Trop de dépendance à l'accompagnement. 71 | 72 | **Référence essentielle :** [Continous delivery for machine learning](https://martinfowler.com/articles/cd4ml.html) 73 | 74 | Cette référence a été utilisée pour traiter un certain nombre de mesures. 75 | 76 | **Processus vs. Formalisation :** Certaines mesures sont bien mises en place mais pas toujours documentées. 77 | 78 | **Réutilisation de modèle (exemple : transfer learning) :** nécessité d'avoir la généalogie des modèles qui sont transférés. Forte complexité. Beaucoup de recherche et outil sur le sujet en cours. 79 | 80 | **Question :** Avez-vous implémentés une boucle de feedback pour récupérer les retours des médecins/experts sur les prédictions? 81 | 82 | En amont : validation de l'outil : besoin d'avoir plusieurs médecins qui notent les mêmes images puis croisement des résultats. Application de l'outil --> rapprochement entre le retour des médecins et l'outil. 83 | Cela est obligatoire pour validation réglementaire du dispositif. 84 | 85 | Une fois que le modèle existe et mis en prod : pas de vérification mise en place à ce stade. 86 | 87 | **Référence intéressante :** Calcul de l'impact CO2 en fonction de la plateforme, de la région - [ML CO2 impact](https://mlco2.github.io/impact/) 88 | 89 | ### Intérêt de l'exercie d'auto-évaluation 90 | 91 | **Points forts d'aiVision :** 92 | 93 | - Démarrage dynamique CI/CD en ML : s'inscrire dans l'esprit des mesures de type généalogie des modèles 94 | - Mesures les plus avancées : suivi de projets individuels 95 | 96 | **Points d'amélioration :** 97 | 98 | - Généraliser la documentation, au niveau de l'entreprise 99 | - Identifier et définir plus clairement les chaînes de responsabilités 100 | 101 | => aiVision considère que le bilan est très positif pour eux. 102 | 103 | **Question :** Votre modèle principal étant du deep learning, qu'en est-il de l'interprétabilité / explicabilité des décisions ? 104 | 105 | Inclure les probabilités de décisions - fournir les probas par classe en plus du diagnostique 106 | Mettre en place l'explication : quelle zone de l'image a aidé à faire le diagnostique. 107 | Travail également sur des analyses d'images plus classiques 108 | 109 | ## Enseignements 110 | 111 | L'outil est déjà utile ! 112 | Les points d'amélioration sont détaillés dans la présentation : certaines mesures vont être revues afin de résoudre ces différents problèmes. 113 | 114 | ## Prochaines étapes et ouverture 115 | 116 | _D'autres organisations souhaitent s'auto-évaluer ? [Dites-le-nous !](mailto:hello@substra.org)_ 117 | 118 | Retour d'aiVision sur l'auto-évaluation : cela permet de prendre du recul, de voir où on en est. 119 | 120 | **Temps pour réaliser l'évaluation :** environ une demi-journée (vs x10h sur le référentiel de l'initiative de l'Union Européenne !) 121 | 122 | La plateforme de self-assessment est en cours de travail. 123 | 124 | **Références à exlorer :** 125 | 126 | - Initiative ["Model Cards"](https://modelcards.withgoogle.com/about) de Google. 127 | Souvenir de toutes les étapes de la création d'un modèle --> à creuser pour les ressources. 128 | 129 | - [Dataset Version Control](https://dvc.org) 130 | Versioning de vos performances / datasets 131 | Outil de versioning de dataset pour la data science. 132 | Tagguer certains modèles en fonction des datasets utilisés. 133 | 134 | **Question :** Les outils du framework open source Substra permettent-ils "par construction" d'obtenir de bonnes cotations selon le référentiel ? Quelles dimensions en particulier ? 135 | 136 | Framework Substra : une des ressources parmi les nombreuses utiles pour les approches responsable et de confiance : 137 | 138 | - Tracabilité complète de toutes les opérations dans les projets : généalogie de bout en bout, historique intéressant pour l'audit / certification 139 | - Protection de la confidentialité de la donnée : projet de DS sans que les données ne bougent, uniquement les modèles et les algos. Risque pas zéro mais diminution de la surface d'exposition et de la nature du risque. 140 | - Performance : cadrage de la performance, nécessité de rentrer sa metric de performance + la séparation training test. Plus compliquer de p-hacker / data dredging. 141 | 142 | **Merci à tou.te.s** 143 | 144 | _[Inscrivez-vous](www.labelia.org) à notre newsletter pour ne pas manquer la prochaine édition !_ 145 | 146 | --- 147 | _Logs du tchat pendant l'atelier :_ 148 | 149 | Nathanaël Cretin14:04 150 | Bonjour tout le monde 151 | 152 | Clément Mayer14:04 153 | Hello :) 154 | 155 | GREGORY CHATEL14:06 156 | bonjour à tous 157 | 158 | Clément Mayer14:06 159 | Salut Grégory, on démarre dans une minute 160 | 161 | Clément Mayer14:10 162 | C'est par içi ! 163 | 164 | Nathanaël Cretin14:12 165 | La prise de note est par ici : https://video.etherpad.com/p/9fv0-adsrc3?lang=fr 166 | 167 | Nathanaël Cretin14:15 168 | Les depots Github : https://github.com/SubstraFoundation 169 | 170 | Nathanaël Cretin14:19 171 | Le dépot du projet DSRC : https://github.com/SubstraFoundation/referentiel-ds-responsable-confiance 172 | 173 | Nathanaël Cretin14:20 174 | Documentation : https://substrafoundation.github.io 175 | 176 | Nathanaël Cretin14:27 177 | aiVision : https://www.aivision.health/ 178 | 179 | Vous14:28 180 | Est-ce qu'il y a des questions pour Cédric sur aiVision ? 181 | 182 | Annabelle Blangero14:29 183 | c'est très clair 184 | 185 | Vous14:29 186 | Ok ! 187 | 188 | Nathanaël Cretin14:31 189 | Le référentiel : https://github.com/SubstraFoundation/referentiel-ds-responsable-confiance/blob/master/referentiel_evaluation.md 190 | 191 | Vous14:34 192 | Les niveaux de maturité : 193 | 0 : Mesure non implémentée / Pratique inexistante ou incomplète 194 | 1 : Mesure en cours d'implémentation / Pratique informelle 195 | 2 : Mesure implémentée nécessitant amélioration / Pratique répétable et suivie 196 | 3 : Mesure implémentée / Processus défini 197 | 4 : Mesure implémentée et contrôlée / Processus contrôlé 198 | 5 : Mesure implémentée, contrôlée et optimisée / Processus en amélioration continue 199 | 200 | Amine Saboni14:35 201 | Pouvez vous déterminer quelles seraient les étapes pour arriver à 4/5? 202 | 4 sur 5 203 | * 204 | 205 | Clément Mayer14:37 206 | je note la question pour en rediscuter dans la partie enseignement 207 | 208 | Annabelle Blangero14:40 209 | Tous les ages de patients dans les données? 210 | 211 | GREGORY CHATEL14:40 212 | Il me semble qu'il est possible de déterminer plusieurs informations démographique comme le genre, l'age, le body mass index. Un modèle pourrait apprendre à discriminer selon ces critères. Avez-vous pris ce genre d'information en compte dans votre étude ? 213 | 214 | GREGORY CHATEL14:47 215 | merci pour la réponse 216 | 217 | Clément Mayer14:49 218 | https://martinfowler.com/articles/cd4ml.html 219 | Continuous Delivery for Machine Learning 220 | 221 | Annabelle Blangero14:50 222 | merci pour le lien 223 | 224 | Annabelle Blangero14:53 225 | Vous avez implémentés une boucle de feedback pour récupérer les retours des médecins/experts sur les prédictions? 226 | 227 | GREGORY CHATEL14:56 228 | À quel point cette démarche de suivi de la construction du modèle et des dataset d'entrainement est couverte par l'initiative "Model Cards" de Google ? (https://modelcards.withgoogle.com/about) 229 | 230 | Nathanaël Cretin14:56 231 | Très clair ! 232 | 233 | Annabelle Blangero14:57 234 | oui pour l'instant :) mais c'était aussi pour la mise en prod 235 | 236 | GREGORY CHATEL14:57 237 | (on peut aborder ma question plus tard durant les discussions, c'est un petit peu spécifique) 238 | 239 | Annabelle Blangero14:58 240 | ok! 241 | 242 | Amine Saboni14:58 243 | Même question que Grégory pour le versioning de vos performances / datasets : https://dvc.org 244 | 245 | Nathanaël Cretin14:59 246 | Looks good! 247 | 248 | Vous14:59 249 | Ok, merci pour ces références. Prenons un temps pour que vous en disiez chacun un mot tout à l'heure 250 | 251 | Clément Mayer15:03 252 | https://mlco2.github.io/impact/. mesure de l'impact du machine learning sur le CO2 253 | 254 | Amine Saboni15:09 255 | Bravo pour cet effort d'auto évaluation, ces retours sont très intéressants, merci à vous 256 | 257 | Céline Jacques15:09 258 | Bravo!! Super retour d'expérience ! 259 | 260 | Annabelle Blangero15:09 261 | Votre modèle principal étant du deep learning, qu'en est-il de l'interprétabilité / explicabilité des décisions ? 262 | 263 | Annabelle Blangero15:13 264 | ok! merci 265 | 266 | Tim F15:13 267 | Merci Cédric! 268 | 269 | Clément Mayer15:13 270 | Merci Cédric ! 271 | 272 | Nathanaël Cretin15:13 273 | Super présentation ! 274 | 275 | Nathanaël Cretin15:31 276 | Du coup, combien de temps dure une évaliation ? 277 | *évaluation 278 | 279 | Ok ! 280 | 281 | Timothé Delion15:33 282 | Les outils du framework open source Substra permettent-ils "par construction" d'obtenir de bonnes cotations selon le référentiel ? Quelles dimensions en particulier ? 283 | 284 | Amine Saboni15:37 285 | Pour préciser ma question sur votre évaluation du DON-3 : êtes vous en capacité de déterminer ce qu'il vous faut faire pour passer d'un processus défini à un processus contrôlé ? 286 | 287 | Nathanaël Cretin15:38 288 | pas spécialement de mon côté 289 | 290 | Amine Saboni15:40 291 | Ok, merci 292 | 293 | GREGORY CHATEL15:42 294 | Merci pour l'organisation ! 295 | 296 | Nathanaël Cretin15:42 297 | Vivement que l'on se retrouve irl 298 | 299 | Annabelle Blangero15:42 300 | c'était très intéressant merci beaucoup. Ma connection aujourd'hui n'est pas suffisamment bonne pour prendre la parole, mais on aura d'autres occasions :) 301 | 302 | Cédric Meurée15:42 303 | Merci de nous avoir proposé ce 1er test, et pour les questions 304 | 305 | Jeremie Abiteboul15:43 306 | merci pour l'organisation, et en espérant un atelier "physique" en juin 307 | 308 | Nathanaël Cretin15:43 309 | Pensez à mettre des étoiles sur Github \o/ 310 | 311 | Timothé Delion15:43 312 | Merci beaucoup ! 313 | 314 | Amine Saboni15:43 315 | Merci à vous, à bientôt ! 316 | 317 | Tim F15:43 318 | Merci à toute l'équipe 319 | -------------------------------------------------------------------------------- /workshops-notes/2021.04.26_workshop-s02e02_notes.md: -------------------------------------------------------------------------------- 1 | # Atelier DSRC S02E02 du 26 avril 2021 2 | 3 | ## Liens utiles 4 | 5 | - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/1LRfbmSe5_pEEMoEZ3V4vE1TSnix9sucHIurVYBK1vrs/edit?usp=sharing) 6 | - [Référentiel d'évaluation](https://github.com/SubstraFoundation/referentiel-evaluation-dsrc/blob/master/referentiel_evaluation.md) 7 | - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) 8 | 9 | ## Participants 10 | 11 | Participants (57) : 12 | - Daniel Bartolo 13 | - Clément Mayer 14 | - Nicolas Landel 15 | - Heytem Boumaza 16 | - Corentin Boidot 17 | -Cedric Meurée 18 | - Margaux Duhayun 19 | - Jeremie Abiteboul 20 | -Eric Boniface 21 | -Ana Ulianovici 22 | -Dominique Doquang 23 | -Adriana Nava 24 | -Adrian Nesonson 25 | -Anthéa Serafin 26 | -Data Sud 27 | -Enguérand Acquarone 28 | -Aurélien Bourgais 29 | -Céline Jacques 30 | -Checci alix 31 | -Julie Bec 32 | -Justin Boulant 33 | -Katleen Blanchet 34 | -Farid Ahamada 35 | -Fernando Abarca 36 | -emilie rannou 37 | -Guillaume A 38 | -T S 39 | -Youssef Horchani 40 | -Team Arkea Cycling 41 | -Paul-Marie 42 | -Grégoire Mialet 43 | -Clotide Tp 44 | -Philippe Neveux 45 | -Milton Minervino 46 | -Victoire 47 | -Wacim B 48 | -Sebastien Quinault 49 | -Elise P 50 | -Johanna P 51 | - Amine Saboni 52 | - Cloelia Tissier 53 | - Eric Chau 54 | - Faboien Faivre 55 | - Fernando Abarca 56 | - Grégoire Martinon (Quantmetry) 57 | - Justine Boulant 58 | - Katleen 59 | - Marie Lange 60 | - Seyda Irani 61 | - Olivier Auradou 62 | - Shintaro Mascia 63 | - Théo Alves Da Costa 64 | - Paul Rengade 65 | -Mickael Fine 66 | - Achat voiture 67 | - Anthéa Séfarin 68 | - Yann Mallegol 69 | - Paul-marie 70 | - Olivier -occitanie data 71 | - Emilie Sirvent-Hien 72 | -Valentin Defour 73 | - ndjekoua sandjo jean 74 | - nicolas Justinien 75 | 76 | ## Sommaire 77 | 78 | 1. Nouvelle saison Data For Good, élaboration du MOOC “Data Science Responsable et de Confiance” 79 | 1. Présentation par Grégoire Martinon de Quantmetry sur les biais algorithmiques 80 | 1. Présentation par Ana Ulianovici et Theo Alves de Ekimetrics de leurs travaux sur la fairness 81 | 1. Présentation par Thomas Souverain de Dreamquark du Whitepaper "State of ethical AI in 2021" 82 | 1. Présentation d'Occitanie Data et de sa charte éthique 83 | 1. Gouvernance du référentiel d'évaluation (suite 22.02.2021) 84 | 1. Dernières évolutions de la plateforme d'évaluation 85 | 86 | ## Compte-rendu 87 | 88 | ### Nouvelle saison Data For Good, élaboration du MOOC “Data Science Responsable et de Confiance” 89 | 90 | Lors de cette nouvelle saison de Data for Good, Labelia Labs (ex- Substra Foundation) a demandé l'aide de la communauté de bénévoles Data Scientists / Designers / Développeurs de Data For Good pour construire le premier MOOC de la Data Science Responsable et de Confiance ! 91 | Pendant 3 mois jusqu'à fin juin, les bénévoles se réunissent tous les mercredis pour construire les briques de cette formation accompagnés de Sarah et Appoline qui apportent leur expertise de la pédagogie. 92 | Une première version de ce MOOC sera disponible fin juin ! 93 | 94 | Appel à contributions : vous souhaitez contribuez au premier MOOC de la Data Science Responsable et de Confiance ? Contactez-nous sur Slack pour rejoindre l'aventure. Que vous ayez un profil technique ou non, vous pouvez contribuer à ce projet ! 95 | 96 | ### Présentation par Grégoire Martinon de Quantmetry sur les biais algorithmiques 97 | 98 | Quels sont les biais algorithmiques que l’on rencontre fréquemment ? Comment les mesurer et les corriger ? 99 | Grégoire, lors de cette présentation, nous a montré toute la complexité des biais algorithmiques, de leur correction et de la notion de performance, à travers un notebook très concret présentant différentes stratégies mises en place et les défauts qu'elles comportent, ainsi que des takeaways très utiles sur le sujet. 100 | 101 | ### Présentation par Ana Ulianovici et Theo Alves de Ekimetrics de leurs travaux sur la fairness 102 | 103 | Très complémentaire de la présentation de Grégoire, Théo et Ana nous ont présenté les différentes mesures de fairness sur lesquelles concrètement ils travaillent au quotidien. Ils préparent notamment un benchmark complet qui sera publié et partagé fin mai. 104 | 105 | ### Présentation par Thomas Souverain de Dreamquark du Whitepaper "State of ethical AI in 2021" 106 | 107 | Thomas Souverain, doctorant à l’ENS Ulm en partenariat avec DreamQuark a présenté le livre blanc sur l’IA éthique dans le monde et les principales lignes de sa thèse de philosophie sur l’explication de l’IA. 108 | Vous pouvez télécharger le livre blanc sur le site de DreamQuark. 109 | 110 | ### Présentation d'Occitanie Data et de sa charte éthique 111 | 112 | Olivier, Eugénie et Anthéa ont présenté l'association Occitanie Data et sa raison d'être, du pourquoi de sa transformation en Ekitia (groupement d'intérêt public), et la charte éthique composée de 8 sections très complètes pour un développement responsable de l’économie de la donnée. 113 | 114 | ### Gouvernance du référentiel d'évaluation (suite 22.02.2021) 115 | 116 | La gouvernance du référentiel d'évaluation se renforce avec la mise en place d'un processus de mise à jour semestrielle et d'un comité de gouvernance en charge d’assurer la transparence et la sincérité du processus participatif. 117 | Une branche candidate pour mise à jour sera communiquée pro-activement à la communauté chaque semestre pour revue et question avant sa validation. Le comité de gouvernance sera chargé de veiller à ce que tous les points remontés par la communauté soient pris en compte, et que la version retenue pour mise à jour fasse consensus. 118 | 119 | Appel à contributions : La version candidate pour mise à jour du premier semestre 2021 est en cours d’élaboration et de nombreux points ont déjà été soumis. N'hésitez pas à la revoir dès à présent et/ou à y contribuer. 120 | 121 | ### Dernières évolutions de la plateforme d'évaluation Assessment DSRC 122 | 123 | Après plusieurs mois de développements, d'amélioration, de prises en compte des retours reçus (un grand merci à tous !), la plateforme d'évaluation de la Data Science Responsable et de Confiance est lancée. Retrouvez toutes les nouveautés sur la page de release notes. 124 | 125 | Evaluez votre organisation et son niveau de maturité dès à présent et faites nous vos retours sur le score de maturité que vous obtenez ! 126 | 127 | ## Ressources partagées en séance 128 | 129 | - [Understanding Simpson’s Paradox](https://ftp.cs.ucla.edu/pub/stat_ser/r414.pdf) (Fabien Favre) 130 | - [Some resources on explainability](https://docs.google.com/document/d/1nfmtPnBRsxGhjbhZDJ8jweKwwX9g_B9CIjfK8rCx0Kk/edit) (Amine) 131 | 132 | ## Copie du chat 133 | 134 | Théo Lvs17:04 135 | Bonjour tout le monde ! 136 | Vous17:05 137 | Hello ! :-) 138 | Guillaume A17:05 139 | Bonjour à tous ! 140 | Mickael Fine17:05 141 | Hello à tous, bienvenue à l'atelier DSRC ! 142 | Clément Mayer17:07 143 | https://www.labelia.org/fr/blog/evaluation-data-science-responsable 144 | https://github.com/SubstraFoundation/referentiel-evaluation-dsrc/blob/master/referentiel_evaluation.md 145 | Clément Mayer17:11 146 | https://assessment.labelia.org/fr/ 147 | Mickael Fine17:11 148 | Pour les intéressés : https://dataforgood-fr.medium.com/. 149 | Clément Mayer17:14 150 | https://c-ways.com/datascience-responsable 151 | Cloélia Tissier17:15 152 | Bonjour à toutes et tous ! est-ce que l'atelier démarre bientôt ? 153 | Vous17:16 154 | Bonjour Cloélia, on est en plein dedans ça y est :-) 155 | Cloélia Tissier17:18 156 | je ne sais pas pourquoi cela ne marchait pas de mon ordinateur, y 'aura-t-il un replay pour celles qui ont raté le début …? 157 | Vous17:20 158 | Aïe malheureusement non nous n'enregistrons pas. Mais les présentations principales démarrent maintenant 159 | Théo Lvs17:35 160 | https://fr.wikipedia.org/wiki/Paradoxe_de_Simpson 161 | Fabien FAIVRE17:37 162 | Avec en rebond l'intérêt des approches causales : https://ftp.cs.ucla.edu/pub/stat_ser/r414.pdf 163 | Clément Mayer17:41 164 | N'hésitez pas à poster vos questions à Grégoire dans le chat :) 165 | Théo Lvs17:47 166 | Crystal clear 167 | Marie Lange17:47 168 | C'était trop bien, merci !! 169 | Clotilde Tp17:47 170 | "Torrent d'acclamations" 171 | Sheyda Irani17:47 172 | Merciiii c'était top ! 173 | ndjekoua sandjo jean thibaut17:47 174 | est ce que le TP sera partager ? 175 | Grégoire Mialet17:47 176 | Top présentation Grégoire ! 177 | Céline Jacques17:47 178 | Très clair! Très intéressant, merci! 179 | Adrian Nesonson17:47 180 | Merci ! 181 | Paul Rengade17:47 182 | Merci Grégoire, c'était top! 183 | Nicolas Landel17:47 184 | Très intéressant ! 185 | yann mallegol17:47 186 | Merci Grégoire ! 187 | Fabien FAIVRE17:48 188 | Vraiment intéressant, merci 189 | Paul-Marie17:48 190 | Merci! Est-ce que le tutoriel est accessible? 191 | Marie Lange17:49 192 | J'ai jamais vu ça dans ma formation de Data Science à Dauphine 193 | Amine Saboni17:49 194 | Super intéressant, merci! 195 | Marie Lange17:49 196 | en revanche au Wagon et à Simplon le sujet est évoqué 197 | Grégoire Mialet17:50 198 | ok merci Marie 199 | Clément Mayer17:54 200 | Ana essaye peut être de te déconnecter / reconnecter. 201 | Amine Saboni18:02 202 | Très intéressant, je vous recommande la lecture des travaux de Upol Ehsan sur une nouvelle génération des outils de XAI qui prendrait en compte des critères socio-techniques en plus des explications techniques qui permettent de mettre en évidence les biais : https://docs.google.com/document/d/1nfmtPnBRsxGhjbhZDJ8jweKwwX9g_B9CIjfK8rCx0Kk/edit 203 | Clément Mayer18:03 204 | https://www.labelia.org/fr/blog/fairness-dans-le-machine-learning 205 | Théo Lvs18:04 206 | https://www.labelia.org/en/blog/fairness-in-machine-learning 207 | Ah plus rapide ahah 208 | Vous18:11 209 | On a une main levée - Julie voulez-vous poser votre question d'abord à l'écrit que l'on puisse voir le meilleur moment pour interrompre le présentateur et lui poser ? 210 | Vous18:13 211 | Thomas a mentionné la publication toute récente par la commission européenne d'une proposition de réglementation de l'IA en UE. Elle est TRES intéressante. On cherche d'ailleurs des volontaires pour l'étudier en détail et en tirer un maximum d'éléments pour enrichir le référentiel cadre et l'évaluation : - ) 212 | Théo Lvs18:15 213 | https://digital-strategy.ec.europa.eu/en/library/proposal-regulation-laying-down-harmonised-rules-artificial-intelligence-artificial-intelligence 214 | Jeremie Abiteboul18:17 215 | @Eric partant pour participer à l'analyse de la proposition de règlementation de l'UE 216 | Vous18:18 217 | 👍 Super Jeremie. On va structurer ça via le repo GitHub du référentiel cadre. 218 | T S18:25 219 | Vous pouvez télécharger le livre blanc sur le site de DreamQuark : https://www.dreamquark.com/ 220 | Vous18:26 221 | Merci Thomas - on l'ajoutera dans le récap 222 | T S18:27 223 | N'hésitez-pas aussi si vous voulez échanger sur l'IA éthique ou l'explicabilité, ce sera avec plaisir. Merci ! 224 | olivier - Occitanie Data18:31 225 | pour plus d'infos : www.occitaniedata.fr 226 | Emilie Sirvent-Hien18:31 227 | Merci beaucoup pour la présentation, pouvez-vous redonner le nom de l'association européenne sur l'éthique? 228 | Vous18:32 229 | Donc à tous les participants : on dépasse un peu le timing, c'était trop ambitieux d'avoir 4 présentations en 1 seul soirée ! J'espère que certains d'entre vous pourront rester un peu plus, sinon on fera le lien pour qu'aucune info ne soit perdue 230 | Paul-Marie18:32 231 | Top, merci! 232 | olivier - Occitanie Data18:32 233 | l'association européenne dont je parlais est la BDVA, big data value association, mais qui n'est pas portée sur l'éthique pour le coup, plutôt sur la question de la valeur de la donnée 234 | Emilie Sirvent-Hien18:33 235 | ok merci 236 | olivier - Occitanie Data18:33 237 | on participe également au GPAI (global partnership on AI), où la question de la confiance et de l'éthique dans la gouvernance de la donnée est , là, abordée 238 | Vous18:39 239 | On va devoir conclure :) 240 | Emilie Sirvent-Hien18:41 241 | Est-ce qu'il y a l'idée de faire signer la charte par des acteurs? 242 | Laurence Herve18:42 243 | cette videoconférence sera t'elle disponible par la suite? 244 | Clément Mayer18:43 245 | Malheureusement non Laurence mais nous allons essayer de faire un résumé le plus complet possible. 246 | Vous18:43 247 | Malheureusement non nous n'avons pas enregistré. L'idée est noté pour les prochains épisodes ! 248 | S'il y a des points en particulier que vous voudriez revoir ou sur lesquels vous avez des questions n'hésitez pas à les indiquer ici ou via les réseaux (Meetup, GitHub, Slack) 249 | Laurence Herve18:44 250 | vous avez un lien pour votre slack? 251 | Clément Mayer18:45 252 | https://substra.us18.list-manage.com/track/click?e=2effed55c9&id=fa49875322&u=385fa3f9736ea94a1fcca969f 253 | Laurence le lien pour Slack : https://substra.us18.list-manage.com/track/click?e=2effed55c9&id=fa49875322&u=385fa3f9736ea94a1fcca969f 254 | olivier - Occitanie Data18:47 255 | nous devons vous quitter, encore un grand merci pour nous avoir permis de vous présenter nos activités. Au plaisir de maintenir ce lien! 256 | Clément Mayer18:48 257 | Merci Olivier pour votre intervention 258 | Grégoire Mialet18:48 259 | faut faire de la discrimination positive sur le teta :) 260 | Laurence Herve18:51 261 | merci ç tous, c'était très intéressant et prometteur!! 262 | Ana Ulianovici18:51 263 | Merci beaucoup ! 264 | Fabien FAIVRE18:51 265 | Merci beaucoup, toujours aussi intéressant! 266 | Anthéa Serafin (Occitanie Data)18:51 267 | Merci beaucoup pour cet atelier, des présentations très intéressantes ! 268 | Emilie Sirvent-Hien18:51 269 | Merci beaucoup! 270 | Dominique Doquang18:51 271 | Merci à tous ! 272 | Céline Jacques18:51 273 | Merci ! Bonne soirée :) 274 | Heytem Boumaza18:51 275 | Merci 276 | Nicolas Landel18:51 277 | Merci et à bientôt ! 278 | Cloélia Tissier18:52 279 | Quel niveau faut il avoir en "data science" pour pouvoir participer ? 280 | -------------------------------------------------------------------------------- /LICENSE: -------------------------------------------------------------------------------- 1 | Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International Public License 2 | 3 | By exercising the Licensed Rights (defined below), You accept and agree to be bound by the terms and conditions of this Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International Public License ("Public License"). To the extent this Public License may be interpreted as a contract, You are granted the Licensed Rights in consideration of Your acceptance of these terms and conditions, and the Licensor grants You such rights in consideration of benefits the Licensor receives from making the Licensed Material available under these terms and conditions. 4 | 5 | Section 1 – Definitions. 6 | 7 | a. Adapted Material means material subject to Copyright and Similar Rights that is derived from or based upon the Licensed Material and in which the Licensed Material is translated, altered, arranged, transformed, or otherwise modified in a manner requiring permission under the Copyright and Similar Rights held by the Licensor. For purposes of this Public License, where the Licensed Material is a musical work, performance, or sound recording, Adapted Material is always produced where the Licensed Material is synched in timed relation with a moving image. 8 | b. Copyright and Similar Rights means copyright and/or similar rights closely related to copyright including, without limitation, performance, broadcast, sound recording, and Sui Generis Database Rights, without regard to how the rights are labeled or categorized. For purposes of this Public License, the rights specified in Section [2(b)(1)-(2)](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s2b) are not Copyright and Similar Rights. 9 | c. Effective Technological Measures means those measures that, in the absence of proper authority, may not be circumvented under laws fulfilling obligations under Article 11 of the WIPO Copyright Treaty adopted on December 20, 1996, and/or similar international agreements. 10 | d. Exceptions and Limitations means fair use, fair dealing, and/or any other exception or limitation to Copyright and Similar Rights that applies to Your use of the Licensed Material. 11 | e. Licensed Material means the artistic or literary work, database, or other material to which the Licensor applied this Public License. 12 | f. Licensed Rights means the rights granted to You subject to the terms and conditions of this Public License, which are limited to all Copyright and Similar Rights that apply to Your use of the Licensed Material and that the Licensor has authority to license. 13 | g. Licensor means the individual(s) or entity(ies) granting rights under this Public License. 14 | h. NonCommercial means not primarily intended for or directed towards commercial advantage or monetary compensation. For purposes of this Public License, the exchange of the Licensed Material for other material subject to Copyright and Similar Rights by digital file-sharing or similar means is NonCommercial provided there is no payment of monetary compensation in connection with the exchange. 15 | i. Share means to provide material to the public by any means or process that requires permission under the Licensed Rights, such as reproduction, public display, public performance, distribution, dissemination, communication, or importation, and to make material available to the public including in ways that members of the public may access the material from a place and at a time individually chosen by them. 16 | j. Sui Generis Database Rights means rights other than copyright resulting from Directive 96/9/EC of the European Parliament and of the Council of 11 March 1996 on the legal protection of databases, as amended and/or succeeded, as well as other essentially equivalent rights anywhere in the world. 17 | k. You means the individual or entity exercising the Licensed Rights under this Public License. Your has a corresponding meaning. 18 | 19 | Section 2 – Scope. 20 | 21 | a. License grant. 22 | 23 | 1. Subject to the terms and conditions of this Public License, the Licensor hereby grants You a worldwide, royalty-free, non-sublicensable, non-exclusive, irrevocable license to exercise the Licensed Rights in the Licensed Material to: 24 | A. reproduce and Share the Licensed Material, in whole or in part, for NonCommercial purposes only; and 25 | B. produce and reproduce, but not Share, Adapted Material for NonCommercial purposes only. 26 | 27 | 2. Exceptions and Limitations. For the avoidance of doubt, where Exceptions and Limitations apply to Your use, this Public License does not apply, and You do not need to comply with its terms and conditions. 28 | 29 | 3. Term. The term of this Public License is specified in Section [6(a)](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s6a). 30 | 31 | 4. Media and formats; technical modifications allowed. The Licensor authorizes You to exercise the Licensed Rights in all media and formats whether now known or hereafter created, and to make technical modifications necessary to do so. The Licensor waives and/or agrees not to assert any right or authority to forbid You from making technical modifications necessary to exercise the Licensed Rights, including technical modifications necessary to circumvent Effective Technological Measures. For purposes of this Public License, simply making modifications authorized by this Section [2(a)(4)](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s2a4) never produces Adapted Material. 32 | 33 | 5. Downstream recipients. 34 | A. Offer from the Licensor – Licensed Material. Every recipient of the Licensed Material automatically receives an offer from the Licensor to exercise the Licensed Rights under the terms and conditions of this Public License. 35 | B. No downstream restrictions. You may not offer or impose any additional or different terms or conditions on, or apply any Effective Technological Measures to, the Licensed Material if doing so restricts exercise of the Licensed Rights by any recipient of the Licensed Material. 36 | 37 | 6. No endorsement. Nothing in this Public License constitutes or may be construed as permission to assert or imply that You are, or that Your use of the Licensed Material is, connected with, or sponsored, endorsed, or granted official status by, the Licensor or others designated to receive attribution as provided in Section [3(a)(1)(A)(i)](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s3a1Ai). 38 | 39 | b. Other rights. 40 | 41 | 1. Moral rights, such as the right of integrity, are not licensed under this Public License, nor are publicity, privacy, and/or other similar personality rights; however, to the extent possible, the Licensor waives and/or agrees not to assert any such rights held by the Licensor to the limited extent necessary to allow You to exercise the Licensed Rights, but not otherwise. 42 | 43 | 2. Patent and trademark rights are not licensed under this Public License. 44 | 45 | 3. To the extent possible, the Licensor waives any right to collect royalties from You for the exercise of the Licensed Rights, whether directly or through a collecting society under any voluntary or waivable statutory or compulsory licensing scheme. In all other cases the Licensor expressly reserves any right to collect such royalties, including when the Licensed Material is used other than for NonCommercial purposes. 46 | 47 | Section 3 – License Conditions. 48 | 49 | Your exercise of the Licensed Rights is expressly made subject to the following conditions. 50 | 51 | a. Attribution. 52 | 53 | 1. If You Share the Licensed Material, You must: 54 | 55 | A. retain the following if it is supplied by the Licensor with the Licensed Material: 56 | i. identification of the creator(s) of the Licensed Material and any others designated to receive attribution, in any reasonable manner requested by the Licensor (including by pseudonym if designated); 57 | ii. a copyright notice; 58 | iii. a notice that refers to this Public License; 59 | iv. a notice that refers to the disclaimer of warranties; 60 | v. a URI or hyperlink to the Licensed Material to the extent reasonably practicable; 61 | 62 | B. indicate if You modified the Licensed Material and retain an indication of any previous modifications; and 63 | 64 | C. indicate the Licensed Material is licensed under this Public License, and include the text of, or the URI or hyperlink to, this Public License. 65 | 66 | For the avoidance of doubt, You do not have permission under this Public License to Share Adapted Material. 67 | 68 | 2. You may satisfy the conditions in Section [3(a)(1)](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s3a1) in any reasonable manner based on the medium, means, and context in which You Share the Licensed Material. For example, it may be reasonable to satisfy the conditions by providing a URI or hyperlink to a resource that includes the required information. 69 | 70 | 3. If requested by the Licensor, You must remove any of the information required by Section [3(a)(1)(A)](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s3a1A) to the extent reasonably practicable. 71 | 72 | Section 4 – Sui Generis Database Rights. 73 | 74 | Where the Licensed Rights include Sui Generis Database Rights that apply to Your use of the Licensed Material: 75 | 76 | a. for the avoidance of doubt, Section [2(a)(1)](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s2a1) grants You the right to extract, reuse, reproduce, and Share all or a substantial portion of the contents of the database for NonCommercial purposes only and provided You do not Share Adapted Material; 77 | b. if You include all or a substantial portion of the database contents in a database in which You have Sui Generis Database Rights, then the database in which You have Sui Generis Database Rights (but not its individual contents) is Adapted Material; and 78 | c. You must comply with the conditions in Section [3(a)](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s3a) if You Share all or a substantial portion of the contents of the database. 79 | For the avoidance of doubt, this Section [4](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s4) supplements and does not replace Your obligations under this Public License where the Licensed Rights include other Copyright and Similar Rights. 80 | 81 | Section 5 – Disclaimer of Warranties and Limitation of Liability. 82 | 83 | a. Unless otherwise separately undertaken by the Licensor, to the extent possible, the Licensor offers the Licensed Material as-is and as-available, and makes no representations or warranties of any kind concerning the Licensed Material, whether express, implied, statutory, or other. This includes, without limitation, warranties of title, merchantability, fitness for a particular purpose, non-infringement, absence of latent or other defects, accuracy, or the presence or absence of errors, whether or not known or discoverable. Where disclaimers of warranties are not allowed in full or in part, this disclaimer may not apply to You. 84 | b. To the extent possible, in no event will the Licensor be liable to You on any legal theory (including, without limitation, negligence) or otherwise for any direct, special, indirect, incidental, consequential, punitive, exemplary, or other losses, costs, expenses, or damages arising out of this Public License or use of the Licensed Material, even if the Licensor has been advised of the possibility of such losses, costs, expenses, or damages. Where a limitation of liability is not allowed in full or in part, this limitation may not apply to You. 85 | c. The disclaimer of warranties and limitation of liability provided above shall be interpreted in a manner that, to the extent possible, most closely approximates an absolute disclaimer and waiver of all liability. 86 | 87 | Section 6 – Term and Termination. 88 | 89 | a. This Public License applies for the term of the Copyright and Similar Rights licensed here. However, if You fail to comply with this Public License, then Your rights under this Public License terminate automatically. 90 | 91 | b. Where Your right to use the Licensed Material has terminated under Section [6(a)](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s6a), it reinstates: 92 | 1. automatically as of the date the violation is cured, provided it is cured within 30 days of Your discovery of the violation; or 93 | 2. upon express reinstatement by the Licensor. 94 | For the avoidance of doubt, this Section [6(b)](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s6b) does not affect any right the Licensor may have to seek remedies for Your violations of this Public License. 95 | 96 | c. For the avoidance of doubt, the Licensor may also offer the Licensed Material under separate terms or conditions or stop distributing the Licensed Material at any time; however, doing so will not terminate this Public License. 97 | 98 | d. Sections [1](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s1), [5](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s5), [6](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s6), [7](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s7), and [8](https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode#s8) survive termination of this Public License. 99 | 100 | Section 7 – Other Terms and Conditions. 101 | 102 | a. The Licensor shall not be bound by any additional or different terms or conditions communicated by You unless expressly agreed. 103 | b. Any arrangements, understandings, or agreements regarding the Licensed Material not stated herein are separate from and independent of the terms and conditions of this Public License. 104 | 105 | Section 8 – Interpretation. 106 | 107 | a. For the avoidance of doubt, this Public License does not, and shall not be interpreted to, reduce, limit, restrict, or impose conditions on any use of the Licensed Material that could lawfully be made without permission under this Public License. 108 | b. To the extent possible, if any provision of this Public License is deemed unenforceable, it shall be automatically reformed to the minimum extent necessary to make it enforceable. If the provision cannot be reformed, it shall be severed from this Public License without affecting the enforceability of the remaining terms and conditions. 109 | c. No term or condition of this Public License will be waived and no failure to comply consented to unless expressly agreed to by the Licensor. 110 | d. Nothing in this Public License constitutes or may be interpreted as a limitation upon, or waiver of, any privileges and immunities that apply to the Licensor or You, including from the legal processes of any jurisdiction or authority. 111 | 112 | Creative Commons is not a party to its public licenses. Notwithstanding, Creative Commons may elect to apply one of its public licenses to material it publishes and in those instances will be considered the “Licensor.” The text of the Creative Commons public licenses is dedicated to the public domain under the [CC0 Public Domain Dedication](https://creativecommons.org/publicdomain/zero/1.0/legalcode). Except for the limited purpose of indicating that material is shared under a Creative Commons public license or as otherwise permitted by the Creative Commons policies published at creativecommons.org/policies, Creative Commons does not authorize the use of the trademark “Creative Commons” or any other trademark or logo of Creative Commons without its prior written consent including, without limitation, in connection with any unauthorized modifications to any of its public licenses or any other arrangements, understandings, or agreements concerning use of licensed material. For the avoidance of doubt, this paragraph does not form part of the public licenses. 113 | 114 | Creative Commons may be contacted at creativecommons.org. -------------------------------------------------------------------------------- /references.md: -------------------------------------------------------------------------------- 1 | # Références 2 | 3 | ## Liste de lecture 4 | 5 | - Fairness : 6 | 7 | - [Machine Learning in the wild](https://www.oreilly.com/radar/machine-learning-in-the-wild/) : en particulier sur le sujet _fairness_ 8 | 9 | - [Building Fair and Transparent Machine Learning via Operationalized Risk Management](https://aiforsocialgood.github.io/icml2019/accepted/track2/pdfs/32_aisg_icml2019.pdf) de Quantum Black : approche analyse de risque très détaillée, à suivre courant 2020 si publication de leur plateforme de risques 10 | 11 | - [Biased Algorithms are Easier to Fix than Biased People](https://www.nytimes.com/2019/12/06/business/algorithm-bias-fix.html) 12 | 13 | - Word Embedding and gender bias: 14 | - [Word embeddings quantify 100 years of gender and ethnic stereotypes](https://www.pnas.org/content/pnas/115/16/E3635.full.pdf) 15 | - [Christine Basta, Marta R. Costa-juss`a, Noe Casas. Evaluating the Underlying Gender Bias in Contextualized Word Embeddings, 2018](https://arxiv.org/pdf/1904.08783.pdf) 16 | - [Invisible Women: Exposing Data Bias in a World Designed for Men, Caroline Criado Perez](https://www.theguardian.com/books/2019/feb/28/invisible-women-by-caroline-criado-perez-review) 17 | 18 | - AI safety: 19 | 20 | - [A Roadmap for Robust End-to-End Alignment](https://arxiv.org/pdf/1809.01036.pdf), Lê Nguyên Hoang, EPFL : "_AI alignment problem. This is the problem of aligning an AI’s objective function with human preferences._" 21 | 22 | - [Concrete problems in AI safety](https://arxiv.org/abs/1606.06565). Abstract: _"[...] the problem of accidents in machine learning systems, defined as unintended and harmful behavior that may emerge from poor design of real-world AI systems. We present a list of five practical research problems related to accident risk, categorized according to whether the problem originates from having the wrong objective function ("avoiding side effects" and "avoiding reward hacking"), an objective function that is too expensive to evaluate frequently ("scalable supervision"), or undesirable behavior during the learning process ("safe exploration" and "distributional shift"). [...]"_ 23 | 24 | - Trust in AI systems, explicabilité et interprétabilité: 25 | 26 | - *[La confiance des utilisateurs dans les systèmes impliquant de l’Intelligence Artificielle](https://blog.octo.com/la-confiance-des-utilisateurs-dans-les-systemes-impliquant-de-lintelligence-artificielle/)*, blog Octo Technologies, octobre 2019 27 | 28 | - *[Interpretable Machine Learning, A Guide for Making Black Box Models Explainable](https://christophm.github.io/interpretable-ml-book/)*, Christoph Molnar 29 | 30 | - Protection of data confidentiality: 31 | 32 | - *[The secret-sharer: evaluating and testing unintended memorization in neural networks](https://blog.acolyer.org/2019/09/23/the-secret-sharer/)*, A. Colyer, 2019 33 | 34 | - *[Membership Inference Attacks against Machine Learning Models](https://arxiv.org/abs/1610.05820)*, R. Shokri, M. Stronati, C. Song, V. Shmatikov, 2017 and further analysis *[Demystifying the membership inference attack](https://medium.com/disaitek/demystifying-the-membership-inference-attack-e33e510a0c39)*, Disaitek, 2019. A tool called [ML Privacy Meter](https://github.com/privacytrustlab/ml_privacy_meter) to quantify the privacy risks of machine learning models with respect to inference attacks is also available 35 | 36 | - Outils pour la *differential privacy* : Google [differential privacy library](https://github.com/google/differential-privacy) and its Python wrapper [PyDP](https://github.com/OpenMined/PyDP) by OpenMined 37 | 38 | - La *distillation* d'un modèle, en plus de la compression qu'elle apporte, peut être utilisée comme une mesure de protection du modèle et des données d'entraînement utilisées, voir par exemple *[Knowledge Distillation : Simplified](https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764)*, Towards Data Science, 2019, et *[Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)*, G. Hinton, O. Vinyals, J. Dean, 2015 39 | 40 | - *[The FTC’s new enforcement weapon spells death for algorithms](https://www.protocol.com/policy/ftc-algorithm-destroy-data-privacy)*, Protocol Policy, 2022 41 | 42 | - Cycle de vie complet : 43 | 44 | - *[En route vers le cycle de vie des modèles !](https://www.quantmetry.com/blog/premier-etape-cycle-vie-modeles/)*, G. Martinon, Janvier 2020 45 | 46 | - "Performance is not outcome", erreurs, crises : 47 | 48 | - *[Google’s medical AI was super accurate in a lab. Real life was a different story](https://www.technologyreview.com/2020/04/27/1000658/google-medical-ai-accurate-lab-real-life-clinic-covid-diabetes-retina-disease/)*, MIT Technology Review 49 | 50 | - *[Hundreds of AI tools have been built to catch covid. None of them helped](https://www.technologyreview.com/2021/07/30/1030329/machine-learning-ai-failed-covid-hospital-diagnosis-pandemic)*, MIT Technology Review, July 2021 51 | 52 | - Various scandals and or controversies: 53 | 54 | - [Awful AI](https://github.com/daviddao/awful-ai): a curated list to track current scary usages of AI - hoping to raise awareness to its misuses in society, David Dao 55 | 56 | - [South Wales police lose landmark facial recognition case](https://www.theguardian.com/technology/2020/aug/11/south-wales-police-lose-landmark-facial-recognition-case) 57 | 58 | - [An AI hiring firm says it can predict job hopping based on your interviews](https://www.technologyreview.com/2020/07/24/1005602/ai-hiring-promises-bias-free-job-hopping-prediction/): *The idea of “bias-free” hiring, already highly misleading, is being used by companies to shirk greater scrutiny for their tools’ labor issues beyond discrimination*, MIT Technology Review, July 2020 59 | 60 | - [Faulty Facial Recognition Led to His Arrest—Now He’s Suing](https://www.vice.com/en_us/article/bv8k8a/faulty-facial-recognition-led-to-his-arrestnow-hes-suing), Septembre 2020, vice.com 61 | 62 | - [Argentina: Child Suspects’ Private Data Published Online](https://www.hrw.org/news/2020/10/09/argentina-child-suspects-private-data-published-online) - Facial Recognition System Uses Flawed Data, Poses Further Risks to Children 63 | 64 | - [Minneapolis prohibits use of facial recognition software by its police department](https://www.theverge.com/2021/2/13/22281523/minneapolis-prohibits-facial-recognition-software-police-privacy) 65 | 66 | ## Travaux dans ce domaine 67 | 68 | L'*[Institute for Ethical AI & Machine Learning](https://ethical.institute)* maintient un panorama très complet des initiatives réglementaires, rapports, guidelines, frameworks divers et variés en lien avec la pratique et l'usage de l'IA et la data science : voir leur repository [Awesome AI Guidelines](https://github.com/EthicalML/awesome-artificial-intelligence-guidelines#online-courses-and-learning-resources) sur Github. 69 | 70 | ### Méta-études 71 | 72 | - Méta-étude *[The Ethics of AI Ethics: An Evaluation of Guidelines](https://link.springer.com/content/pdf/10.1007/s11023-020-09517-8.pdf)*, T. Hagendorff, Octobre 2019 73 | 74 | - Méta-étude *[The global landscape of AI ethics guidelines](https://arxiv.org/ftp/arxiv/papers/1906/1906.11668.pdf)*, A. Jobin, M. Ienca, E. Vayena, Juin 2019 75 | 76 | - Méta-étude *[A Unified Framework of Five Principles for AI in Society](https://hdsr.mitpress.mit.edu/pub/l0jsh9d1/release/6)*, F. Floridi, J. Cowls, Juillet 2019 77 | 78 | - Méta-étude *[Principled Artificial Intelligence](https://cyber.harvard.edu/publication/2020/principled-ai)*, Berkman Klein Center, Février 2020 79 | 80 | ### Guidelines, liste de principes ou de thèmes-clés 81 | 82 | - [UNESCO - Recommendation on the ethics of artificial intelligence](https://unesdoc.unesco.org/ark:/48223/pf0000373434_fre): 83 | 84 | > - *La présente Recommandation a pour objet de formuler des valeurs et des principes éthiques ainsi que des recommandations concrètes concernant la recherche, la conception, le développement, le déploiement et l’utilisation de l’IA, en vue de mettre les systèmes d’IA au service de l’humanité, des individus, des sociétés et de l’environnement.* 85 | > - Current status is draft, with an open public consultation in progress (as of August 2020) 86 | 87 | - [EU Draft Ethics guidelines for trustworthy AI](https://ec.europa.eu/digital-single-market/en/news/draft-ethics-guidelines-trustworthy-ai) and [pilot assessment survey](https://ec.europa.eu/futurium/en/ethics-guidelines-trustworthy-ai/register-piloting-process-0) 88 | 89 | > 7 Key requirements: 90 | > 91 | > - Human agency and oversight 92 | > - Technical robustness and safety 93 | > - Privacy and data governance 94 | > - Transparency 95 | > - Diversity, non-discrimination and fairness 96 | > - Societal and environmental well-being 97 | > - Accountability 98 | 99 | - [OECD AI Principles](https://www.oecd.org/going-digital/ai/principles/) focused on 'Responsible stewardship of trustworthy AI' 100 | 101 | > The Recommendation identifies five complementary values-based principles for the responsible stewardship of trustworthy AI: 102 | > 103 | > - AI should benefit people and the planet by driving inclusive growth, sustainable development and well-being. 104 | > - AI systems should be designed in a way that respects the rule of law, human rights, democratic values and diversity, and they should include appropriate safeguards – for example, enabling human intervention where necessary – to ensure a fair and just society. 105 | > - There should be transparency and responsible disclosure around AI systems to ensure that people understand AI-based outcomes and can challenge them. 106 | > - AI systems must function in a robust, secure and safe way throughout their life cycles and potential risks should be continually assessed and managed. 107 | > - Organisations and individuals developing, deploying or operating AI systems should be held accountable for their proper functioning in line with the above principles. 108 | 109 | - The Institute for Ethical AI & Machine Learning: [Awesome AI guidelines](https://github.com/ethicalml/awesome-artificial-intelligence-guidelines) and [The Responsible ML Principles](https://ethical.institute/principles.html): 110 | 111 | > The Responsible Machine Learning Principles: 112 | > 113 | > 1. **Human augmentation**: I commit to assess the impact of incorrect predictions and, when reasonable, design systems with human-in-the-loop review processes 114 | > 1. **Bias evaluation**: I commit to continuously develop processes that allow me to understand, document and monitor bias in development and production. 115 | > 1. **Explainability by justification**: I commit to develop tools and processes to continuously improve transparency and explainability of machine learning systems where reasonable. 116 | > 1. **Reproducible operations**: I commit to develop the infrastructure required to enable for a reasonable level of reproducibility across the operations of ML systems. 117 | > 1. **Displacement strategy**: I commit to identify and document relevant information so that business change processes can be developed to mitigate the impact towards workers being automated. 118 | > 1. **Practical accuracy**: I commit to develop processes to ensure my accuracy and cost metric functions are aligned to the domain-specific applications. 119 | > 1. **Trust by privacy**: I commit to build and communicate processes that protect and handle data with stakeholders that may interact with the system directly and/or indirectly. 120 | > 1. **Data risk awareness**: I commit to develop and improve reasonable processes and infrastructure to ensure data and model security are being taken into consideration during the development of machine learning systems. 121 | 122 | - [PWC IA responsable](https://www.pwc.fr/fr/vos-enjeux/data-intelligence/intelligence-artificielle/intelligence-artificielle-responsable.html): 123 | 124 | > 6 thèmes : 125 | > 126 | > - Renforcer la sécurité de l'IA avec validation, surveillance et vérification 127 | > - Créer des modèles d'IA transparents, extensibles et prouvables 128 | > - Créer des systèmes éthiques, compréhensibles, légaux 129 | > - Améliorer la gouvernance avec des modèles d'exploitation et des processus de l'IA 130 | > - Tester le biais dans les données, les modèles et l'utilisation d'algorithmes par l'homme 131 | 132 | - [Google recommended practices for AI: Fairness, Interpretability, Privacy, Security](https://ai.google/education/responsible-ai-practices) 133 | 134 | ### Déclarations, chartes, serments 135 | 136 | - [Déclaration de Montréal pour l'IA responsable](https://www.declarationmontreal-iaresponsable.com/la-declaration) 137 | - [Serment Holberton-Turing](https://www.holbertonturingoath.org/accueil) 138 | - [Serment d'Hippocrate pour data scientist](https://hippocrate.tech/) 139 | - [Future of Life's AI principles](https://futureoflife.org/ai-principles/) 140 | - [Charte internationale pour une IA inclusive](https://charteia.arborus.org/), Arborus 141 | - [Manifeste pour des IA éthiques](http://ai-ethical.com/131-2/), Numeum, 2021 142 | 143 | ### Assessments et référentiels 144 | 145 | - ADEL - [Label éthique pour l'exploitation du big data](http://www.adel-label.com/) 146 | - ALTAI - [The Assessment List on Trustworthy Artificial Intelligence](https://altai.insight-centre.org/) 147 | - Occitanie Data / Ekitia - [Charte éthique de l'usage des données](https://www.occitaniedata.fr/la-charte-ethique/) 148 | - LNE - [Référentiel certification de processus pour l'intelligence artificielle](https://www.lne.fr/fr/service/certification/certification-processus-ia), 2021 149 | 150 | ### Autres 151 | 152 | - [Guide pratique pour des IA éthiques](http://ai-ethical.com/guide-pratique/), Numeum, 2021 153 | - [Livre blanc Data Responsable](http://www.utopies.com/fr/initiatives/groupe-de-travail-data-responsable), Utopies & Imaginable For Good 154 | - [Responsible AI Licenses](https://www.licenses.ai/) 155 | - [FAT ML](https://www.fatml.org/) : _semble inactif depuis fin 2018_ 156 | - [AI for social good workshops](https://aiforsocialgood.github.io/neurips2019/) and research papers 157 | - [Building Fair and Transparent Machine Learning via Operationalized Risk 158 | Management: Towards an Open-Access Standard Protocol](https://aiforsocialgood.github.io/icml2019/accepted/track2/pdfs/32_aisg_icml2019.pdf) 159 | - Algorithmes publics : 160 | - [Guide des algorithmes publics à l'usage des administrations](https://guides.etalab.gouv.fr/algorithmes/guide/), Etalab 161 | - Rapport [Éthique et responsabilité des algorithmes publics](https://www.etalab.gouv.fr/wp-content/uploads/2020/01/Rapport-ENA-Ethique-et-responsabilit%C3%A9-des-algorithmes-publics.pdf), Etalab / ENA, Janvier 2020 162 | - [ISO](https://blog.iec.ch/2019/11/international-standards-committee-on-ai-ecosystem-achieves-milestone-and-launches-new-areas-of-study/) est en train de définir des normes dans le secteur de l'Intelligence Artificielle. Ces travaux devront être suivis 163 | - Rapport [Ethics and Algorithms toolkit](https://ethicstoolkit.ai/) 164 | - Rapport [AI Now Report 2019](https://ainowinstitute.org/AI_Now_2019_Report.pdf) 165 | 166 | ## Notes et observations 167 | 168 | - Beaucoup de travaux s'intéressent à l'éthique par les usages et par la non-reproduction de discrimination 169 | - On trouve en revanche peu de choses sur le cycle de vie de l'élaboration d'un modèle (voir par exemple le [papier de Quantum Black](https://aiforsocialgood.github.io/icml2019/accepted/track2/pdfs/32_aisg_icml2019.pdf)) 170 | - Le plus complet est peut-être le questionnaire d'évaluation de l'UE, mais il est loin d'être actionnable, opérationnel (63 questions dont de nombreuses sont des questions très ouvertes), et son processus d'élaboration et d'évolution est relativement fermé 171 | - Des référentiels de la sécurité des systèmes d'information, bien plus généraux, pourraient être utilisés comme références pour éviter d'être redondant sur certains points. Par exemple le [guide de la sécurité des données personnelles](https://www.cnil.fr/fr/principes-cles/guide-de-la-securite-des-donnees-personnelles) de la CNIL. 172 | -------------------------------------------------------------------------------- /workshops-notes/2020.02.06_workshop-2_notes.md: -------------------------------------------------------------------------------- 1 | # Atelier du 6 février 2020 - Notes / Matière brute 2 | 3 | _Présents : @ClementMayer, @bowni, @natct10, @mattthieu, @SaboniAmine, @celinejacques, Anne-Sophie Cissey, Véronique Brun, Timothée Faucon, Cédric Meurée, Paul Dalous, Jeremie Abiteboul_ 4 | 5 | _Merci à tous !_ 6 | 7 | > **Note :** la version étudiée durant l'atelier est celle du [commit 57e07dd3e588c936a73d5e4d2b1ddae5d5ba12a1](https://github.com/SubstraFoundation/referentiel-ds-responsable-confiance/commit/57e07dd3e588c936a73d5e4d2b1ddae5d5ba12a1). La numérotation des risques et mesure a évolué depuis. 8 | 9 | ## 1. Retour sur l'actualité 10 | 11 | ### Actualité n°1 : Ethique vs. Responsable et de Confiance 12 | 13 | Discussion autour de quelques articles sur ce thème : 14 | 15 | - [Article de Tom Chatfield](https://onezero.medium.com/theres-no-such-thing-as-ethical-a-i-38891899261d) 16 | - [Post Linkedin "IA et éthique : CALMONS-NOUS"](https://www.linkedin.com/pulse/ia-et-%C3%A9thique-calmons-nous-jerome-fortias/) 17 | - [Post Linkedin "IA et éthique ? Ou plutôt responsable et de confiance"](https://www.linkedin.com/pulse/ia-et-%C3%A9thique-ou-plut%C3%B4t-responsabilit%C3%A9-confiance-eric-boniface/) 18 | 19 | Certains praticiens ne semblent pas apprécier la profilération d'articles sur l'éthique et l'IA. Utilisation du terme éthique problématique : pas d' "IA éthique" mais des questions qui devraient porter sur les usages. Certains suggèrent d'accepter une approche boite noire et de concentrer les travaux normatifs sur les usages. 20 | 21 | Qu'est-ce qu'être éthique, peut on en choisir une définition ? Plusieurs définitions de l'éthique : 22 | 23 | - Usage ? bien / pas bien 24 | - Grands principes 25 | - Objectifs moraux 26 | 27 | [Lecture sur l'éthique](https://www.erudit.org/fr/revues/ltp/1996-v52-n2-ltp2155/401006ar.pdf) (référence à Max Weber). 28 | 29 | Retour d'expérience sur une conférence de l'[OSCE](https://www.osce.org) sur la sécurité européenne : difficulté de comprendre, caractériser, définir ce qu'est l'IA, ce qu'en sont les usages. Le risque est alors de ne pas s'y intéresser et y travailler suffisamment (au regard des opportunités et menaces soulevées). 30 | 31 | Quelle est la nouveauté, la singularité de ces technologies ? Le point qui semble vraiment nouveau est l'utilisation de modèles "appris" vs. jusqu'alors des systèmes bâtis sur des règles explicitement définis. Des problèmes se posent alors en particulier sur la gouvernance et les responsabilités. 32 | 33 | _Analogie_ : quid quand **mauvaises prévisions météo** ? quelle est la responsabilité, sait-on se retourner vers un modèle ? 34 | 35 | Deux exemples forts : 36 | 37 | - Apple Card et le plafond autorisé différencié entre homme et femme dans des couples avec historique bancaire commun --> problème : qui est responsable ? Pendant plusieurs jours qui ont suivi le début de la crise pas de réponse : Apple renvoyant vers son sous-traitant Goldman Sachs, Goldman Sachs ne sachant trop que répondre et défendant son modèle. 38 | - [COMPAS](https://en.wikipedia.org/wiki/COMPAS\_(software)) : système sur liberté conditionnelle / récidive - problème sur les métrique de fairness. 39 | 40 | Cas de [la police de Chicago](http://www.mutationstechnologiques.fr/la-mecanique-algorithmique-de-la-police-predictive-a-chicago/) qui a complétement débranché les algos utilisés au bout de plusieurs années. 41 | 42 | Analogie intéressante : plan de vol / condition d'utilisation d'un appareil. 43 | 44 | **Modèle d'IA** : aujourd'hui abordable en apparence par des non-spécialistes - Tensor Flow permet d'obtenir rapidement de bonnes performances --> mais quid de l'identification de biais ? Comment cela doit-il se faire ? Il y a peu de recul sur ce qui est fait (pas de distance critique). Fossé entre la facilité d'utilisation en apparence, pour démarrer, et la complexité induite de ces technologies ML pour une organisation qui voudrait les utiliser en prise avec ses parties prenantes. 45 | 46 | _Analogie_ : sécurité informatique : télécharger un logiciel pratique vs. se préoccuper des failles de sécurité qu'il peut ouvrir, de sa mise à jour dans le temps, du coût des licences, de la dépendance qu'il peut créer, de la capacité à l'interconnecter avec d'autres processus --> nécéssité de mettre en place des processus / un référentiel de bonnes pratiques. 47 | 48 | **Data Science :** technique ok. Maintenant il est temps de mettre en place un environnement autour pour mettre de la confiance. 49 | 50 | _[pas clair - à préciser]_ Problème d'esprit critique autour de l'informatique / IA vs. bienfait de l'IA : persistence (pas de sentiments) 51 | 52 | Problème des systèmes fermés : 53 | 54 | - Exemple si problème, pas de possibilité de changer dans le système 55 | - prise en compte de l'*input* humain face à une décision automatisée. **Mesure potentielle : pouvoir aller contre l'IA ?** 56 | 57 | Note : le terme "Responsable" est connu et pratiqué par les organisations, est un concept juridique. 58 | 59 | ### Actualité n°2 : Google s'intéresse à la régulation 60 | 61 | Intérêt pour de la régulation côté Google, cf. récent plan media du CEO Sundar Pichai. 62 | 63 | Faut-il être un peu méfiant ? Activité habituelle de lobby. 64 | 65 | Réflexion : il existe un gap entre RGPD 2012 et 2018 --> ce qui a été décidé n'est plus valable. Risque d'avoir le même problème pour l'IA entre les lobbies + les technologies dépassées. 66 | 67 | ### Actualité n°3 : ISO s'attaque à l'IA 68 | 69 | [Article](https://blog.iec.ch/2019/11/international-standards-committee-on-ai-ecosystem-achieves-milestone-and-launches-new-areas-of-study/) 70 | 71 | ISO : très complexe en terme de méthode, calendrier, découpage en thèmes. 72 | Timing visiblement très long de leur côté --> possibilité de cohabiter. 73 | 74 | ISO : plutôt suivi et documentation ? approche pas forcément responsable, à creuser. 75 | 76 | En attente, pas d'actions identifiées à ce stade. 77 | 78 | ### Actualité n°4 : Health Data Hub 79 | 80 | [Les avocats en guerre](https://www.cnb.avocat.fr/sites/default/files/11.cnb-mo2020-01-11\_ldh\_health\_data\_hubfinal-p.pdf) 81 | Problème lié à Azure / Microsoft et le Cloud Act. Illustre la véhémence des attaques publiques et le besoin de confiance. 82 | 83 | ### Actualité n°5 : Proposition de loi sur la charte de l'IA et des algorithme 84 | 85 | [Loi sur la charte de l'IA et des algorithmes](http://www.assemblee-nationale.fr/15/pdf/propositions/pion2585.pdf). Un point en particulier sur la notion de responsabilité est intéressant : 86 | > « Un système tel que défini au précédent alinéa n’est pas doté de la 87 | personnalité juridique et par conséquent inapte à être titulaire de droits 88 | subjectifs. Cependant les obligations qui découlent de la personnalité 89 | juridique incombent à la personne morale ou physique qui héberge ou 90 | distribue ledit système devenant de fait son représentant juridique. 91 | 92 | ### Actualité n°6 : Etalab 93 | 94 | Rapport sur la [responsabilité des algorithmes publics](https://www.etalab.gouv.fr/algorithmes-publics-des-eleves-de-lena-formulent-une-serie-de-recommandations-sur-les-enjeux-dethique-et-de-responsabilite). 95 | 96 | ## 2. Revue des risques 97 | 98 | ### Partie 1 : EDP 99 | 100 | **EDP-01** - Définition à donner : _Données confidentielles_ : données qui ont de la valeur mais pas nécessairement personelles (exemple : pharma.) 101 | 102 | **EDP-01** - [Ré-identification, article Nature](https://www.nature.com/articles/s41467-019-10933-3/) : "Using our model, we find that 99.98% of Americans would be correctly re-identified in any dataset using 15 demographic attributes." 103 | 104 | Obfuscation > Anonymisation 105 | 106 | **EDP-04** - Elargir pas que changement de réglementation mais par exemple double exposition. Exemple de contradiction entre les différentes réglementations : [FATCA (Foreign Account Tax Compliance Act) contredit RGPD](https://www.cnil.fr/fr/cnil-direct/question/loi-fatca-que-faire) 107 | 108 | **EDP-01** - Exposer : qu'est-ce que cela signifie ? 109 | 110 | Précision vs. viser large ? réponse pas évidente. 111 | Précision = difficulté d'évaluer au niveau d'une organisation. 112 | --> voir au niveau des mesures. 113 | 114 | **EDP-01** - Trade-off entre exposition vs. et traçabilité/généalogie 115 | Illustration intéressante : mise en place d'un [traceur](https://ai.facebook.com/blog/using-radioactive-data-to-detect-if-a-data-set-was-used-for-training/) par Facebook sur les données utilisées par un algo. 116 | 117 | L'utilisateur doit être informé de l'utilisation de ses données - rendre des comptes. 118 | 119 | ### Partie 2 : PDI 120 | 121 | **PDI-03** - La manière dont le modèle va être construit peut entrainer des biais. 122 | 123 | - doc2vec --> voir [issue](https://github.com/SubstraFoundation/referentiel-ds-responsable-confiance/issues/25) créé par @SaboniAmine 124 | - Autre exemple : features / intégration de l'ethnie 125 | 126 | _Social cooling_ : auto-censure des utilisateurs de réseaux sociaux sachant que ceux-ci sont utilisés pour des études / de la surveillance, etc. Cela fait que les interactions sur les réseaux sociaux deviennent moins représentatives pour des études. 127 | 128 | **PDI-04** - Empoisonnement de données --> cas à identifier 129 | 130 | **PDI-06** - Modèle drift : 131 | 132 | - exemple à trouver dans le trading 133 | - Maintenance prédictive : problème sur des capteurs 134 | - --> drift modèle vs. drift données - séparer en deux cas ? 135 | 136 | Autres exemples sur la partie PDI : 137 | 138 | - [Face ID / reconnaissance faciale marche mal en Chine](https://www.thesun.co.uk/news/5182512/chinese-users-claim-iphonex-face-recognition-cant-tell-them-apart/) 139 | - [biais dans les systèmes de reconnaissance visuelle](https://arxiv.org/pdf/1902.11097.pdf) 140 | 141 | ### Partie 3 : RC 142 | 143 | Réflexion sur les distinctions à faire dans cette partie entre les modèles créés par apprentissage supervisé vs. par renforcement ? Le "plan de vol" est certainement plus difficile à définir / décrire dans les cas d'apprentissage par renforcement. 144 | 145 | LinkedIn : utilisation d'un algo qui peut discriminer sans le savoir. + auto-optimisation - manipuler des algos. 146 | --> Manipulation / exploitation d'un algo à ajouter dans les risques 147 | 148 | Responsabilités au sein-même d'une organisation ? --> partie prenante interne à une organisation à identifier (pas que vis-à-vis de l'extérieur) 149 | 150 | ### Partie 4 : ESE 151 | 152 | **ESE-01** 153 | 154 | Trade-off: Entrainement à l'origine vs. entrainement à chaque fois --> en effet, un entrainement unique peut être meilleur mais il faut bien en avoir conscience / communiquer. 155 | 156 | IA justifié vs. non justifié ? Réglementations à venir ? À l'avenir systèmes non autorisés ? 157 | 158 | Problème sur l'emploi - exemples : 159 | 160 | - La Redoute sur les fiches produits 161 | - traders au chômage 162 | - [En attendant les robots d'A. Cassili](http://www.seuil.com/ouvrage/en-attendant-les-robots-antonio-a-casilli/9782021401882) 163 | 164 | Fermes à clics : impacts sociaux pas seulement du fait de l'utilisation de systèmes automatiques, mais aussi en amont notamment sur les données nécessaires à l'essor de ces technologies. 165 | Travail des personnes / captcha --> travail déguisé. 166 | 167 | **ESE-02** 168 | 169 | - OpenAI : [GPT-2](https://openai.com/blog/gpt-2-1-5b-release/) 170 | - Deepfake 171 | 172 | Rajouter Cambridge Analytica comme exemple. 173 | 174 | ### Partie 5 : TR 175 | 176 | Gouvernance globale : [intelligent organisation](https://www.amazon.fr/Intelligent-Organisation-Realising-value-information/dp/1138847070) 177 | 178 | Article [Evgeny Morosov](https://slate.com/author/evgeny-morozov) 179 | 180 | ### Divers 181 | 182 | Algorithme développé par des gens qui deviennent référence : si jamais un biais est présent il est difficile à identifier par les utilisateurs car ils ne sont pas les concepteurs. 183 | Par ailleurs, les "grands modèles" qui deviennent des références (e.g. ResNet, BERT) pourraient présenter le risque d'être des single point of failure. 184 | 185 | Impossibilité de mettre en place un modèle - exemple : EDF - problème sur la démonstration car impossible à tester en réel. 186 | 187 | Notion de [Continuous delivery for machine learning](https://martinfowler.com/articles/cd4ml.html) à explorer et creuser. 188 | 189 | Risque réglementaire : Pas suffisamment s'interroger sur la réglementation (exemple dans le monde bancaire nécessité de faire des choses reproductible + explications) --> à intégrer dans la première partie. 190 | 191 | Transfert de performance de dataset à un autre : exemple publier un papier sur un dataset donné / **notion de robustesse d'un modèle** --> responsabilité ? 192 | 193 | ## Revue des mesures 194 | 195 | ### T1 : Protéger les données personnelles ou confidentielles 196 | 197 | OWASP du Machine Learning ? 198 | [OWASP Top Five ML risks](https://github.com/OWASP/Top-5-Machine-Learning-Risks/blob/master/Top%205%20Machine%20Learning%20Risks.md) 199 | 200 | **Mesure à ajouter :** Est-ce que j'ai besoin de collecter des données personnelles ? minimisation des données, y compris quitte à détériorer la performance. 201 | 202 | **Mesure à ajouter :** collaboration avec les autorités (e.g Anssi) 203 | 204 | Suggestions de lecture : Newsletter [The ML Engineer](https://ethical.institute/index.html) 205 | 206 | Idée à creuser : points IV et V à Rassembler ? 207 | 208 | ### T2 : Prévenir les biais malencontreux 209 | 210 | Biais de genre : [Invisible Women: Exposing Data Bias in a World Designed for Men](https://www.amazon.fr/Invisible-Women-Exposing-World-Designed/dp/1784742929/) 211 | 212 | Fairness : aussi au niveau individuel ? se rapproche d'une notion de robustesse --> "pour quelqu'un de très proche le résultat doit être très proche". 213 | 214 | Biais : pas forcément négatif - des biais peuvent être exploités de manière positive. _[besoin d'exemples]_ 215 | 216 | Données synthétiques : manque le risque associé. 217 | 218 | ### T3 : Evaluer la performance de manière rigoureuse et expliquer les prédictions 219 | 220 | _[pas clair, à désambiguïser]_ i : point d'attention - collaboration - risque d'overfit quand les tests ne sont pas divisés de la même manière. 221 | 222 | Risque de contamination - deux points différents : 223 | 224 | - Quand on a fait "l'erreur" : comment identifier ? Généalogie dans les travaux. 225 | - Quand on a la donnée à deux endroits, dans les contextes de ML distribué / collaboratif 226 | 227 | Pluralité de la base des tests ? (pour avoir des "backups") 228 | 229 | iv - pas que apprentissage continu. 230 | 231 | Modèle en production : même sur modèle stable, possibilité d'avoir des données qui ne sont plus dans le domaine (population & distribution). exemple : variable plus renseignée à la même fréquence qu'avant par les utilisateurs dans un SI 232 | 233 | CI/CD pipeline sur les données (+ versioning). 234 | 235 | Suivre si entre mise en place du modèle et actuel on est toujours bon. 236 | 237 | Mesure le PSI : distribution des scores reste stable dans le temps. 238 | 239 | Ajout de contrôle aléatoire humain - conforme à ce qui est attendu. 240 | Mais quid quand trop ? --> utilisation d'autres mesures / combinaison entre plusieurs vérifications. 241 | 242 | Mise en place de seuils d'indécision (voir plus loin) 243 | 244 | Aborder les questions à chaque nouvelle application, pas que au moment du design. 245 | 246 | Problème à vérifier : est-ce que le test doit évoluer ou non ? 247 | 248 | ### T4 : Etablir et maintenir une généalogie des modèles 249 | 250 | Notion de "Model lineage" et [Data lineage](https://fr.wikipedia.org/wiki/Data\_Lineage) à creuser. 251 | 252 | Chaque acteur doit avoir un outil d'interpretabilité spécifique. 253 | 254 | Ajouter les limites d'utilisation en corollaire. 255 | 256 | ### T5 : Garantir la chaîne de responsabilité des modèles 257 | 258 | Création d'un registre des modèles prédictifs (analogie avec le registre des traitements dans le RGPD) - (risque de perte de maîtrise) - Evaluation des risques (similaire au Privacy Impact Assessment RGPD). 259 | 260 | Coupler ii et iii + v 261 | 262 | iv : Chaine de responsabilité ? 263 | 264 | - indépendance ? 265 | - Modèle DPO ? 266 | - Officer + pour chaque modèle un contact ? 267 | - séparer entre : 268 | - Métier (application) 269 | - Data Scientist (biais) 270 | - sponsors ? Commanditaire ? 271 | 272 | Responsabilité : possibilité de s'inspirer de la propriété intellectuelle ? _analogie à voir_ 273 | 274 | Etudier les licenses de distribution de modèle ML. 275 | 276 | ### T6 : Anticiper, suivre et minimiser les externalités négatives de l'activité data science 277 | 278 | A découper - environnemental vs. sociétal (quanti vs. quali) 279 | 280 | Explorer ce qui est dit dans le cadre de la Responsabilité sociétale et environnementale des entreprises (loi PACTE) 281 | 282 | échelle d'Octo : 283 | 284 | - compréhensible ou pas ? (pour Octo, outil différents explicabilité vs. interprétabilité) 285 | - manière dont cela est présenté ? 286 | 287 | Interprétabilité - complexe mais importante car demande sociétale. Il sera probablement nécessaire de démarrer avec une mesure sur le fait d'être conscient et d'essayer, et de la raffiner/sophistiquer dans le temps. 288 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # Data science responsable et de confiance - Référentiel d'évaluation 2 | 3 | *Note: although kickstarted in French, this work has been translated in English and will be updated in both languages from January 2021 onwards. Follow [this link](./assessment_framework_eng.md) to access the assessment in English.* 4 | 5 | ## Résumé rapide 6 | 7 | Ce dépôt de fichiers héberge le [référentiel cadre](./referentiel_evaluation.md) de la data science responsable et de confiance (aussi dit *assessment*), élaboré de manière participative dans le cadre de l'initiative du même nom initiée par Labelia Labs en 2019. Il regroupe également les notes des [ateliers-meetups](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) qui jalonnent cette initiative, co-animés par Labelia Labs et Dataforgood. 8 | 9 | Le référentiel est mis à jour officiellement chaque semestre avec une nouvelle version. Les travaux aboutissant à ces mises à jour sont ouverts à tous, ils peuvent être consultés via les *issues* et *PRs* de ce dépôt. 10 | 11 | ![Partenaires et soutiens](./img/partenaires_soutiens.png) 12 | 13 | ## Navigation dans le repository 14 | 15 | `/` 16 | [`├── README.md`](#contexte-motivations-et-ambition) : [Contexte, motivations et ambition](#contexte-motivations-et-ambition) | [Périmètre du référentiel d'évaluation](#périmètre-du-référentiel-dévaluation) | [Approche participative](#approche-participative) 17 | **[`├── referentiel_evaluation.md`](./referentiel_evaluation.md)** : **[Référentiel d'évaluation](./referentiel_evaluation.md#référentiel-dévaluation-de-la-maturité-dune-organisation)** | [Risques](./referentiel_evaluation.md#risques) 18 | [`├── methode.md`](./methode.md) : [Approche](./methode.md#approche-et-méthode-de-consensus) | [Consensus au sein du groupe de travail](./methode.md#consensus-au-sein-du-groupe-de-travail) | [Travaux asynchrones](./methode.md#travaux-asynchrones) | [License](./methode.md#license) 19 | [`├── references.md`](./references.md) : [Liste de lectures](./references.md#liste-de-lecture) | [Travaux dans ce domaine](./references.md#travaux-dans-ce-domaine) 20 | 21 | ## Contexte, motivations et ambition 22 | 23 | > *Pour des introductions à cette initiative sous d'autres formes, voir :* 24 | > 25 | > - *[Conférence IA responsable et de confiance](https://www.youtube.com/watch?v=Ip4dCZ8xhEo)* au B-Boost, octobre 2021 26 | > - *[Podcast C-Ways - Mars 2021](https://c-ways.com/datascience-responsable)* 27 | > - *[Blog Labelia Labs - Article d'Eric Boniface, octobre 2020](https://www.labelia.org/fr/blog/evaluation-data-science-responsable)* 28 | 29 | Un nouvel espace émerge au croisement entre expansion de l'IA dans les organisations et les systèmes automatiques, et inquiétudes du public sur les données privées, la transparence et la robustesse des algorithmes. 30 | 31 | Ce sont deux tendances puissantes qui se percutent (voir par exemple [le cas Apple Card](https://twitter.com/dhh/status/1192540900393705474) en novembre 2019 ou le formidable article du New York Times en février 2020, [An Algorithm that grants Freedom, or Takes it away](https://www.nytimes.com/2020/02/06/technology/predictive-algorithms-crime.html)). Comment les réconcilier, les conjuguer ensemble ? Des solutions techniques et organisationnelles nouvelles sont indispensables pour cela, pour accorder un cadre de confiance qui manque aujourd’hui, pour rendre possible des collaborations nouvelles, prometteuses et sûres entre les entreprises, les institutions publiques et les citoyens. 32 | 33 | De nombreux acteurs s'emparent du sujet et travaillent par exemple déjà à des cadres pour un usage à impact positif des technologies d'IA, à des outils pour apporter de la traçabilité aux travaux de data science, à des formations pour éviter la reproduction de biais discriminatoires, à des briques techniques pour permettre la mutualisation et renforcer la confidentialité des données, etc. 34 | 35 | En s'appuyant sur les travaux, cadres et corpus existants, **nous travaillons de manière ouverte et collaborative** à la définition de la **data science responsable et de confiance** et à l'élaboration d'un **référentiel cadre commun open source** de bonnes pratiques permettant aux organisations intéressées d'évaluer leur niveau de maturité. 36 | 37 | ### Une initiative de plus ? 38 | 39 | Pourquoi cette initiative, dans un univers qui voyait déjà en 2019, et voit encore plus aujourd'hui, émerger un certain nombre de travaux ? Nous avons longtemps tenu à jour [une liste de travaux](./references.md#travaux-dans-ce-domaine). Ils sont tous intéressants, inspirants, utiles. Beaucoup proposent des _guidelines_, des chartes, des engagements à prendre, traitent de l'éthique de l'usage de technologies d'IA. Certains explorent des voies nouvelles : licences spécifiques aux modèles d'IA, plateforme d'analyse de risque... Mais à l'époque aucun ne nous avait semblé répondre aux deux exigences suivantes : 40 | 41 | 1. porter sur toute **l'activité data science d'une organisation** (comme ensemble de pratiques, de processus, de méthodes...), par opposition à porter sur l'élaboration d'un modèle/système d'IA ou le pilotage d'un projet ; 42 | 43 | 1. être fait **pour être utilisé comme un outil concret d'évaluation** de la maturité de l'organisation. 44 | 45 | Nous imaginions un référentiel qui soit actionnable, opérationnel, pour que cela puisse être utile le plus rapidement possible et, à l'usage, susciter des réflexions, des échanges, des souhaits d'amélioration. Qu'il puisse faciliter l'émergence d'offres d'évaluation, audit, formation dans ce domaine. 46 | Nous pensons que la communauté data science responsable et de confiance en France et en Europe pourrait bénéficier d'un tel cadre commun. L'enjeu est de fournir des repères pour augmenter la lisibilité du sujet et de le faire connaître le plus largement possible, de faciliter la montée en maturité des organisations, les nouvelles collaborations entre prestataires spécialisés et grandes organisations... L'enjeu est aussi d'animer une dynamique d'échanges au sein de la communauté et d'amélioration continue du référentiel lui-même. 47 | 48 | ### Pourquoi _responsable_ et _de confiance_, et pourquoi pas _éthique_ ? 49 | 50 | Nous utilisons ici ces termes comme suit : 51 | 52 | _Responsable_ : Qui se préoccupe des conséquences sur ses parties prenantes, cherche à avoir un impact positif, essaie d'éviter d'être _irresponsable_ c'est-à-dire ne pas maîtriser des conséquences préjudiciables pour ses parties prenantes. 53 | 54 | _De confiance_ : Dans lequel on peut avoir un niveau de confiance raisonnable car les règles de l'art prévenant une large panoplie de risques typiques sont appliquées. 55 | 56 | Les deux notions se recouvrent en partie. Il est cependant difficile de trouver un terme unique satisfaisant. La combinaison des deux apporte une richesse qui nous semble utile. 57 | 58 | On considère ici la _data science_ comme une combinaison de techniques et d'outils. Dans ce contexte l'_éthique_ de la data science ou de l'intelligence artificielle ne nous semble pas être le meilleur angle pour aborder et étudier les questions et défis inhérents à la data science dans le but d'élaborer un référentiel opérationnel. L'angle éthique polarise la réflexion sur les usages de l'IA, et la fond dans celle de l'éthique de l'usage des technologies ou des capacités techniques de manière plus générale (voir par exemple [cet article de Tom Chatfield sur OneZero](https://onezero.medium.com/theres-no-such-thing-as-ethical-a-i-38891899261d)). Il s'agit cependant d'un excellent sujet de discussion et débat, la conversation est donc vivante (voir par exemple [cette issue](https://github.com/SubstraFoundation/referentiel-ds-responsable-confiance/issues/23) sur le repo). 59 | 60 | ## Périmètre du référentiel d'évaluation 61 | 62 | ### Un référentiel d'évaluation qui s'adresse à qui ? 63 | 64 | - Cible principale : **l'activité data science d'une organisation** 65 | - Hors-cible : un projet donné, un produit donné, un modèle prédictif donné 66 | - Pourquoi ? 67 | - Les projets et produits peuvent prendre des formes extrêmement variées et il est donc très difficile d'être pertinent avec un référentiel générique 68 | - L'effort pour s'évaluer selon un référentiel peut être trop élevé s'il doit être fait projet par projet 69 | - Les mesures ou pratiques relatives aux collaborateurs (e.g. les formations) correspondent plus naturellement aux pratiques d'une organisation qu'à celle d'un projet donné 70 | - Idées d'élargissements possibles : des mesures plus ciblées visant un projet en particulier pourraient être étudiées. 71 | 72 | ### Que désigne-t-on par _IA_ et _data science_ ? 73 | 74 | - Cible : **les modèles d'IA et les systèmes automatiques résultant de l'utilisation de techniques algorithmiques sur des données**. On prend ici une acception large des termes _IA_ et _data science_ (e.g. on y inclut les systèmes experts). 75 | - Hors cible : les systèmes informatiques, la sécurité informatique, la gestion des bases de données en général (même si toutefois, en se concentrant sur l'activité data science d'une organisation, des sujets de sécurité et de gestion des données émergeront naturellement). 76 | 77 | ## Approche participative 78 | 79 | ### Cycle d'ateliers d'échange et de co-construction 80 | 81 | Nous proposons de travailler de manière ouverte et collaborative. Les premières années furent l'occasion d'ateliers d'échange et de co-construction, relayés par la suite par le travail asynchrone sur ce repo, via l'espace d'échange Slack, au travers des [Meetups](https://www.meetup.com/fr-FR/data-science-responsable-et-de-confiance/) et autres événements de la communauté. 82 | 83 | #### Saison 1 84 | 85 | - Atelier #1 : mercredi 18 décembre 2019 à la Maison du Libre et des Communs (Paris) - [notes de l'atelier](./workshops-notes/2019.12.18_workshop-1_notes.md) 86 | - Atelier #2 : jeudi 6 février 2020 à la Maison du Libre et des Communs (Paris) - [notes de l'atelier](./workshops-notes/2020.02.06_workshop-2_notes.md) 87 | - Atelier #3 : jeudi 2 avril 2020 par téléconférence - [notes de l'atelier](./workshops-notes/2020.04.02_workshop-3_notes.md) 88 | - Atelier #4 : mardi 23 juin 2020 par téléconférence - [notes de l'atelier](./workshops-notes/2020.06.23_workshop-4_notes.md) 89 | - Atelier #5 : mardi 8 septembre 2020 par téléconférence - [notes de l'atelier](./workshops-notes/2020.09.08_workshop-5_notes.md) 90 | - Atelier #6 : mardi 10 novembre 2020 par téléconférence - [notes de l'atelier](./workshops-notes/2020.11.10_workshop-6_notes.md) 91 | - Atelier #7 : mardi 15 décembre 2020 par téléconférence - [notes de l'atelier](./workshops-notes/2020.12.16_workshop-7_notes.md) 92 | 93 | #### Saison 2 - co-organisée avec Dataforgood 94 | 95 | - Atelier/Meetup #1 : lundi 22 février 2021 par téléconférence - [notes de l'atelier](./workshops-notes/2021.02.22_workshop-s02e01_notes.md) 96 | - Atelier/Meetup #2 : lundi 26 avril 2021 par téléconférence - [notes de l'atelier](./workshops-notes/2021.04.26_workshop-s02e02_notes.md) 97 | - Atelier/Meetup #3 : lundi 21 juin 2021 par téléconférence - [notes de l'atelier](./workshops-notes/2021.06.21_workshop-s02e03_notes.md) 98 | - Atelier/Meetup #4 : lundi 20 septembre 2021 par téléconférence - [notes de l'atelier](./workshops-notes/2021.09.20_workshop-s02e04_notes.md) 99 | - Atelier/Meetup #5 : lundi 22 novembre 2021 par téléconférence - [notes de l'atelier](./workshops-notes\2021.11.22_workshop-s02e05_notes.md) 100 | 101 | #### Saison 3 - co-organisée avec Dataforgood (et la FING au S1 2022) 102 | 103 | - Meetup #1 : lundi 7 mars 2022 par téléconférence - [notes de l'atelier et replay](./workshops-notes\2022.03.07_workshop-s03e01_notes.md) 104 | - Meetup #2 : lundi 9 mai 2022 par téléconférence - [notes de l'atelier et replay](./workshops-notes\2022.05.09_workshop-s03e02_notes.md) 105 | - Meetup #3 : lundi 20 juin 2022 par téléconférence - [notes de l'atelier et replay](./workshops-notes\2021.06.20_workshop-s03e03_notes.md) 106 | - Meetup #4 : lundi 19 septembre 2022 par téléconférence - [notes de l'atelier et replay](./workshops-notes\2021.09.19_workshop-s03e04_notes.md) 107 | - Meetup #5 : lundi 21 novembre 2022 à Paris dans les locaux d'Ekimetrics et par téléconférence - [notes de l'atelier et replay](./workshops-notes\2022.11.21_workshop-s03e05_notes.md) 108 | 109 | #### Saison 4 - co-organisée avec Dataforgood 110 | 111 | - Meetup #1 : lundi 6 mars 2023 à Paris dans les locaux de Quantmetry et par téléconférence - [notes de l'atelier et replay](./workshops-notes\2023.03.06_workshop-s04e01_notes.md) 112 | - Meetup #2 : lundi 3 juillet 2023 à 17h dans les locaux d'Ekimetrics et par téléconférence - [notes de l'atelier et replay](./workshops-notes\2023.07.03_workshop-s04e02_notes.md) 113 | - Meetup #3 : lundi 18 septembre 2023 à 17h par téléconférence - [notes de l'atelier et replay](./workshops-notes\2023.09.18_workshop-s04e03_notes.md) 114 | - Meetup #4 : lundi 27 novembre 2023 à 17h dans les locaux de la MAIF à Paris et par téléconférence - [notes de l'atelier et replay](./workshops-notes\2023.11.27_workshop-s04e04_notes.md) 115 | 116 | #### Saison 5 - co-organisée avec Dataforgood 117 | 118 | - Meetup #1 : lundi 18 mars 2024 à 17h en visioconférence - [notes de l'atelier et replay](./workshops-notes\2024.03.18_workshop-s05e01_notes.md) 119 | - Meetup #2 : lundi 17 juin 2024 à 17h - en visioconférence 120 | - Meetup #3 : lundi 16 septembre 2024 à 17h - en visioconférence 121 | - Meetup #4 : lundi 18 novembre 2024 à 17h - en visioconférence 122 | 123 | Curieux ? Enthousiaste ? Sceptique ? Essayons ensemble, avec toutes les bonnes énergies de celles et ceux qui sont intéressés par le sujet et la démarche, avec l'esprit ouvert à la possibilité que cette démarche puisse muter, rencontrer d’autres initiatives… avec la certitude cependant d'échanger et d'apprendre sur des sujets passionnants. 124 | 125 | ### Responsabilité éditoriale, disponibilité en ligne des travaux et participation asynchrone 126 | 127 | Ce travail est élaboré sous la responsabilité éditoriale de l'association à but non lucratif Labelia Labs, qui s'engage à le mettre à disposition de manière à ce qu'il puisse être librement reproduit et partagé. 128 | 129 | Ainsi, le projet en ligne et le dépôt de fichiers associés, hébergés par Labelia Labs sur GitHub, assurent la disponibilité en ligne de ces travaux et du référentiel de la data science responsable et de confiance. Au-delà des meetups 4 à 5 fois par an, il est donc également possible de participer de manière asynchrone. 130 | 131 | ### Nature évolutive 132 | 133 | Par nature cette démarche est en constante évolution. Il nous semble plus utile et plus transparent de mettre à disposition le référentiel dans son état du moment, plutôt que d'attendre le franchissement de jalons majeurs. Ainsi, chacun est en mesure d'en prendre connaissance et de participer par des questions ou des suggestions d'amélioration. 134 | Un versionnage officiel est proposé en complément afin de fournir un repère temporel aux organisations utilisatrices. 135 | 136 | ### Processus de supervision et validation des mises à jour du référentiel cadre 137 | 138 | Afin d'assurer la transparence et la sincérité de l'élaboration participative du référentiel cadre de la data science responsable et de confiance, le processus décrit sur le schéma ci-dessous est mis en place. 139 | 140 | Le travail itératif pour améliorer le référentiel se déroule tout au long de l'année, mais les mises à jour officielles du référentiel ne sont entérinées qu'une fois par semestre. Pour celles-ci, la version candidate pour mise à jour, composée de toutes les contributions des premiers mois du semestre, sont transmises pro-activement à la communauté (suiveurs de ce repository, inscrits au Meetup, inscrits à la mailing list, abonnés au Slack). Toutes les questions, remarques, propositions et objections sont traitées en toute transparence via les issues et PRs sur ce repository. La version candidate pour mise à jour est ainsi affinée pour faire consensus, et entérinée une fois tous les retours traités et le consensus assuré. 141 | 142 | ![Représentation schématique du processus de supervision et validation de mise à jour du référentiel cadre](./img/processus_mise_a_jour_referentiel_cadre_dsrc.png) 143 | 144 | ### Elaboration participative, contributions et retours - Remerciements 145 | 146 | Nous remercions tous les contributeurs de près ou de loin à ce commun numérique, qui, par leurs questions lors des ateliers, par les articles ou outils qu'ils ont suggérés, par les critiques et suggestions qu'ils ont faites à partir de l'assessment, par leurs contributions directes à la rédaction de certains points, ont façonné et façonnent encore le référentiel cadre de la data science responsable et de confiance. 147 | 148 | ![Représentation schématique de la diversité des organisations dont sont issus les contributeurs au référentiel](./img/diversite_contributeurs.png) 149 | 150 | ### Mise à disposition 151 | 152 | Licence Creative Commons
Ce(tte) œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution - Pas d'Utilisation Commerciale - Pas de Modification 4.0 International. 153 | --------------------------------------------------------------------------------