« La participation citoyenne constitue un enjeu fondamental des démocraties contemporaines. Make.org, plateforme numérique de démocratie participative, collecte et valorise les propositions citoyennes sur de grands enjeux de société en collaboration avec des acteurs publics et privés. Son fonctionnement repose sur un mécanisme simple : les citoyens formulent librement des suggestions débutant par « Il faut. . . », que les autres visiteurs évaluent en votant pour, contre ou de manière neutre. Ce dispositif produit un corpus textuel riche, accompagné d’une information quantitative sur l’adhésion collective à chaque idée. Bien analysées, ces données peuvent orienter des politiques publiques au plus près des besoins exprimés par la population.
Ce projet s’appuie sur la consultation « Comment améliorer nos villes pour mieux y vivre ensemble? », portant sur des thématiques variées : transports, logement, environnement, lien social, sécurité, gouvernance locale. Le volume et l’hétérogénéité de ces contributions rendent toute analyse manuelle exhaustive impossible, ce qui justifie le recours à des méthodes automatiques de topic modeling.
L’objectif principal est de comparer et d’évaluer différentes approches de topic modeling dans un cadre entièrement non supervisé, en s’intéressant en particulier à la question de leur validation en l’absence de vérité terrain. Le corpus de la consultation sert de support expérimental à cette comparaison méthodologique.
Une analyse des thématiques qui en émergent est également proposée, dans une perspective illustrative, sans constituer l’objectif central du projet.
Trois approches sont développées et comparées. Les deux premières sont vectorielles : elles combinent des représentations sémantiques issues respectivement de Word2Vec et de CamemBERT avec un pipeline BERTopic en deux phases. La troisième est générative : elle confie à un LLM la tâche de produire et d’assigner les thématiques via un pipeline MapReduce. Leur comparaison s’appuie sur un protocole d’évaluation multi-critère associant des métriques classiques de topic modeling, un juge LLM indépendant et l’Adjusted Rand Index.
La suite du rapport est organisée comme suit : un état de l’art des méthodes de topic modeling, une analyse exploratoire du corpus, le détail des trois approches et leur évaluation, une analyse décisionnelle des thématiques issues de l’approche générative, puis une discussion des limites et des pistes d’amélioration. »