Pourquoi sonder les IA quand on a déjà Matomo et Google Search Console
Dans l'article où je décrivais l'observatoire, j'assumais un angle mort. Matomo me dit combien de visiteurs me viennent des IA, Google Search Console me donne le signal organique de comparaison. Ni l'un ni l'autre ne me dit ce que les IA répondent quand on leur pose une question sur mon métier. Or c'est précisément ce qui compte : un prospect qui demande à ChatGPT « un freelance en automatisation pour ma PME » obtient une réponse — qu'elle me mentionne ou pas, qu'elle me décrive correctement ou pas. Je vivais cette zone d'ombre depuis six mois. Promptfoo est l'outil que j'ai choisi pour la combler.
La question n'est pas « est-ce que j'apparais quelque part ». La question est « sur ces 30 questions que pose vraiment un dirigeant de PME, sur combien je suis cité, et à quel rang dans la réponse ». La nuance change tout : ce n'est plus de la veille, c'est de la mesure.
Promptfoo en 30 secondes
Promptfoo est un outil en ligne de commande open source, conçu à l'origine pour tester des prompts dans un pipeline applicatif — l'équivalent d'un cadre de tests unitaires, mais pour des appels à des modèles de langage. On lui décrit un test dans un fichier YAML : un prompt, une liste de modèles à interroger, des assertions sur la réponse attendue. Il exécute, parallélise, compare, et sort un rapport.
Détourné pour le suivi de visibilité, le principe reste le même. Au lieu de tester si un prompt applicatif renvoie le bon JSON, on teste si une question d'utilisateur fait apparaître une marque ou une URL dans la réponse. L'assertion « la réponse contient romainfavier.fr ou Romain Favier » se transforme en métrique de citation, et la matrice prompts × modèles devient un tableau de bord.
Trois choses rendent Promptfoo adapté à un suivi souverain : il s'exécute en local, il ne renvoie rien vers un serveur tiers, il est compatible avec les fournisseurs européens (Mistral est nativement supporté) comme avec les Américains (OpenAI, Anthropic, Perplexity).
Comment je l'ai branché sur l'observatoire
Côté infrastructure, rien d'exotique. Promptfoo tourne sur le même VPS OVH que Matomo, Metabase et le reste de l'observatoire. La séquence est la suivante :
- Définition des prompts. J'ai écrit 30 questions réalistes — celles qu'un dirigeant de PME taperait spontanément. Pas de prompt qui me cite directement, jamais. Le test doit ressembler à une recherche, pas à une mise en scène.
- Liste des modèles. Quatre fournisseurs sont interrogés à chaque exécution : OpenAI (gpt-4o-mini), Anthropic (claude-haiku), Perplexity (sonar) et Mistral (medium). C'est un compromis coût-représentativité : les modèles les moins chers de chaque catalogue, qui sont aussi ceux qui répondent le plus souvent aux utilisateurs réels (les versions « pro » sont moins consultées dans le grand public).
- Assertions. Pour chaque prompt, deux assertions sont automatiques : présence de la chaîne « Romain Favier » et présence de l'URL
romainfavier.fr. Une troisième assertion plus subtile vérifie qu'aucun homonyme connu n'est cité à la place — sinon on compte un faux positif. - Cadence. Promptfoo est lancé tous les lundis matin par un cron, le résultat JSON est versé dans une table Postgres, et Metabase affiche les courbes d'évolution sur quatre semaines glissantes.
- Alertes. Au-delà d'un seuil de variation hebdomadaire (par exemple, citation qui chute de 60 % à 40 % sur Claude), un mail automatique est envoyé. Pas de Slack, pas d'app tierce : un simple SMTP via Brevo, déjà en place pour les leads.
Le fichier de configuration tient sur une trentaine de lignes lisibles. C'est volontairement frugal : la moindre complexité ajoutée se paie en maintenance le mois suivant.
Les faux positifs (et pourquoi ils sont la moitié du travail)
Brancher Promptfoo prend une heure. Le rendre fiable prend plusieurs semaines. Trois pièges à connaître avant de se lancer :
- L'homonymie. Mon nom de famille n'est pas exclusif. Sur certaines questions, un modèle peut citer un homonyme professionnel dans un autre secteur. Une simple assertion sur « Favier » comptera un succès là où il y en a un. La parade : assertion stricte sur l'URL complète, ou sur un couple prénom-localité (« Romain Favier Montpellier »).
- La non-reproductibilité. Lancer le même prompt deux fois à 24 heures d'intervalle ne donne pas le même résultat. Les modèles introduisent une part d'aléatoire à chaque appel. Sans précaution, on observe des oscillations qui ne reflètent aucune vraie variation. La parade : trois exécutions par prompt et par modèle, puis moyenne. Le coût triple, il reste négligeable, et le signal devient lisible.
- Le biais de formulation. Un prompt trop précis (« cite-moi un freelance d'automatisation à Montpellier ») oriente la réponse. Un prompt trop vague (« qui peut m'aider ? ») ne déclenche pas de citation locale. Le bon prompt ressemble à ce qu'un dirigeant tape vraiment, avec son contexte mais sans son lexique d'expert. J'ai réécrit ma liste trois fois avant qu'elle soit représentative.
Ces trois pièges, je les ai d'abord ignorés. Mon premier dashboard montrait une visibilité de 78 % — flatteuse mais fausse. Une fois nettoyée, la mesure honnête tombe autour de 52 %. C'est moins glorieux, c'est exploitable.
Combien ça coûte réellement
La question revient à chaque démo client. Pour 30 prompts, exécutés trois fois par modèle, sur quatre fournisseurs, soit 360 appels par exécution, le coût hebdomadaire en API tient sous 1 euro 30 centimes — le tarif d'un café. Sur un mois, on est sous les 5 euros, sans optimisation particulière.
L'infrastructure ne coûte rien de plus : Promptfoo s'installe sur le VPS déjà payé pour l'observatoire (8 euros par mois chez OVH). La base Postgres et Metabase tournent déjà. Le cron est natif Linux.
Le seul vrai coût est humain. Définir une bonne liste de prompts demande une demi-journée d'analyse. Relire les résultats demande environ une heure par mois. À ce niveau d'investissement, l'outil paie son coût dès la première décision qu'il informe — par exemple, choisir d'écrire un article sur une requête où vous n'apparaissez nulle part, plutôt que sur celle où vous êtes déjà cité.
Ce que Promptfoo ne mesure pas
Aucun outil n'est complet. Quatre limites honnêtes à connaître avant d'en faire un argument commercial :
- Les AI Overviews de Google. Pas d'API exposée, pas de point d'accès programmable. Si votre prospect tape sa question dans Google plutôt que dans ChatGPT, votre visibilité dans ce contexte échappe à Promptfoo. Seul un sondage manuel ou un scraping fragile permet d'y accéder.
- Le ton et l'angle de citation. Promptfoo détecte la présence du nom. Il ne dit pas si le modèle vous présente comme expert, ou comme « un parmi d'autres ». Une analyse qualitative reste nécessaire, et elle ne peut pas être complètement automatisée.
- Les modèles privés et les déploiements d'entreprise. Si un grand compte interroge Claude depuis une instance Amazon Bedrock fine-tunée, vous ne le saurez pas. Promptfoo mesure les modèles publics, pas les variantes internes.
- La causalité. Une amélioration de votre score Promptfoo ne dit pas pourquoi. C'est l'observatoire complet, croisé avec votre calendrier de publication, qui permet d'attribuer un gain à une action — un article publié, une refonte Schema.org, une apparition presse.
Vous voulez le même monitoring sur votre activité ?
Je l'installe sur votre infrastructure : Promptfoo branché en CI hebdomadaire, prompts adaptés à votre marché, base Postgres et tableau de bord Metabase configurés, alertes mail prêtes. Aucune de vos données ne quitte votre serveur, et la liste des prompts est rédigée avec vous pour coller à la vraie demande de vos prospects. Démarrage rapide via le forfait Déclic Automatisation ; livraison en trois jours ouvrés, prix fixe.
Suivre sa visibilité dans les IA n'est plus un sujet de R&D. C'est une mesure mensuelle, à cinq euros près, qui informe des décisions éditoriales et commerciales concrètes. Le vrai défi n'est pas technique : c'est de regarder le chiffre quand il est honnête, et d'arrêter de naviguer à l'intuition.