L’utilisation de l’analyse sémantique est de plus en plus exploitée dans le cadre des enquêtes de satisfaction client. Toutefois, derrière le fantasme représenté par l’intelligence artificielle, le machine learning et autre Big Data, son utilisation génère souvent de la frustration et de la déception. Nous allons voir ici pour quelles raisons. Nous allons également voir ce qu’il faut vraiment attendre de l’analyse sémantique intégrée à un programme de Feedback Management.

Découvrir nos services

Une utilité inversement proportionnelle au nombre de questions fermées

Moins le questionnaire contient de questions fermées et plus l’utilité de la question ouverte (et donc de l’analyse sémantique) est importante. En effet, la question ouverte sert généralement à couvrir des aspects non adressés par la question fermée.

Dans le cadre d’expériences client courtes (ou à faible valeur ajoutée), le nombre de questions peut difficilement excéder 10 questions, voire 5 questions dans certains cas. A ce moment-là, la question ouverte et l’analyse sémantique associée prend sans doute tout son sens.

Par ailleurs, la question ouverte permet au client de s’exprimer sur n’importe quel sujet. Il peut ainsi revenir sur un sujet par ailleurs couvert par une question fermée (mettant ainsi en avant l’importance du concept exprimé) mais également s’exprimer sur un concept dit d’alerte (exemples : menace de procès, intention d’aller à la concurrence…) ; concepts qui, par nature, ne sont pas couverts par les questions fermées.

 

TreeMap et Nuages de mots : un effet Waouh à court terme

La lecture d’un rapport de type TreeMap ou Nuage de mots produit son effet…la première fois qu’on le lit. Même s’il n’est pas générateur de surprise, c’est surtout à l’usage que l’on s’aperçoit de son manque d’utilité opérationnelle. D’un mois à l’autre, les concepts positifs ou négatifs les plus cités demeurent les mêmes. Et il est très difficile de faire évoluer ces éléments en fonction d’actions correctives effectuées en interne.

Pourquoi ? A cause de la granularité de l’analyse sémantique. Nous le constatons aussi pour les questions de type Likert (Très satisfait, Satisfait, peu satisfait, pas du tout satisfait) dont les évolutions de pourcentage sont déjà peu sensibles. Malgré les évolutions technologiques, il est difficile d’imaginer une analyse sémantique avec plus de 3 modalités de réponse : positif, négatif et neutre. Et il ne s’agit sans doute pas que d’un problème technologique. Quand un client dit « La propreté du logement était très moyenne », il s’agit clairement d’une tonalité négative. Mais peut-on objectivement aller au-delà et assigner une note de 1 à 10 ?

 

Détection des alertes : utile et opérationnelle

De notre expérience, la sémantique sert véritablement un projet de Feedback Management lorsqu’elle est utilisée dans le cadre de la détection des alertes. Un client peut ainsi être identifié en alerte (et nécessiter un contact de la part de l’organisation) s’il exprime un concept dit d’alerte. Même si l’expression d’un tel concept se retrouve dans la note de satisfaction globale et de recommandation, certains clients vont passer au-dessus des radars.

Exemple : Imaginons qu’une organisation définisse son seuil d’alerte quand la note de recommandation est inférieure à 4 sur 10. Il est possible (et cela arrive fréquemment selon nos calculs) qu’un client mette une note de 5 mais qu’il dise clairement dans son commentaire qu’il ne compte plus jamais venir. Il peut également dire qu’il va se plaindre à « 60 millions de consommateurs ».

L’analyse sémantique est ainsi le seul moyen d’identifier les clients en alerte qui ne seraient par ailleurs pas assez insatisfait pour déclencher une alerte plus standard.

 

Facilité de lecture des commentaires

Nous le disons et répétons à tous nos clients : il faut lire les commentaires ! C’est de l’information pure et riche où se mêlent informations pratiques et sentiments exprimés. Toutefois, il est compréhensible que chacun ne veuille lire que les commentaires concernant son périmètre. Ainsi, un Directeur Opérationnel se doit de lire tous les commentaires reçus. Mais le responsable de la propreté peut vouloir se focaliser uniquement sur les commentaires qui parlent de propreté. Et quand une unité opérationnelle reçoit plusieurs centaines de verbatim par mois, l’analyse sémantique peut faire le tri nécessaire à la bonne lecture de commentaires pertinents pour son lecteur.

 

Conclusion

L’analyse sémantique est un outil fantastique et très utile à un programme de Feedback Management. Mais de notre point de vue, son utilité opérationnelle et bien plus importante que son utilité statistique. Et la façon de se servir de cet outil doit clairement être défini en amont pour éviter toute déception.

Enfin, il ne faut pas oublier qu’il est d’autant plus utile si :

  • le nombre de commentaires reçus par unité opérationnelle est très important
  • le nombre de question fermées est faible

Et encore une fois, il ne doit surtout pas exonérer les utilisateurs de lire les commentaires client.