Une démonstration n'est pas un produit

La vidéo est bluffante. Le système comprend, agit, réussit. Six mois plus tard, personne ne l'a utilisé. Ce n'est pas de la malhonnêteté, c'est la distance normale entre une démonstration et un produit, et elle se mesure.

Les quatre questions à poser à toute démonstration

1. Est-ce disponible, et pour qui ? « Annoncé », « en aperçu », « pour quelques partenaires », « liste d'attente » et « disponible » sont cinq états différents. Seul le dernier compte.
2. La vidéo est-elle accélérée ou montée ? La mention figure souvent en petit. Un système qui met quarante secondes à répondre ne se montre jamais en temps réel.
3. Combien d'essais pour ce résultat ? Un exemple réussi ne dit rien du taux de réussite. C'est l'information la plus décisive et la plus rarement donnée.
4. Qui a choisi la tâche ? Une démonstration montre toujours le terrain le plus favorable. C'est de bonne guerre, à condition de le savoir.

Le signal qui vaut mille communiqués

Attendez que des gens qui n'ont aucun lien avec l'éditeur s'en servent pour de vrai, sur leur propre travail, et racontent ce qui coince. Ce retour-là arrive toujours, et il arrive vite : quelques jours, une semaine.

La règle pratique : ne vous faites pas d'opinion le jour de l'annonce. Ça ne coûte rien d'attendre, et l'information est bien meilleure sept jours plus tard.

Le cas particulier des agents

Les démonstrations d'agents, ces systèmes qui enchaînent des actions tout seuls, sont les plus trompeuses. Une chaîne de dix étapes réussie fait un film formidable. Mais si chaque étape réussit neuf fois sur dix, la chaîne entière réussit environ une fois sur trois. La démonstration montre le tiers qui a marché.

À faire tout de suite : reprenez une annonce qui vous a impressionné. Cherchez le taux de réussite. S'il n'est nulle part, vous savez ce que ça veut dire.