Hay un punto de inflexión decisivo cuando llega el momento de presentar un agente de IA a sus clientes. Las pruebas dejan de ser teóricas y se pasa a la práctica. Mantener la confianza del cliente se convierte en algo muy real.
Puede crear conjuntos de evaluación exhaustivos y probar con rigor el tono, la precisión, el escalado, el compliance, el riesgo de alucinaciones y las barreras de protección propias de cada cliente. Puede completar bien todas las listas de comprobación previas al lanzamiento. Pero al final surge una pregunta más difícil:
¿Estamos probando este agente con los clientes con los que realmente va a interactuar?
Los conjuntos de pruebas previos a producción pueden cubrir a la perfección el «camino ideal». Aun así, pasan por alto al comprador impaciente que hace tres preguntas seguidas. O al evaluador escéptico que pide una comparación con la competencia. O al visitante que empieza en el chat y prefiere hablar con un agente humano cuando la conversación se complica.
Cuando las pruebas parten de supuestos genéricos, tienden a aplanar al cliente y lo convierten en alguien más simple, más tranquilo y más colaborador que en la realidad. Para resolverlo creamos Synthetic Customers: perfiles de cliente realistas y representativos, construidos a partir de datos reales de conversación. Esta funcionalidad saca a la luz los patrones de comportamiento de las conversaciones que ya se producen en toda la empresa: qué preguntan las personas, cómo lo preguntan, qué les frustra, cómo escalan y dónde necesitan más ayuda.
Esos perfiles sirven después para entender la base de clientes, probar agentes de IA, formar a los equipos humanos y someter los cambios a prueba antes de que lleguen a producción.
Aquí soy Forward Deployed Product Manager, así que trabajo mano a mano con los clientes mientras descubrimos, creamos y desplegamos nuevos agentes de IA. Cuando construimos esto, como un niño en una tienda de golosinas, quise probarlo con nuestros propios datos para ver a) si sus hallazgos eran significativos y b) hasta qué punto era buena (o no) la agrupación de clientes resultante.
Probando en casa nuestro propio AI Agent
Primero lo ejecuté sobre Signal, el agente de IA de Cresta en nuestra web, ese botoncito de chat de la esquina inferior derecha. Ese botón cumple varias funciones. Sobre todo me gusta verlo como una forma de que la gente entienda cómo trabajamos y qué hacemos interactuando de verdad con nuestro producto.
Es más que un chatbot: ayuda a los visitantes a conocer Cresta, hacer preguntas sobre el producto, encontrar recursos útiles y dar el siguiente paso, como concertar una reunión con nuestro equipo. También refleja las capacidades de AI Agent que llevamos a la experiencia de cliente enterprise: inteligencia conversacional, anclaje en el conocimiento, uso de herramientas y capacidad de llevar al visitante a la acción. Todo ello lo convierte en un buen caso de prueba para Synthetic Customers.
Como puede imaginar, los visitantes de una web no son un público único y homogéneo. Hemos comprobado de forma anecdótica que candidatos a un empleo, equipos internos e incluso actores hostiles curiosean en Signal. Unos prefieren una respuesta rápida en el chat; otros quieren hablar de verdad con el agente de IA. Unos son educados y pacientes; otros, secos, escépticos o incluso hostiles.
Leer a mano todas las conversaciones de Signal sería útil, pero no es viable en términos de recursos humanos. Synthetic Customers nos da una forma más estructurada de preguntar:
¿Quién interactúa realmente con Signal y qué intenta conseguir?
Para buscar hallazgos con valor, apliqué nuestro modelo de Synthetic Customers a miles de interacciones web de chat y de voz. Le pedí 10 «personas» o «tipos de cliente» y lo separé en dos lotes, uno por canal: chat y voz. El objetivo era entender los grandes perfiles de comportamiento que llegan a nuestra puerta de entrada digital. Y qué revelan esos perfiles sobre la tarea que le pedimos a Signal.
Los detalles que hay detrás del tráfico
El primer hallazgo no sorprendió: el grupo mayoritario son clientes potenciales. Preguntan a fondo por nuestros precios, quieren programar demos o piden información detallada sobre cómo funciona nuestra plataforma unificada.
Lo más interesante del resultado fue el detalle de comportamiento que había debajo de esa categoría tan amplia. Synthetic Customers no se limitó a decirnos que «los clientes potenciales preguntan por el producto». Desglosó la categoría en perfiles más útiles, como el «curioso que pregunta en lenguaje llano», con preguntas generales, frente al «responsable metódico de due diligence», que insiste en la diferenciación, las comparativas entre proveedores y las pruebas objetivas.
Un evaluador prudente no necesita la misma experiencia que un decisor escéptico. Del mismo modo, un validador técnico busca información distinta que un promotor del proyecto en el negocio. Estos matices que saca a la luz Synthetic Customers van más allá de una simple capa de informes: dan a los equipos un mapa de comportamiento de las personas a las que el agente atiende de verdad.
¿Otro patrón interesante? Signal funciona en chat y en voz, pero quienes escriben a Signal y quienes hablan con Signal llegan con expectativas distintas. Nuestro canal de voz tiene menos volumen que el chat, pero atiende a un juez más exigente, que pide comparativas con otros proveedores e integraciones.
Al mirar estos datos hay que preguntarse si la respuesta le sirvió al visitante, en ese canal, según su intención y su comportamiento. Una respuesta de texto breve puede ser ideal en el chat. Leída en voz alta, esa misma respuesta puede resultar demasiado densa, demasiado lenta o poco útil. Un visitante de chat acepta un enlace con los siguientes pasos; uno de voz quizá necesite un resumen hablado más claro y ayuda paso a paso.
Lo siguiente que quise entender bien fue la eficacia real de la agrupación de clientes. Una cosa es ver sus 10 principales tipos de cliente, pero ¿existen en realidad más tipos de cliente en la cola larga? Si abrimos demasiado la red, ¿acabamos siguiendo demasiados caminos en lugar de centrarnos en las conversaciones más frecuentes?
Esta vez me fijé solo en el chat y agregué las conversaciones dos veces: una en seis perfiles y otra ampliando hasta 16. Lo único que me importaba era si al ampliar se obtenían conclusiones adicionales de valor. Y si los criterios de agregación del LLM eran demasiado estrictos o demasiado laxos para aportar algo útil.
Me sorprendí al preferir el detalle de la versión de 16 perfiles. En concreto, los seis primeros de ese grupo, que juntos suponían dos tercios de las conversaciones. Los preferí al conjunto de 6 perfiles, que abarcaba el 100 % de los usuarios.
Con este grupo obtuvimos una lectura más granular de cuáles son los principales perfiles de cliente y qué preguntan. Ese detalle extra me resulta útil sobre todo para concretar sobre qué arquetipos quiero actuar al ajustar un agente o al extraer conclusiones de negocio.
¿Y ahora qué?
¿Y qué hacemos con esta información? Estas conclusiones nos resultan útiles a nivel interno de varias formas.
Son señales de comportamiento que podemos seguir y que sin duda llevaré a mis clientes. Por ejemplo: cuando alguien habla con un agente en la web o en una llamada de voz, suele ser más seco. Va más al grano y se anda menos por las ramas. Por eso los clientes pueden contar con sus agentes de IA para sacar a la luz las preguntas sinceras de su público.
A nivel interno, estas conclusiones nos dicen con claridad qué importa más a quienes evalúan Cresta, ya sea como proveedor, como empleador o como partner. Actuamos en dos frentes.
El primero es inmediato: entrar en Signal y comprobar que responde lo mejor posible a las preguntas que recibe, o que las deriva correctamente a una conversación humana.
El segundo es continuo: seguir vigilando las preguntas que Signal atiende. Cada vez que lanzamos un producto vemos un repunte de preguntas sobre cómo funciona, para quién es y qué hace… y lo mismo le pasa a cualquiera de nuestros clientes.
Para nosotros esto no es hipotético. Lo primero que cambiamos fue lo pequeño: recortamos el saludo inicial de un párrafo a dos líneas. El «curioso que pregunta en lenguaje llano» no quiere leer una declaración de misión antes de preguntar; quiere su respuesta.
También tratamos los dos canales —voz y chat— como puertas de entrada igual de legítimas y mejoramos la forma en que los clientes acceden al agente de voz desde el widget de chat nativo. La versión ampliada de esa misma mejora ya está en nuestro roadmap: hacer que el paso entre voz y chat sea más nativo y tratar Signal como una sola conversación entre canales, no como dos.
Cualquiera que utilice Cresta AI Agent puede aplicar Synthetic Customers a sus propias conversaciones y ver qué pregunta la gente en realidad. Después puede usar ese material para mantener formados y al día tanto a sus agentes como a las personas que atienden esas llamadas.
Con Synthetic Customers, quienes llegan a su empresa se convierten en públicos distintos con necesidades distintas. Eso permite actuar en varios frentes:
- Mejora las pruebas del agente. Podemos tomar los perfiles que afloran de conversaciones reales de Signal y usarlos como base para pruebas de simulación. En lugar de probar Signal con prompts genéricos de visitante, comprobamos cómo gestiona al evaluador escéptico, al que busca una demo con prisa, al validador técnico o al comprador que prefiere la voz.
- Mejora el diseño del agente. Si ciertos perfiles preguntan siempre por integraciones, comparativas o plazos de despliegue, esas rutas merecen atención adicional. Si algunos tipos de visitante necesitan un camino más claro hacia la demo, eso debe influir en cómo los guía Signal. Y si los visitantes de voz se comportan distinto que los de chat, hay que evaluar cada experiencia por separado.
- Mejora el aprendizaje de go-to-market. Signal no solo responde preguntas: capta lo que el mercado quiere saber antes de que empiece una conversación humana. Lo que los visitantes preguntan a un agente de IA revela sus dudas, qué mensajes calan, qué afirmaciones necesitan respaldo y dónde la web no responde con suficiente claridad por sí sola.
Probar Synthetic Customers en casa, sobre Signal, confirmó algo sencillo: los agentes de IA generan un nuevo tipo de señal del cliente. Cada conversación es una prueba: muestra qué le importa a la gente, qué no entiende y dónde la experiencia la hace avanzar o la deja atascada.
Sin las herramientas adecuadas, esa prueba es difícil de aprovechar. Se queda en las transcripciones o se diluye en métricas agregadas. Esas métricas indican volumen y contención, pero no revelan las sutilezas de comportamiento que hay debajo.
Synthetic Customers convierte esa prueba en un modelo vivo del público. Con Signal nos ayudó a ver los distintos tipos de visitante que interactúan con el AI Agent de nuestra web, en qué se separan los comportamientos de chat y de voz, y dónde conviene adaptar la experiencia por perfil y por canal.
Ya no basta con «¿ha pasado el agente la prueba?»; ahora la pregunta es «¿hemos probado el agente con los clientes adecuados?».
Y una vez que el agente está en producción: «¿qué nos están enseñando ahora los clientes reales?».
Ese es el valor de consumir el propio producto: a veces hace exactamente aquello para lo que se creó y a veces enseña algo que nadie habría sabido buscar.
Ahora hágame un favor. Abra Signal y escriba «me ha gustado mucho el artículo sobre Synthetic Customers y Signal». La próxima vez que ejecute este informe sabré cuántos de ustedes han llegado hasta aquí.
