Hay un punto de inflexión crucial a la hora de presentar a sus clientes un agente de IA. Las pruebas dejan de ser teóricas, se pasa a la acción y lo que está en juego a la hora de mantener la confianza del cliente se vuelve real.
Puede crear conjuntos de evaluación exhaustivos y probar de forma rigurosa el tono, la precisión, el escalamiento, el cumplimiento, el riesgo de alucinaciones y las barreras de seguridad específicas del cliente. Puede ejecutar correctamente cada lista de comprobación previa al lanzamiento. Pero, con el tiempo, surge una pregunta más difícil:
¿Estamos probando este agente frente a los clientes con los que realmente va a interactuar?
Los conjuntos de pruebas previos a producción podrían cubrir a la perfección el «camino feliz» y aun así pasar por alto al comprador impaciente que hace tres preguntas a la vez, al evaluador escéptico que quiere una comparación con la competencia o al visitante que empieza en el chat pero preferiría hablar con un agente humano una vez que la conversación se vuelve más matizada.
Cuando las pruebas se construyen a partir de suposiciones genéricas, tienden a aplanar al cliente hasta convertirlo en algo más simple, más tranquilo y más cooperativo que la realidad. Para resolver este problema, creamos Synthetic Customers: perfiles de cliente realistas y representativos creados a partir de datos reales de conversaciones. Esta capacidad hace aflorar los patrones de comportamiento de las conversaciones que ya están ocurriendo en toda la empresa: qué preguntan las personas, cómo lo preguntan, qué las frustra, cómo escalan y dónde necesitan más ayuda.
Esos perfiles pueden utilizarse luego para comprender la base de clientes, probar agentes de IA, capacitar a los equipos humanos y someter a prueba los cambios antes de que lleguen a producción.
Ahora bien, soy Forward Deployed Product Manager aquí, lo que significa que trabajo mano a mano con los clientes mientras descubrimos, creamos e implementamos nuevos agentes de IA. Así que, cuando construimos esto, como un niño en una tienda de golosinas, quise probarlo con nuestros propios datos para ver a) si sus hallazgos eran significativos y b) qué tan buena (o no) era la agrupación de clientes resultante.
Probando internamente nuestro propio AI Agent
En primer lugar, ejecuté esto en Signal, el agente de IA de Cresta en nuestro sitio web, ese pequeño botón de chat en la esquina inferior derecha. Ese botón tiene varias funciones, pero principalmente me gusta pensar en él como una forma de que las personas se hagan una idea de cómo trabajamos y qué hacemos al interactuar de verdad con nuestro producto.
Más que un chatbot, ayuda a los visitantes a conocer Cresta, hacer preguntas sobre el producto, encontrar recursos relevantes y dar los siguientes pasos, como reservar una cita con nuestro equipo. También es una verdadera expresión de las capacidades de AI Agent que aportamos a la experiencia del cliente empresarial: inteligencia conversacional, fundamentación en el conocimiento, uso de herramientas y la capacidad de mover a los visitantes hacia la acción, lo que la convierte en un caso de prueba interesante para Synthetic Customers.
Los visitantes del sitio web, como puede imaginar, no son un público único y homogéneo. Hemos aprendido de forma anecdótica que posibles empleados, equipos internos e incluso actores hostiles curiosean en Signal. Algunos prefieren una respuesta rápida en el chat, mientras que otros quieren hablar realmente con el agente de IA. Algunos son educados y pacientes, mientras que otros son directos, escépticos o incluso hostiles.
Leer manualmente cada conversación de Signal sería útil, pero simplemente no es viable desde el punto de vista de los recursos humanos. Synthetic Customers nos da una forma más estructurada de preguntar:
¿Quién está interactuando realmente con Signal y qué es lo que intenta hacer?
Para buscar hallazgos significativos, ejecuté nuestro modelo de Synthetic Customers sobre miles de interacciones del sitio web en chat y voz, buscando 10 «perfiles» o «tipos de cliente», separando esto en dos lotes para cada canal, chat frente a voz. El objetivo era comprender los principales perfiles de comportamiento que aparecen en nuestra puerta de entrada digital y qué revelan esos perfiles sobre la tarea que se le pide a Signal que realice.
Los detalles detrás del tráfico
El primer hallazgo no fue sorprendente: el grupo más grande son clientes potenciales que hacen preguntas incisivas sobre nuestros precios, buscan programar demostraciones o solicitan información detallada sobre cómo funciona nuestra plataforma unificada.
Lo que me pareció más interesante del resultado fue el detalle de comportamiento subyacente en esta amplia categoría. Synthetic Customers no se limitó a decirnos que «los prospectos hacen preguntas sobre el producto»; desglosó esta categoría en perfiles más significativos, como el «aprendiz curioso de lenguaje sencillo» que hace preguntas amplias, frente al «responsable metódico de diligencia debida» que insiste más en la diferenciación, las comparaciones entre proveedores y las pruebas concretas.
Un evaluador cauteloso no necesita la misma experiencia que un responsable de la toma de decisiones escéptico, del mismo modo que un validador técnico busca información diferente que un promotor del negocio. Estos matices que hace aflorar Synthetic Customers van más allá de una simple capa de informes, y proporcionan a los equipos un mapa de comportamiento de las personas a las que el agente realmente atiende.
¿Otro patrón interesante? Signal admite tanto chat como voz, pero los visitantes que escribían a Signal y los que hablaban con Signal a menudo llevaban expectativas diferentes a la interacción. Nuestro canal de voz, aunque de menor volumen que el chat, gestiona un tipo de juez más riguroso, con solicitudes de comparaciones con otros proveedores e integraciones.
Al observar estos datos, tenemos que preguntarnos si la respuesta funcionó para el visitante, en ese canal, dada su intención y su comportamiento. Una respuesta de texto concisa puede ser ideal en el chat, pero esa misma respuesta leída en voz alta puede resultar demasiado densa, demasiado lenta o poco útil. Un visitante de chat puede tolerar un enlace que detalle los siguientes pasos, mientras que un visitante de voz puede necesitar un resumen hablado más claro y un apoyo paso a paso.
Lo siguiente que me interesaba comprender de verdad era qué tan eficaz es en realidad la agrupación de clientes. Una cosa es ver sus 10 principales tipos de cliente, pero ¿existen en realidad más tipos de cliente con una larga cola? Cuando lanzamos una red demasiado amplia, ¿nos lleva eso por demasiados caminos en lugar de centrarnos en las conversaciones más comunes?
Esta vez me fijé solo en el chat y agregué las conversaciones dos veces, una en seis perfiles y otra permitiendo ampliar a 16 perfiles. Lo único que realmente me importaba era si había alguna información adicional real que obtener al ampliar, si los criterios de agregación del LLM eran demasiado estrictos o demasiado laxos para aportar alguna información real.
Me sorprendí a mí mismo cuando en realidad preferí el detalle de la versión de 16 perfiles, más concretamente los seis principales de ese grupo, que juntos representaban dos tercios de las conversaciones, en lugar del conjunto de 6 perfiles que capturaba el 100 % completo de los usuarios.
En este grupo, obtuvimos una lectura más granular de quiénes son los principales perfiles de cliente y qué están preguntando. Ese detalle adicional me resulta útil, especialmente para concretar sobre cuáles de los arquetipos querría actuar cuando se trata de ajustar un agente o una perspectiva de negocio.
¿Y ahora qué?
Entonces, ¿qué hacemos con esta información? Estos conocimientos nos resultan útiles internamente de varias maneras.
Estas son señales de comportamiento que podemos rastrear y que sin duda llevaré a mis clientes: por ejemplo, cuando las personas interactúan con un agente en el sitio web o en una llamada de voz, pueden ser un poco más secas. Podrían ser más directas o no andarse tanto con rodeos. Esto significa que los clientes pueden confiar en que sus agentes de IA hagan aflorar de verdad las preguntas sinceras de su grupo de clientes.
Internamente, estos conocimientos nos dicen con claridad qué es lo más importante para las personas que evalúan Cresta, ya sea desde la perspectiva de un proveedor, un empleador o un socio. Nuestras acciones son de dos tipos.
Una es inmediata: profundizar en Signal y asegurarnos de que hace su trabajo respondiendo las preguntas que se le formulan lo mejor posible, o bien dejando adecuadamente esas preguntas para que formen parte de una conversación humana.
La segunda es continua: seguir observando las preguntas que Signal está atendiendo. Cada vez que lanzamos un nuevo producto, vemos un aumento de preguntas sobre cómo funciona, para quién es y qué hace… lo mismo ocurre con cualquiera de nuestros clientes.
Eso tampoco es hipotético para nosotros. Lo primero que cambiamos fue lo pequeño: recortamos nuestro saludo inicial de un párrafo a dos líneas, porque el «aprendiz curioso de lenguaje sencillo» no quiere leer una declaración de misión antes de hacer una pregunta, quiere que le respondan la pregunta.
También estamos tratando los dos canales —voz y chat— como puertas de entrada igualmente legítimas y mejorando la forma en que los clientes pueden interactuar con el agente de voz desde el widget de chat nativo. La versión más ambiciosa de esa misma mejora también está ahora en nuestra hoja de ruta: hacer que el cambio entre voz y chat sea más nativo, tratando Signal como una sola conversación entre canales en lugar de dos separadas.
Cualquiera que utilice Cresta AI Agent puede apuntar Synthetic Customers a sus propias conversaciones para ver qué están preguntando realmente las personas, y usar eso para mantener capacitados y actualizados tanto a sus agentes como a las personas que atienden esas llamadas.
Con Synthetic Customers, las personas que llegan a su empresa se convierten en públicos distintos con necesidades distintas, lo que puede fundamentar varios tipos de acción:
- Puede mejorar las pruebas de los agentes. Podemos tomar los perfiles que afloran de conversaciones reales de Signal y utilizarlos como base para pruebas de simulación. En lugar de probar Signal frente a prompts genéricos de visitantes, podemos probar cómo gestiona al evaluador escéptico, al buscador apresurado de demostraciones, al validador técnico o al comprador que prefiere la voz.
- Puede mejorar el diseño del agente. Si ciertos perfiles preguntan de forma constante por integraciones, comparaciones o plazos de implementación, esas vías merecen una atención adicional. Si ciertos tipos de visitante necesitan una ruta más clara hacia una demostración, eso debería influir en cómo los guía Signal. Si los visitantes de voz se comportan de forma diferente a los de chat, las dos experiencias deberían evaluarse en sus propios términos.
- Puede mejorar el aprendizaje de salida al mercado. Signal no solo responde preguntas; capta lo que el mercado quiere saber antes de que comience una conversación humana. Las preguntas que los visitantes hacen a un agente de IA pueden revelar sobre qué son escépticos los prospectos, qué mensajes están calando, qué afirmaciones necesitan respaldo y en qué punto el sitio web no responde algo con suficiente claridad por sí solo.
Probar internamente Synthetic Customers en Signal reforzó algo sencillo: los agentes de IA crean un nuevo tipo de señal del cliente. Cada conversación es evidencia: le muestra lo que le importa a las personas, lo que no entienden y dónde la experiencia las hace avanzar o las deja estancadas.
Sin las herramientas adecuadas, esa evidencia es difícil de aprovechar. Queda en las transcripciones, se pierde en métricas agregadas que pueden indicarle el volumen y la contención, pero no pueden revelar las sutilezas de comportamiento subyacentes.
Synthetic Customers convierte esa evidencia en un modelo vivo del público. En el caso de Signal, nos ayudó a ver los diferentes tipos de visitantes que interactúan con el AI Agent de nuestro sitio web, cómo divergen los comportamientos de chat y voz, y dónde puede que la experiencia deba adaptarse por perfil y canal.
No solo: «¿Pasó el agente la prueba?», sino: «¿Probamos el agente frente a los clientes adecuados?».
Y una vez que el agente está en funcionamiento: «¿Qué nos están enseñando ahora los clientes reales?».
Ese es el poder de consumir tu propio producto: a veces el producto hace exactamente aquello para lo que lo creaste, y a veces te muestra algo que no habrías sabido que debías buscar.
Ahora hágame un favor. Abra Signal y escriba «Me gustó mucho la publicación del blog sobre Synthetic Customers y Signal» y, la próxima vez que ejecute este informe, me haré una idea de cuántos de ustedes realmente llegaron hasta aquí.
