Recommended resources
The freely available resources this lesson will direct you to.
¡Hola! En los módulos anteriores, el itinerario ha pasado de elegir un caso de uso de IA a preparar su despliegue y acompañar a las personas que lo utilizarán. Ahora toca responder una pregunta decisiva para quien gestiona la adopción: ¿cómo sabrás si la solución se usa y, sobre todo, si está produciendo valor?
En esta lección construirás un árbol de KPIs que conecte la activación de las personas, el uso continuado, las tareas automatizadas y el tiempo hasta el primer valor con un resultado de negocio. Trabajaremos con un ejemplo de atención al cliente, cercano a procesos en los que importan tanto la experiencia del equipo como la rapidez y calidad del servicio. Tiempo orientativo: unos 40 minutos, incluidas las lecturas y los vídeos.
Un árbol de KPIs es una hipótesis de valor
Supón que se implanta un agente de IA que clasifica incidencias entrantes y propone el equipo al que deben asignarse. Es fácil contar cuántas personas tienen acceso o cuántas veces se ejecutó el agente. Ninguna de esas cifras demuestra, por sí sola, que las incidencias lleguen antes al equipo adecuado.
El árbol de KPIs organiza medidas de distintos niveles para hacer explícita la hipótesis: qué comportamientos pueden favorecer un trabajo mejor hecho y qué resultado espera obtener el cliente. No es una prueba automática de causalidad. Si sube el uso y baja el tiempo de asignación, habrá que comprobar si ambas variaciones están relacionadas o si intervino otro cambio en el proceso.
El North Star Framework ofrece una forma útil de pensarlo: distingue las métricas sobre las que un equipo puede actuar, una medida central que expresa valor para el usuario y los resultados de negocio que suelen observarse más tarde.
The guide to discovering your product's North Star
Lee el capítulo 1 de The North Star Playbook, de Amplitude, para entender la lógica de una métrica central y sus indicadores de entrada.
En «About the North Star Framework», pp. 7–8, comienza donde se describen las cualidades de la métrica central. Observa también el esquema de la p. 8. Después, en «North Star Framework elements» y «North Star Metric and inputs», pp. 8–9, lee desde la explicación de la métrica hasta el final de la distinción entre inputs y resultado. Fíjate en que los indicadores de entrada son factores que el equipo cree relevantes, no relaciones causales ya demostradas.
Para una adopción de IA, la métrica central no tiene por qué ser «personas que abrieron la herramienta». Una candidata más útil sería incidencias elegibles clasificadas automáticamente sin necesidad de reclasificación posterior. Describe trabajo completado que podría beneficiar al equipo y al cliente. Aun así, necesita una salvaguarda de calidad: que nadie corrija una clasificación no garantiza que fuera correcta. Una revisión de una muestra de casos ayudaría a comprobarlo.
La distinción clave es esta: activar y usar la solución crea la oportunidad de obtener valor; completar tareas útiles con ella es una señal más próxima a ese valor; mejorar un resultado del negocio exige medir el proceso completo.
Del primer uso al primer valor
Antes de elegir fórmulas, conviene identificar acontecimientos distintos en el recorrido de una persona. Dar acceso no equivale a activar. Activar no equivale a convertir la herramienta en parte del trabajo habitual. Y una ejecución del agente no equivale necesariamente a una tarea resuelta.
El siguiente vídeo presenta cómo separar el primer comportamiento valioso de la intensidad y la continuidad del uso. Aunque habla de métricas de producto en general, esa separación sirve para un despliegue interno de IA.
Product Success Metrics | A Complete Tutorial
Mira «Product Success Metrics | A Complete Tutorial», de Product Analytics Academy, para distinguir activación y uso repetido antes de definir los KPIs del caso.
En el recorrido, localiza la acción principal que marca la activación, distinta del registro. En las métricas, presta atención al denominador de la tasa de activación y a la diferencia entre contar personas activas y medir cuánto usan el producto.
Para nuestro agente, podrías definir activación como «la persona ha aceptado su primera clasificación útil de una incidencia durante los siete días posteriores a recibir acceso». El hito es deliberadamente más exigente que iniciar sesión, pero menos exigente que demostrar un ahorro sostenido. La tasa debe indicar tanto el hito como su población de referencia:
El uso responde otra pregunta: ¿se incorpora la solución al trabajo? Puedes medir el porcentaje de personas elegibles que realizaron al menos una acción relevante durante la semana, los días de uso por persona o las tareas realizadas por usuario activo. Define «acción relevante» antes de contarla; abrir la interfaz y cerrarla no debería equivaler a clasificar una incidencia.
El tiempo hasta el primer valor, o time to value, introduce la dimensión temporal. En este caso, sería el tiempo entre recibir acceso y aceptar la primera clasificación útil. El vídeo siguiente subraya por qué primero hay que precisar qué beneficio busca cada tipo de usuario.
8 user onboarding metrics you should be measuring
Mira el tramo sobre time to value de «8 user onboarding metrics you should be measuring», de Appcues, para relacionar el primer beneficio con la tarea que la persona intenta realizar.
En tiempo al valor, observa por qué no basta con medir el tiempo transcurrido desde el registro: el punto de llegada debe representar una utilidad concreta para el segmento observado.
Si informas de una mediana de dos días solo entre quienes alcanzaron el hito, podrías ocultar que muchas personas nunca llegaron a él. Por eso conviene presentar juntas la mediana del tiempo y la proporción que obtuvo ese primer valor dentro de siete días. Cuando existen funciones de trabajo diferentes, calcula estas medidas por segmento: una persona que supervisa incidencias y otra que las atiende pueden tener hitos de valor distintos.
De las tareas automatizadas al resultado del negocio
Una vez que la solución se utiliza, hace falta medir qué trabajo cambia realmente. En un agente de clasificación, «número de tareas automatizadas» podría significar número de incidencias elegibles categorizadas por el agente sin reclasificación durante los siete días siguientes. La definición precisa qué tarea se cuenta y evita confundirla con «conversaciones con el agente».
También necesitas una tasa para interpretar el volumen:
El denominador importa. Sesenta clasificaciones automáticas pueden ser un avance si hubo cien incidencias elegibles, pero una señal de alcance limitado si hubo mil. Y clasificar automáticamente una incidencia no significa resolverla de principio a fin sin intervención humana: son tareas y niveles de automatización diferentes.
La referencia de métricas de Microsoft distingue indicadores de adopción, resultados de las interacciones, cambios en el proceso y resultados de negocio. Úsala para afinar esas fronteras, no para copiar todas sus métricas a un único cuadro de mando.
Agent metrics reference - Microsoft Copilot Studio | Microsoft Learn
Consulta «Agent metrics reference», de Microsoft Learn, para ver cómo una biblioteca de métricas separa uso, resultados y productividad. No necesitas estudiar cada indicador específico de la plataforma.
En «Engagement and adoption metrics», lee el contexto y las filas «Routine adoption rate» y «Per-user active days»: distinguen repetición de uso y volumen de sesiones. En «Outcome metrics», lee el comienzo y fíjate en «Resolution rate»: una interacción puede producir o no un resultado. En «Productivity and process metrics», revisa desde «Cycle time» hasta «Touchless rate», distinguiendo duración del proceso y automatización integral. Por último, en «Business outcome metrics», lee la introducción y las filas «Conversion lift» y «Retention delta» como ejemplos de resultados que el agente puede influir, pero que no genera directamente.
En el ejemplo, un resultado de negocio pertinente podría ser la mediana del tiempo desde que entra una incidencia hasta que se asigna al equipo correcto. Se mide en el sistema de incidencias, no únicamente en los registros del agente. El vínculo que quieres contrastar es que una clasificación adecuada y disponible antes reduzca esperas y retrabajo. La calidad debe seguir visible: ganar velocidad a costa de enviar casos al equipo equivocado no es una mejora.
Construcción de un árbol para un piloto
Imagina un piloto con 30 trabajadores elegibles, de los cuales 24 recibieron acceso. Durante sus primeros siete días, 18 aceptaron al menos una clasificación útil; entre esos 18, el tiempo mediano desde la habilitación hasta ese hito fue de dos días. En la cuarta semana, 12 de los 30 elegibles utilizaron el agente para una acción relevante. Esa semana entraron 100 incidencias elegibles y el agente clasificó automáticamente 60.
Estas cifras permiten describir distintos puntos del árbol sin mezclarlos:
| Nivel | KPI del piloto | Lectura |
|---|---|---|
| Acceso | 24 de 30 trabajadores elegibles habilitados | Seis personas aún no tienen la oportunidad de usarlo. |
| Activación | 18 de 24 habilitados alcanzan el primer hito en siete días: 75 % | Mide el primer uso útil, no el hábito. |
| Tiempo hasta el valor | Mediana de dos días entre los 18 que alcanzaron el hito | Debe acompañarse del porcentaje que sí lo alcanzó. |
| Uso continuado | 12 de 30 elegibles realizan una acción relevante en la semana 4: 40 % | Utiliza la misma población elegible para seguir el alcance semanal. |
| Trabajo automatizado | 60 de 100 incidencias elegibles clasificadas automáticamente: 60 % | Mide cobertura de una tarea concreta, no resolución integral. |
| Resultado de negocio | Mediana del tiempo de asignación correcta | Requiere una línea de base previa y datos del proceso. |
Observa dos decisiones sobre denominadores. La activación se calcula entre quienes recibieron acceso, porque busca saber qué ocurre después de la habilitación; el acceso se informa aparte para no esconder a los seis excluidos. El uso semanal se muestra sobre todos los elegibles, porque interesa conocer el alcance del despliegue. Si comparas ambos porcentajes sin indicar sus denominadores, la historia resultante sería engañosa.
Puedes plasmar el árbol en una hoja o documento con estas relaciones, de arriba abajo:
- Resultado buscado: reducir el tiempo de asignación correcta de incidencias, sin empeorar la calidad.
- Métrica central de valor: incidencias elegibles clasificadas automáticamente sin retrabajo detectado; acompañarla de una comprobación de calidad mediante revisión de una muestra.
- Indicadores que ayudan a explicar esa métrica: cobertura de la clasificación automática, personas que la usan de forma continuada, activación temprana y tiempo hasta el primer valor.
- Condición de acceso: personas efectivamente habilitadas frente a las elegibles.
Este orden sirve para diseñar el árbol desde el objetivo del cliente. Para diagnosticarlo, puedes examinar dónde aparece una brecha. Si la activación es alta pero el uso semanal cae, merece la pena investigar si la tarea surge con suficiente frecuencia, si el agente encaja en el flujo habitual o si sus resultados requieren demasiada revisión. Esa observación orienta una investigación; aún no identifica su causa.
Antes de presentar el árbol como evidencia de éxito, deja escritos cuatro acuerdos de medición:
- Unidad y periodo: personas durante sus primeros siete días, incidencias por semana y tiempo de asignación por incidencia no son unidades intercambiables.
- Fuente: permisos y eventos de uso para acceso y activación; sistema de incidencias para tareas y tiempos del proceso.
- Línea de base: mide el tiempo de asignación anterior al piloto con criterios de elegibilidad comparables.
- Calidad y atribución: revisa clasificaciones y otros cambios simultáneos del proceso antes de atribuir una mejora a la IA.
No hay una fórmula universal que obligue a que un 75 % de activación produzca un 60 % de cobertura o una reducción determinada del tiempo. El árbol es valioso precisamente porque permite poner a prueba esos vínculos con datos y observaciones del trabajo real.
Cierre
Un árbol de KPIs sólido no es una lista de cifras favorables. Distingue quién pudo acceder, quién obtuvo un primer beneficio, quién mantiene el uso, cuánto trabajo elegible cambia y qué resultado mejora para el cliente, con definiciones y denominadores verificables. Su métrica central debe representar valor, mientras que las medidas de calidad evitan celebrar automatizaciones que crean retrabajo.
En la próxima lección llevarás estas definiciones a Excel o Google Sheets para calcular y visualizar los principales KPIs de adopción. Tener el árbol claro primero hará que el cuadro de mando responda preguntas útiles, en lugar de limitarse a mostrar números.