Entender la innovación · Parte IV · Organización, impacto y medida
15 · Medir la innovación
13 min de lectura
En síntesis
- Los indicadores de la innovación se dividen en tres familias (inputs, outputs intermedios, outputs de mercado), y ninguna basta por sí sola: el input mide el esfuerzo, no el resultado; las patentes y las publicaciones miden la producción de conocimiento con distorsiones conocidas; solo los outputs de mercado miden el valor, y llegan tarde.
- La evidencia más citada de la disciplina es negativa y liberadora: en el nivel de la empresa, el gasto en I+D no correlaciona con el rendimiento económico. No cuenta cuánto se gasta sino cómo: selección, proceso y alineación con la estrategia.
- En las fases iniciales, cuando los ingresos todavía no son informativos, la medición correcta es la contabilidad de la innovación (innovation accounting): métricas accionables, ligadas a las hipótesis que validar y capaces de cambiar decisiones, frente a las métricas de vanidad (vanity metrics) que crecen de todos modos y no deciden nada.
- Toda métrica transformada en objetivo se corrompe (ley de Goodhart): quien diseña sistemas de medida debe prever que serán optimizados, y defenderlos con pocas métricas de resultado, revisadas, equilibradas por contramétricas.
- Las definiciones cuentan también fiscalmente: los Manuales de Frascati y de Oslo fijan qué es I+D y qué es innovación a efectos estadísticos, y de esas definiciones se derivan en la práctica certificaciones e incentivos fiscales. Medir bien es también un requisito de acceso a los recursos del capítulo 09.
Sección 1
Las tres familias de indicadores, y los límites de cada una
Los inputs miden los recursos dedicados: gasto en I+D (absoluto, o en relación con los ingresos: la intensidad de I+D), personal de investigación en equivalentes a tiempo completo, capital de riesgo invertido a nivel de sistema. Son los indicadores más disponibles y comparables, y por eso dominan las estadísticas y las comparaciones entre países; su límite es constitutivo: miden el esfuerzo, no lo que produce. Una intensidad de I+D alta es compatible con un proceso que quema recursos en proyectos equivocados, y la comparación entre empresas sobre este indicador dice cuál gasta más, no cuál innova mejor.
Los outputs intermedios miden la producción de conocimiento: patentes (recuentos, familias, citas recibidas como proxy de calidad) y publicaciones científicas. Son medidas reales de actividad inventiva, con distorsiones documentadas que quien las usa debe conocer: la propensión a patentar varía enormemente según el sector (capítulo 11: donde el secreto o la velocidad protegen mejor, se patenta poco innovando mucho, y los servicios y el software están infrarrepresentados por construcción); el valor de las patentes está distribuido según la habitual ley de potencia (pocas valen muchísimo, la masa casi nada, de modo que contar los títulos sin ponderarlos suma ceros y gigantes); y todos estos indicadores son manipulables cuando se convierten en objetivos (sección 3). Usados con las cautelas, siguen siendo valiosos: sobre todo como instrumento de lectura del paisaje competitivo (capítulo 08) más que como boletín de notas interno.
Los outputs de mercado miden el valor realizado: la cuota de ingresos procedente de productos nuevos (típicamente: introducidos en los últimos tres años), el time-to-market, las tasas de éxito de los proyectos lanzados, y en última instancia los márgenes y el crecimiento atribuibles a la innovación. Son los indicadores que cuentan, con dos defectos especulares: llegan tarde (miden la innovación de hace tres a cinco años, no la salud del pipeline de hoy) y atribuir el resultado a la innovación requiere juicio. El sistema de medida maduro combina las tres familias en una cadena coherente: inputs para la sostenibilidad del esfuerzo, intermedios para la productividad del proceso, mercado para el veredicto, con la conciencia de que cada familia mira un tramo distinto del tiempo.
Sección 2
El resultado incómodo: cuánto se gasta no predice cómo va
Si un solo resultado empírico de la disciplina mereciera colgarse en las salas de reuniones, sería este. La serie de estudios Global Innovation 1000 (realizada durante más de una década por Booz & Company, después Strategy&, sobre las mil empresas cotizadas con mayor gasto en I+D del mundo) ha verificado año tras año la misma pregunta: ¿el gasto en I+D, absoluto o en intensidad, correlaciona con el rendimiento económico (crecimiento, márgenes, retornos para los accionistas)? La respuesta, estable a lo largo de todas las ediciones: no. Ninguna correlación estadísticamente apreciable, en ningún nivel de gasto; las empresas con los mejores resultados no eran las que más gastaban, y los grandes gastadores no mostraban rendimientos superiores. Lo que distinguía a las empresas innovadoras de éxito, en los mismos análisis, eran variables de calidad y no de cantidad: la alineación entre estrategia de innovación y estrategia de empresa, la capacidad de selección de los proyectos, la calidad del proceso de la idea al lanzamiento, y la escucha profunda de los clientes en las fases iniciales.
El resultado es liberador en el sentido preciso del término: desplaza la pregunta de gestión de "¿cuánto tenemos que gastar?" (la pregunta cómoda, porque se responde con un número) a "¿nuestro proceso transforma bien los recursos en valor?" (la pregunta verdadera, a la que responden los capítulos 02 a 08 de este ensayo). Y es coherente con todo lo que el ensayo ha construido: si la mayor parte del valor depende de la selección de los problemas, de la disciplina de las paradas y de la calidad de la validación, entonces duplicar el combustible de un proceso que selecciona mal duplica el despilfarro. El gasto en I+D sigue siendo un indicador que vigilar (por debajo de un umbral, simplemente no se juega); deja de ser un indicador que exhibir.
Sección 3
Medir las fases iniciales: contabilidad de la innovación y ley de Goodhart
El problema de las fases iniciales. Para un proyecto o una startup en las fases tempranas, los indicadores de la sección 1 callan: los ingresos no existen o no son informativos, las patentes son pocas y recientes, y el riesgo es replegarse en las métricas que crecen de todos modos: usuarios registrados acumulados, visualizaciones, seguidores, menciones. Ries las bautizó métricas de vanidad, y el criterio para reconocerlas es operativo: una métrica es de vanidad si ninguna decisión cambiaría al variar su valor. La contabilidad correcta de las fases iniciales (innovation accounting) invierte el criterio: se miden las magnitudes ligadas a las hipótesis en curso de validación (capítulo 07), elegidas porque son capaces de cambiar decisiones. Las familias típicas, en orden de fase: métricas de aprendizaje validado (tasas de conversión en los experimentos, resultados de las entrevistas estructuradas) cuando se valida el problema; engagement y retención por cohorte (¿cuántos de los usuarios de enero están activos en marzo?) cuando se valida el producto, porque la retención es la medida más difícil de trucar del valor percibido; economía unitaria (margen de contribución, coste de adquisición, tiempo de recuperación) cuando se valida el modelo; eficiencia de crecimiento cuando se escala. La progresión es la de la frontera F8/F9 del capítulo 07: cada fase tiene sus métricas, y usar las de la fase siguiente (crecimiento) antes de haber superado las de la fase actual (retención, margen unitario) es la firma contable del escalado prematuro.
La ley de Goodhart. Cualquier sistema de medida, de cualquier fase, está sujeto a la regularidad formulada por Charles Goodhart: cuando una medida se convierte en un objetivo, deja de ser una buena medida, porque quien es evaluado por ella la optimiza directamente, desconectándola del fenómeno que debía representar. Los ejemplos en la medición de la innovación son un catálogo: objetivos sobre el número de patentes que producen patentes fraccionadas y marginales; objetivos sobre el número de ideas en pipeline que llenan el embudo de candidatos que nadie parará (los zombis del capítulo 08); objetivos de cuota de ingresos procedente de productos nuevos que se alcanzan reclasificando como nuevo el restyling. Las defensas conocidas son de diseño, no de vigilancia: pocas métricas, de resultado más que de actividad; contramétricas emparejadas que hacen costosa la optimización unilateral (volumen con calidad, velocidad con tasa de defectos, patentes con citas o con uso efectivo); revisión periódica del conjunto, porque toda métrica se desgasta con el uso; y la conservación del juicio: la medida informa la decisión, no la sustituye, y es esta subordinación la que quita el premio a la manipulación.
Sección 4
Las definiciones oficiales, y por qué valen dinero
La medición de la innovación tiene dos textos normativos de referencia, ambos de la OCDE, que el lector de este ensayo encontrará antes o después en forma muy concreta.
El Manual de Frascati (edición 2015) define qué cuenta como investigación y desarrollo a efectos estadísticos, con cinco criterios que una actividad debe satisfacer conjuntamente: debe ser nueva (apuntar a descubrimientos o soluciones no obvias), creativa (basada en conceptos e hipótesis originales), incierta (sobre el resultado, sobre los costes, sobre el tiempo), sistemática (planificada y documentada) y transferible o reproducible (los resultados deben poder transferirse o reproducirse). El manual distingue además investigación básica, investigación aplicada y desarrollo experimental. El Manual de Oslo (edición 2018, ya encontrado en el capítulo 01) define la innovación y regula su medición estadística en las empresas, distinguiendo la innovación de producto de la de proceso empresarial.
La razón por la que estas definiciones valen dinero es que los ordenamientos fiscales las han incorporado, directamente o por derivación: los incentivos fiscales a la I+D del capítulo 09 se aplican a las actividades que califican como I+D (o como innovación tecnológica, categoría típicamente más amplia y menos incentivada), y la calificación sigue de hecho los criterios de Frascati. En España, la distinción entre investigación y desarrollo e innovación tecnológica determina porcentajes de deducción muy distintos, y la vía principal para dar certeza a la calificación es la certificación de las actividades por entidades acreditadas (ENAC) y el consiguiente Informe Motivado Vinculante, que vincula a la administración tributaria sobre la naturaleza de las actividades certificadas. La consecuencia operativa para quien gestiona proyectos: la documentación sistemática del trabajo de I+D (objetivos, hipótesis, incertidumbres afrontadas, experimentación, resultados: el criterio "sistemático" de Frascati) no es burocracia añadida a la investigación, es la condición que hace la investigación certificable, y por tanto financiable con los instrumentos fiscales. Medir y documentar bien es, literalmente, un requisito de acceso al capital.
Cierra el capítulo una regla de higiene que las páginas anteriores han hecho motivable: sobre las medidas que salen hacia el exterior (inversores, partners, público), la disciplina es declarar método y perímetro, distinguir las medidas de las estimaciones y las estimaciones de los objetivos, y resistir la tentación de publicar números que todavía no se está en condiciones de sostener. Una página de resultados dejada vacía hasta que no haya resultados cerrados que comunicar transmite más credibilidad que una página llena de proyecciones: en la medición de la innovación, como en la validación, la honestidad sobre la incertidumbre es una ventaja competitiva, porque es rara.
En el método Volcano
El capítulo da el marco del sistema de medida del método. Los dos termómetros del camino (TRL para el dominio técnico, CRL para el comercial: capítulo 06) son la medición de la madurez; las métricas declaradas de las fases comerciales (F8: ingresos recurrentes iniciales, canal identificado, coste de adquisición medido; F9: cohortes que permanecen, margen unitario positivo, crecimiento orgánico observable; F10: métricas unitarias que se sostienen al multiplicarse los clientes) son la contabilidad de la innovación de la sección 3, con la progresión exacta que vacuna contra el escalado prematuro: las métricas de crecimiento llegan solo después de las de retención y de margen. La elección de la página "Nuestras cifras", declaradamente vacía "hasta que no haya operaciones cerradas que contar", con las cifras de modelo siempre calificadas como orientativas y no como proyecciones, es la regla de higiene de la sección 4 aplicada a la comunicación. Y la certificación ENAC con Informe Motivado Vinculante, tercera palanca del modelo, es el punto en el que este capítulo se une a los capítulos 06 y 09: la documentación sistemática según los criterios de Frascati hace las actividades de I+D certificables por terceros, la certificación da certeza a la calificación fiscal, y la calificación fiscal desbloquea el capital que financia el tramo más incierto del recorrido. Medida, madurez y financiación son el mismo sistema visto desde tres lados.
Lecturas
Para profundizar
- OCDE, Frascati Manual 2015: los capítulos iniciales con los cinco criterios y las definiciones; el resto se consulta según necesidad.
- OCDE/Eurostat, Oslo Manual 2018: la definición vigente de innovación y la lógica de las encuestas; ya referencia del capítulo 01.
- E. Ries, The Lean Startup (2011), capítulos sobre el innovation accounting: la distinción entre métricas accionables y métricas de vanidad en la fuente original.
- B. Jaruzelski y los coautores de la serie Global Innovation 1000 (Booz & Company/Strategy&, varias ediciones en strategy+business): la evidencia sobre la no correlación entre gasto en I+D y rendimiento, con los análisis sobre qué distingue de verdad a los innovadores de éxito.
Preguntas frecuentes
Preguntas frecuentes
Si el gasto en I+D no correlaciona con los resultados, ¿por qué todos lo comunican?
Porque está disponible, es comparable y tranquilizador: un solo número, verificable en el balance, que señala compromiso. Como señal de esfuerzo es legítimo; el error empieza cuando se lee como predictor de resultados, lo que la evidencia excluye, o se usa como objetivo, lo que por la ley de Goodhart lo corrompería (gastar más es el objetivo más fácil del mundo de alcanzar). La lectura madura: el gasto dice si se está jugando el partido, el proceso decide si se gana.
¿Cuál es la métrica más fiable para un proyecto en las fases iniciales?
La ligada a la hipótesis más arriesgada en curso de validación: es la definición misma de métrica accionable, y cambia con la fase. Si se está obligado a elegir una sola transversal para la fase de producto, la retención por cohorte es la mejor candidata: mide si el producto retiene a quien lo ha probado, es difícil de trucar (a diferencia de los acumulados, que crecen por construcción) y predice la economía futura mejor que cualquier métrica de volumen. La prueba para desenmascarar una métrica de vanidad sigue siendo siempre la misma: ¿qué decisión cambiaría si este número fuera distinto? Si la respuesta es ninguna, la métrica es decoración.
¿Cómo se evita que las personas optimicen las métricas en lugar del trabajo?
No se evita del todo: se prevé y se hace poco rentable. Las defensas de diseño: pocas métricas de resultado en lugar de muchas de actividad; contramétricas emparejadas (cada volumen con su calidad); rotación y revisión del conjunto antes de que se desgaste; y juicio humano por encima de la medida, declarado y practicado, porque la manipulación compensa solo donde el número decide por sí solo. La señal de que el sistema se ha corrompido es típicamente una desconexión: las métricas mejoran y la realidad (clientes, caja, resultados) no.
¿La documentación requerida para las certificaciones de I+D no es tiempo quitado a la investigación?
Es en parte el mismo trabajo bajo otro nombre: el criterio "sistemático" de Frascati (objetivos, hipótesis, incertidumbres, experimentación, resultados documentados) coincide con la disciplina de validación que los capítulos 03 y 07 recomiendan por razones internas (decisiones motivadas, aprendizaje retrospectivo, patrimonio de conceptos reutilizable). Hecha en el momento y con método, la documentación cuesta una fracción de lo que cuesta reconstruirla a posteriori, y rinde: da acceso a los incentivos fiscales, resiste las comprobaciones, y transforma también los proyectos parados en activos documentados. El tiempo quitado a la investigación es el de la documentación mal hecha, es decir, tarde.
Aviso. Este capítulo tiene finalidad formativa: describe sistemas y criterios de medición, incluidas las definiciones relevantes a efectos de las certificaciones y de los incentivos fiscales a la I+D, en sus rasgos generales. No constituye asesoramiento fiscal o legal; la calificación de las actividades concretas y la aplicabilidad de los incentivos dependen de la normativa vigente y del caso específico, que deben verificarse con profesionales habilitados y con las entidades certificadoras competentes.
John F. Kennedy, 1962