Entender a inovação · Parte IV · Organização, impacto e medida
15 · Medir a inovação
13 min de leitura
Em síntese
- Os indicadores da inovação dividem-se em três famílias (input, output intermédios, output de mercado), e nenhuma basta por si só: o input mede o esforço, não o resultado; as patentes e as publicações medem a produção de conhecimento com distorções conhecidas; só os output de mercado medem o valor, e chegam tarde.
- A evidência mais citada da disciplina é negativa e libertadora: ao nível da empresa, a despesa em I&D não se correlaciona com o desempenho econômico. Não conta quanto se gasta mas como: seleção, processo, e alinhamento com a estratégia.
- Nas fases iniciais, quando as receitas ainda não são informativas, a medição correta é o innovation accounting: métricas acionáveis, ligadas às hipóteses a validar e capazes de mudar decisões, contra as vanity metrics que crescem de qualquer maneira e não decidem nada.
- Toda a métrica transformada em objetivo corrompe-se (lei de Goodhart): quem desenha sistemas de medida deve prever que serão otimizados, e defendê-los com poucas métricas de resultado, revistas, equilibradas por contramétricas.
- As definições contam também em matéria fiscal: os Manuais de Frascati e de Oslo fixam o que é I&D e o que é inovação para efeitos estatísticos, e dessas definições decorrem na prática certificações e incentivos fiscais. Medir bem é também um requisito de acesso aos recursos do capítulo 09.
Seção 1
As três famílias de indicadores, e os limites de cada uma
Os input medem os recursos dedicados: despesa em I&D (absoluta, ou em relação às receitas: a intensidade de I&D), pessoal de pesquisa em equivalentes a tempo inteiro, capital de risco investido ao nível do sistema. São os indicadores mais disponíveis e comparáveis, e por isso dominam as estatísticas e as comparações entre países; o seu limite é constitutivo: medem o esforço, não aquilo que ele produz. Uma intensidade de I&D alta é compatível com um processo que queima recursos em projetos errados, e a comparação entre empresas com este indicador diz qual gasta mais, não qual inova melhor.
Os output intermédios medem a produção de conhecimento: patentes (contagens, famílias, citações recebidas como proxy de qualidade) e publicações científicas. São medidas reais de atividade inventiva, com distorções documentadas que quem as usa deve conhecer: a propensão a patentear varia enormemente por setor (capítulo 11: onde o segredo ou a velocidade protegem melhor, patenteia-se pouco inovando muito, e os serviços e o software estão sub-representados por construção); o valor das patentes está distribuído segundo a habitual lei de potência (poucas valem muitíssimo, a massa quase nada, portanto contar os títulos sem os ponderar soma zeros e gigantes); e todos estes indicadores são manipuláveis quando se tornam objetivos (seção 3). Usados com as devidas cautelas, continuam valiosos: sobretudo como instrumento de leitura da paisagem competitiva (capítulo 08) mais do que como boletim interno.
Os output de mercado medem o valor realizado: a quota de receitas provenientes de produtos novos (tipicamente: introduzidos nos últimos três anos), o time-to-market, as taxas de êxito dos projetos lançados, e em última análise as margens e o crescimento atribuíveis à inovação. São os indicadores que contam, com dois defeitos especulares: chegam tarde (medem a inovação de três a cinco anos atrás, não a saúde da pipeline de hoje) e atribuir o resultado à inovação exige juízo. O sistema de medida maduro combina as três famílias numa cadeia coerente: input para a sustentabilidade do esforço, intermédios para a produtividade do processo, mercado para o veredicto, com a consciência de que cada família olha para um troço diferente do tempo.
Seção 2
O resultado incômodo: quanto se gasta não prevê como corre
Se um único resultado empírico da disciplina merecesse ser afixado nas salas de reunião, seria este. A série de estudos Global Innovation 1000 (conduzida durante mais de uma década pela Booz & Company, depois Strategy&, sobre as mil empresas cotadas com a maior despesa em I&D do mundo) verificou ano após ano a mesma pergunta: a despesa em I&D, absoluta ou em intensidade, correlaciona-se com o desempenho econômico (crescimento, margens, retornos para os acionistas)? A resposta, estável ao longo de todas as edições: não. Nenhuma correlação estatisticamente apreciável, a nenhum nível de despesa; as empresas com melhores resultados não eram as que mais gastavam, e as grandes gastadoras não mostravam desempenho superior. O que distinguia as empresas inovadoras bem-sucedidas, nas mesmas análises, eram variáveis de qualidade e não de quantidade: o alinhamento entre estratégia de inovação e estratégia de empresa, a capacidade de seleção dos projetos, a qualidade do processo da ideia ao lançamento, e a escuta profunda dos clientes nas fases iniciais.
O resultado é libertador no sentido preciso do termo: desloca a pergunta de gestão de "quanto devemos gastar?" (a pergunta cómoda, porque se responde com um número) para "o nosso processo transforma bem os recursos em valor?" (a pergunta verdadeira, a que respondem os capítulos 02 a 08 deste ensaio). E é coerente com tudo o que o ensaio construiu: se a maior parte do valor depende da seleção dos problemas, da disciplina das paragens e da qualidade da validação, então duplicar o combustível de um processo que seleciona mal duplica o desperdício. A despesa em I&D continua a ser um indicador a monitorizar (abaixo de um limiar, simplesmente não se joga); deixa de ser um indicador para exibir.
Seção 3
Medir as fases iniciais: innovation accounting e a lei de Goodhart
O problema das fases iniciais. Para um projeto ou uma startup em fase inicial, os indicadores da seção 1 calam-se: as receitas não existem ou não são informativas, as patentes são poucas e recentes, e o risco é o de recuar para as métricas que crescem de qualquer maneira: usuários registrados acumulados, visualizações, seguidores, menções. Ries batizou-as vanity metrics, e o critério para as reconhecer é operacional: uma métrica é de vaidade se nenhuma decisão mudasse com a variação do seu valor. A contabilidade correta das fases iniciais (innovation accounting) inverte o critério: medem-se as grandezas ligadas às hipóteses em validação (capítulo 07), escolhidas por serem capazes de mudar decisões. As famílias típicas, por ordem de fase: métricas de aprendizagem validada (taxas de conversão nas experiências, resultados das entrevistas estruturadas) quando se valida o problema; envolvimento e retenção por coorte (quantos dos usuários de janeiro estão ativos em março?) quando se valida o produto, porque a retenção é a medida mais difícil de falsear do valor percebido; economia unitária (margem de contribuição, custo de aquisição, tempo de recuperação) quando se valida o modelo; eficiência de crescimento quando se escala. A progressão é a da fronteira F8/F9 do capítulo 07: cada fase tem as suas métricas, e usar as da fase seguinte (crescimento) antes de ter superado as da fase corrente (retenção, margem unitária) é a assinatura contabilística do escalonamento prematuro.
A lei de Goodhart. Qualquer sistema de medida, de qualquer fase, está sujeito à regularidade formulada por Charles Goodhart: quando uma medida se torna um objetivo, deixa de ser uma boa medida, porque quem é avaliado por ela otimiza-a diretamente, desligando-a do fenômeno que devia representar. Os exemplos na medição da inovação são um catálogo: objetivos sobre o número de patentes que produzem patentes fracionadas e marginais; objetivos sobre o número de ideias em pipeline que enchem o funil de candidatos que ninguém interromperá (os zombies do capítulo 08); objetivos de quota de receitas de produtos novos que se alcançam reclassificando como novo o restyling. As defesas conhecidas são de desenho, não de vigilância: poucas métricas, de resultado mais do que de atividade; contramétricas emparelhadas que tornam dispendiosa a otimização unilateral (volume com qualidade, velocidade com taxa de defeitos, patentes com citações ou com uso efetivo); revisão periódica do conjunto, porque cada métrica se consome com o uso; e a conservação do juízo: a medida informa a decisão, não a substitui, e é esta subordinação que retira o prêmio à manipulação.
Seção 4
As definições oficiais, e por que razão valem dinheiro
A medição da inovação tem dois textos normativos de referência, ambos da OCDE, que o leitor deste ensaio encontrará mais cedo ou mais tarde de forma muito concreta.
O Manual de Frascati (edição de 2015) define o que conta como pesquisa e desenvolvimento para efeitos estatísticos, com cinco critérios que uma atividade tem de satisfazer conjuntamente: deve ser nova (visar descobertas ou soluções não óbvias), criativa (assente em conceitos e hipóteses originais), incerta (quanto ao desfecho, aos custos, ao tempo), sistemática (planejada e documentada) e transferível ou reprodutível (os resultados devem poder ser transferidos ou reproduzidos). O manual distingue ainda pesquisa de base, pesquisa aplicada e desenvolvimento experimental. O Manual de Oslo (edição de 2018, já encontrado no capítulo 01) define a inovação e regula o seu levantamento estatístico junto das empresas, distinguindo a inovação de produto da inovação de processo empresarial.
A razão pela qual estas definições valem dinheiro é que os ordenamentos fiscais as incorporaram, direta ou derivadamente: os incentivos fiscais à I&D do capítulo 09 aplicam-se às atividades que qualificam como I&D (ou como inovação tecnológica, categoria tipicamente mais ampla e menos incentivada), e a qualificação segue de fato os critérios de Frascati. Em Espanha, a distinção entre investigación y desarrollo e innovación tecnológica determina taxas de dedução muito diferentes, e a via principal para dar certeza à qualificação é a certificação das atividades por entidades acreditadas (ENAC) e o consequente Informe Motivado Vinculante, que vincula a administração fiscal quanto à natureza das atividades certificadas. A consequência operacional para quem gere projetos: a documentação sistemática do trabalho de I&D (objetivos, hipóteses, incertezas enfrentadas, experimentação, resultados: o critério "sistemático" de Frascati) não é burocracia acrescentada à pesquisa, é a condição que torna a pesquisa certificável, e portanto financiável com os instrumentos fiscais. Medir e documentar bem é, literalmente, um requisito de acesso ao capital.
Encerra o capítulo uma regra de higiene que as páginas anteriores tornaram fundamentável: sobre as medidas que saem para o exterior (investidores, parceiros, público), a disciplina é declarar método e perímetro, distinguir as medidas das estimativas e as estimativas dos objetivos, e resistir à tentação de publicar números que ainda não se é capaz de sustentar. Uma página de resultados deixada vazia enquanto não houver resultados fechados para reportar comunica mais credibilidade do que uma página cheia de projeções: na medição da inovação, tal como na validação, a honestidade sobre a incerteza é uma vantagem competitiva, porque é rara.
No método Volcano
O capítulo dá o enquadramento do sistema de medida do método. Os dois termômetros do caminho (TRL para o domínio técnico, CRL para o comercial: capítulo 06) são a medição da maturidade; as métricas declaradas das fases comerciais (F8: receitas recorrentes iniciais, canal identificado, custo de aquisição medido; F9: coortes que permanecem, margem unitária positiva, crescimento orgânico observável; F10: métricas unitárias que se sustentam à multiplicação dos clientes) são o innovation accounting da seção 3, com a progressão exata que vacina contra o escalonamento prematuro: as métricas de crescimento só chegam depois das de retenção e de margem. A escolha da página "Nuestras cifras", declaradamente vazia "enquanto não houver operações fechadas para contar", com os números do modelo sempre qualificados como indicativos e não como projeções, é a regra de higiene da seção 4 aplicada à comunicação. E a certificação ENAC com Informe Motivado Vinculante, terceira alavanca do modelo, é o ponto em que este capítulo se liga aos capítulos 06 e 09: a documentação sistemática segundo os critérios de Frascati torna as atividades de I&D certificáveis por terceiros, a certificação dá certeza à qualificação fiscal, e a qualificação fiscal desbloqueia o capital que financia o troço mais incerto do percurso. Medida, maturidade e financiamento são o mesmo sistema visto de três lados.
Leituras
Para aprofundar
- OCDE, Frascati Manual 2015: os capítulos iniciais com os cinco critérios e as definições; o resto consulta-se conforme a necessidade.
- OCDE/Eurostat, Oslo Manual 2018: a definição corrente de inovação e a lógica dos levantamentos; já referência do capítulo 01.
- E. Ries, The Lean Startup (2011), capítulos sobre o innovation accounting: a distinção entre métricas acionáveis e vanity metrics na fonte original.
- B. Jaruzelski e os coautores da série Global Innovation 1000 (Booz & Company/Strategy&, várias edições em strategy+business): a evidência sobre a não correlação entre despesa em I&D e desempenho, com as análises sobre o que distingue realmente os inovadores bem-sucedidos.
Perguntas frequentes
Perguntas frequentes
Se a despesa em P&D não se correlaciona com os resultados, porque é que todos a comunicam?
Porque está disponível, é comparável e tranquilizadora: um único número, verificável no balanço, que sinaliza empenho. Como sinal de esforço é legítimo; o erro começa quando é lido como preditor de resultados, o que a evidência exclui, ou usado como objetivo, o que pela lei de Goodhart o corromperia (gastar mais é o objetivo mais fácil do mundo de atingir). A leitura madura: a despesa diz se se está a jogar o jogo, o processo decide se se ganha.
Qual é a métrica mais fiável para um projeto em fase inicial?
A ligada à hipótese mais arriscada em validação: é a própria definição de métrica acionável, e muda com a fase. Se for preciso escolher uma só, transversal à fase de produto, a retenção por coorte é a melhor candidata: mede se o produto retém quem o experimentou, é difícil de falsear (ao contrário dos acumulados, que crescem por construção) e prevê a economia futura melhor do que qualquer métrica de volume. O teste para desmascarar uma vanity metric continua a ser sempre o mesmo: que decisão mudaria se este número fosse diferente? Se a resposta for nenhuma, a métrica é decoração.
Como se evita que as pessoas otimizem as métricas em vez do trabalho?
Não se evita por completo: prevê-se e torna-se pouco rentável. As defesas de desenho: poucas métricas de resultado em vez de muitas de atividade; contramétricas emparelhadas (cada volume com a sua qualidade); rotação e revisão do conjunto antes de se consumir; e juízo humano acima da medida, declarado e praticado, porque a manipulação só compensa onde o número decide sozinho. O sinal de que o sistema se corrompeu é tipicamente um descolamento: as métricas melhoram e a realidade (clientes, tesouraria, desfechos) não.
A documentação exigida para as certificações de P&D não é tempo retirado à pesquisa?
É em parte o mesmo trabalho sob outro nome: o critério "sistemático" de Frascati (objetivos, hipóteses, incertezas, experimentação, resultados documentados) coincide com a disciplina de validação que os capítulos 03 e 07 recomendam por razões internas (decisões fundamentadas, aprendizagem retrospetiva, patrimônio de conceitos reutilizável). Feita em simultâneo e com método, a documentação custa uma fração do que custa reconstruí-la a posteriori, e rende: dá acesso aos incentivos fiscais, aguenta as inspeções, e transforma também os projetos interrompidos em ativos documentados. O tempo retirado à pesquisa é o da documentação feita mal, isto é, tarde.
Aviso. Este capítulo tem finalidade formativa: descreve sistemas e critérios de medição, incluindo as definições relevantes para efeitos das certificações e dos incentivos fiscais à I&D, nos seus traços gerais. Não constitui consultoria fiscal ou legal; a qualificação das atividades concretas e a aplicabilidade dos incentivos dependem da legislação vigente e do caso específico, a verificar com profissionais habilitados e com as entidades certificadoras competentes.
John F. Kennedy, 1962