Capire l'innovazione · Parte IV · Organizzazione, impatto, misura
15 · Misurare l'innovazione
13 min di lettura
In sintesi
- Gli indicatori dell'innovazione si dividono in tre famiglie (input, output intermedi, output di mercato), e nessuna basta da sola: l'input misura lo sforzo, non il risultato; i brevetti e le pubblicazioni misurano la produzione di conoscenza con distorsioni note; solo gli output di mercato misurano il valore, e arrivano tardi.
- L'evidenza più citata della disciplina è negativa e liberatoria: a livello di impresa, la spesa in R&S non correla con le prestazioni economiche. Non conta quanto si spende ma come: selezione, processo, e allineamento con la strategia.
- Nelle fasi iniziali, quando i ricavi non sono ancora informativi, la misurazione corretta è l'innovation accounting: metriche azionabili, legate alle ipotesi da validare e capaci di cambiare decisioni, contro le vanity metrics che crescono comunque e non decidono nulla.
- Ogni metrica trasformata in obiettivo si corrompe (legge di Goodhart): chi disegna sistemi di misura deve prevedere che verranno ottimizzati, e difenderli con poche metriche di risultato, riviste, bilanciate da contro-metriche.
- Le definizioni contano anche fiscalmente: i Manuali di Frascati e di Oslo fissano che cosa è R&S e che cosa è innovazione ai fini statistici, e da quelle definizioni discendono in pratica certificazioni e incentivi fiscali. Misurare bene è anche un requisito di accesso alle risorse del capitolo 09.
Sezione 1
Le tre famiglie di indicatori, e i limiti di ciascuna
Gli input misurano le risorse dedicate: spesa in R&S (assoluta, o in rapporto ai ricavi: l'intensità di R&S), personale di ricerca in equivalenti a tempo pieno, capitale di rischio investito a livello di sistema. Sono gli indicatori più disponibili e comparabili, e per questo dominano le statistiche e i confronti tra Paesi; il loro limite è costitutivo: misurano lo sforzo, non ciò che produce. Un'intensità di R&S alta è compatibile con un processo che brucia risorse su progetti sbagliati, e il confronto tra imprese su questo indicatore dice quale spende di più, non quale innova meglio.
Gli output intermedi misurano la produzione di conoscenza: brevetti (conteggi, famiglie, citazioni ricevute come proxy di qualità) e pubblicazioni scientifiche. Sono misure reali di attività inventiva, con distorsioni documentate che chi le usa deve conoscere: la propensione a brevettare varia enormemente per settore (capitolo 11: dove il segreto o la velocità proteggono meglio, si brevetta poco innovando molto, e i servizi e il software sono sottorappresentati per costruzione); il valore dei brevetti è distribuito secondo la solita legge di potenza (pochi valgono moltissimo, la massa quasi nulla, quindi contare i titoli senza pesarli somma zeri e giganti); e tutti questi indicatori sono manipolabili quando diventano obiettivi (sezione 3). Usati con le cautele, restano preziosi: soprattutto come strumento di lettura del paesaggio competitivo (capitolo 08) più che come pagella interna.
Gli output di mercato misurano il valore realizzato: la quota di ricavi da prodotti nuovi (tipicamente: introdotti negli ultimi tre anni), il time-to-market, i tassi di successo dei progetti lanciati, e in ultima analisi i margini e la crescita attribuibili all'innovazione. Sono gli indicatori che contano, con due difetti speculari: arrivano tardi (misurano l'innovazione di tre-cinque anni fa, non la salute della pipeline di oggi) e attribuire il risultato all'innovazione richiede giudizio. Il sistema di misura maturo combina le tre famiglie in una catena coerente: input per la sostenibilità dello sforzo, intermedi per la produttività del processo, mercato per il verdetto, con la consapevolezza che ogni famiglia guarda un tratto diverso del tempo.
Sezione 2
Il risultato scomodo: quanto si spende non predice come va
Se un solo risultato empirico della disciplina meritasse di essere affisso nelle sale riunioni, sarebbe questo. La serie di studi Global Innovation 1000 (condotta per oltre un decennio da Booz & Company, poi Strategy&, sulle mille imprese quotate con la maggiore spesa in R&S al mondo) ha verificato anno dopo anno la stessa domanda: la spesa in R&S, assoluta o in intensità, correla con le prestazioni economiche (crescita, margini, ritorni per gli azionisti)? La risposta, stabile lungo tutte le edizioni: no. Nessuna correlazione statisticamente apprezzabile, a nessun livello di spesa; le imprese con i risultati migliori non erano quelle che spendevano di più, e i grandi spendenti non mostravano prestazioni superiori. Ciò che distingueva le imprese innovative di successo, nelle stesse analisi, erano variabili di qualità e non di quantità: l'allineamento tra strategia di innovazione e strategia d'impresa, la capacità di selezione dei progetti, la qualità del processo dall'idea al lancio, e l'ascolto profondo dei clienti nelle fasi iniziali.
Il risultato è liberatorio nel senso preciso del termine: sposta la domanda gestionale da "quanto dobbiamo spendere?" (la domanda comoda, perché si risponde con un numero) a "il nostro processo trasforma bene le risorse in valore?" (la domanda vera, a cui rispondono i capitoli da 02 a 08 di questo saggio). Ed è coerente con tutto ciò che il saggio ha costruito: se la maggior parte del valore dipende dalla selezione dei problemi, dalla disciplina delle fermate e dalla qualità della validazione, allora raddoppiare il carburante di un processo che seleziona male raddoppia lo spreco. La spesa in R&S resta un indicatore da monitorare (sotto una soglia, semplicemente non si gioca); smette di essere un indicatore da esibire.
Sezione 3
Misurare le fasi iniziali: innovation accounting e la legge di Goodhart
Il problema delle fasi iniziali. Per un progetto o una startup nelle fasi early, gli indicatori della sezione 1 tacciono: i ricavi non ci sono o non sono informativi, i brevetti sono pochi e recenti, e il rischio è di ripiegare sulle metriche che crescono comunque: utenti registrati cumulati, visualizzazioni, follower, menzioni. Ries le ha battezzate vanity metrics, e il criterio per riconoscerle è operativo: una metrica è di vanità se nessuna decisione cambierebbe al variare del suo valore. La contabilità corretta delle fasi iniziali (innovation accounting) rovescia il criterio: si misurano le grandezze legate alle ipotesi in corso di validazione (capitolo 07), scelte perché capaci di cambiare decisioni. Le famiglie tipiche, in ordine di fase: metriche di apprendimento validato (tassi di conversione negli esperimenti, esiti delle interviste strutturate) quando si valida il problema; engagement e retention per coorte (quanti degli utenti di gennaio sono attivi a marzo?) quando si valida il prodotto, perché la retention è la misura più difficile da truccare del valore percepito; economia unitaria (margine di contribuzione, costo di acquisizione, tempo di recupero) quando si valida il modello; efficienza di crescita quando si scala. La progressione è quella del confine F8/F9 del capitolo 07: ogni fase ha le sue metriche, e usare quelle della fase successiva (crescita) prima di aver superato quelle della fase corrente (retention, margine unitario) è la firma contabile dello scaling prematuro.
La legge di Goodhart. Qualunque sistema di misura, di qualunque fase, è soggetto alla regolarità formulata da Charles Goodhart: quando una misura diventa un obiettivo, cessa di essere una buona misura, perché chi è valutato su di essa la ottimizza direttamente, scollegandola dal fenomeno che doveva rappresentare. Gli esempi nella misurazione dell'innovazione sono un catalogo: obiettivi sul numero di brevetti che producono brevetti frazionati e marginali; obiettivi sul numero di idee in pipeline che riempiono l'imbuto di candidati che nessuno fermerà (i zombie del capitolo 08); obiettivi di quota di ricavi da prodotti nuovi che vengono raggiunti riclassificando come nuovo il restyling. Le difese conosciute sono di disegno, non di vigilanza: poche metriche, di risultato più che di attività; contro-metriche accoppiate che rendono costosa l'ottimizzazione unilaterale (volume con qualità, velocità con difettosità, brevetti con citazioni o con uso effettivo); revisione periodica del set, perché ogni metrica si consuma con l'uso; e la conservazione del giudizio: la misura informa la decisione, non la sostituisce, ed è questa subordinazione a togliere il premio alla manipolazione.
Sezione 4
Le definizioni ufficiali, e perché valgono denaro
La misurazione dell'innovazione ha due testi normativi di riferimento, entrambi dell'OCSE, che il lettore di questo saggio incontrerà prima o poi in forma molto concreta.
Il Manuale di Frascati (edizione 2015) definisce che cosa conta come ricerca e sviluppo ai fini statistici, con cinque criteri che un'attività deve soddisfare congiuntamente: deve essere nuova (mirare a scoperte o soluzioni non ovvie), creativa (basata su concetti e ipotesi originali), incerta (sull'esito, sui costi, sul tempo), sistematica (pianificata e documentata) e trasferibile o riproducibile (i risultati devono poter essere trasferiti o riprodotti). Il manuale distingue inoltre ricerca di base, ricerca applicata e sviluppo sperimentale. Il Manuale di Oslo (edizione 2018, già incontrato nel capitolo 01) definisce l'innovazione e ne norma la rilevazione statistica presso le imprese, distinguendo l'innovazione di prodotto da quella di processo aziendale.
La ragione per cui queste definizioni valgono denaro è che gli ordinamenti fiscali le hanno incorporate, direttamente o per derivazione: gli incentivi fiscali alla R&S del capitolo 09 si applicano alle attività che qualificano come R&S (o come innovazione tecnologica, categoria tipicamente più ampia e meno incentivata), e la qualificazione segue nei fatti i criteri di Frascati. In Spagna, la distinzione tra investigación y desarrollo e innovación tecnológica determina aliquote di deduzione molto diverse, e la via maestra per dare certezza alla qualificazione è la certificazione delle attività da parte di enti accreditati (ENAC) e il conseguente Informe Motivado Vinculante, che vincola l'amministrazione fiscale sulla natura delle attività certificate. La conseguenza operativa per chi gestisce progetti: la documentazione sistematica del lavoro di R&S (obiettivi, ipotesi, incertezze affrontate, sperimentazione, risultati: il criterio "sistematico" di Frascati) non è burocrazia aggiunta alla ricerca, è la condizione che rende la ricerca certificabile, e quindi finanziabile con gli strumenti fiscali. Misurare e documentare bene è, letteralmente, un requisito di accesso al capitale.
Chiude il capitolo una regola di igiene che le pagine precedenti hanno reso motivabile: sulle misure che escono verso l'esterno (investitori, partner, pubblico), la disciplina è dichiarare metodo e perimetro, distinguere le misure dalle stime e le stime dagli obiettivi, e resistere alla tentazione di pubblicare numeri che non si è ancora in grado di sostenere. Una pagina di risultati lasciata vuota finché non ci sono risultati chiusi da rendicontare comunica più credibilità di una pagina riempita di proiezioni: nella misurazione dell'innovazione, come nella validazione, l'onestà sull'incertezza è un vantaggio competitivo, perché è rara.
Nel metodo Volcano
Il capitolo dà la cornice del sistema di misura del metodo. I due termometri del cammino (TRL per il dominio tecnico, CRL per quello commerciale: capitolo 06) sono la misurazione della maturità; le metriche dichiarate delle fasi commerciali (F8: ricavi ricorrenti iniziali, canale identificato, costo di acquisizione misurato; F9: coorti che permangono, margine unitario positivo, crescita organica osservabile; F10: metriche unitarie che reggono al moltiplicarsi dei clienti) sono l'innovation accounting della sezione 3, con la progressione esatta che vaccina dallo scaling prematuro: le metriche di crescita arrivano solo dopo quelle di retention e di margine. La scelta della pagina "Nuestras cifras", dichiaratamente vuota "finché non ci siano operazioni chiuse da raccontare", con le cifre di modello sempre qualificate come orientative e non come proiezioni, è la regola di igiene della sezione 4 applicata alla comunicazione. E la certificazione ENAC con Informe Motivado Vinculante, terza leva del modello, è il punto in cui questo capitolo si salda ai capitoli 06 e 09: la documentazione sistematica secondo i criteri di Frascati rende le attività di R&S certificabili da terzi, la certificazione dà certezza alla qualificazione fiscale, e la qualificazione fiscale sblocca il capitale che finanzia il tratto più incerto del percorso. Misura, maturità e finanziamento sono lo stesso sistema visto da tre lati.
Letture
Per approfondire
- OCSE, Frascati Manual 2015: i capitoli iniziali con i cinque criteri e le definizioni; il resto si consulta al bisogno.
- OCSE/Eurostat, Oslo Manual 2018: la definizione corrente di innovazione e la logica delle rilevazioni; già riferimento del capitolo 01.
- E. Ries, The Lean Startup (2011), capitoli sull'innovation accounting: la distinzione tra metriche azionabili e vanity metrics nella fonte originale.
- B. Jaruzelski e i coautori della serie Global Innovation 1000 (Booz & Company/Strategy&, edizioni varie su strategy+business): l'evidenza sulla non correlazione tra spesa in R&S e prestazioni, con le analisi su che cosa distingue davvero gli innovatori di successo.
Domande frequenti
Domande frequenti
Se la spesa in R&S non correla con i risultati, perché tutti la comunicano?
Perché è disponibile, comparabile e rassicurante: un numero solo, verificabile a bilancio, che segnala impegno. Come segnale di sforzo è legittimo; l'errore comincia quando viene letto come predittore di risultati, che l'evidenza esclude, o usato come obiettivo, che per la legge di Goodhart lo corromperebbe (spendere di più è l'obiettivo più facile del mondo da centrare). La lettura matura: la spesa dice se si sta giocando la partita, il processo decide se la si vince.
Qual è la metrica più affidabile per un progetto nelle fasi iniziali?
Quella legata all'ipotesi più rischiosa in corso di validazione: è la definizione stessa di metrica azionabile, e cambia con la fase. Se si è costretti a sceglierne una sola trasversale per la fase di prodotto, la retention per coorte è la candidata migliore: misura se il prodotto trattiene chi lo ha provato, è difficile da truccare (a differenza dei cumulativi, che crescono per costruzione) e predice l'economia futura meglio di ogni metrica di volume. Il test per smascherare una vanity metric resta sempre lo stesso: quale decisione cambierebbe se questo numero fosse diverso? Se la risposta è nessuna, la metrica è arredamento.
Come si evita che le persone ottimizzino le metriche invece del lavoro?
Non lo si evita del tutto: lo si prevede e lo si rende poco redditizio. Le difese di disegno: poche metriche di risultato invece di molte di attività; contro-metriche accoppiate (ogni volume con la sua qualità); rotazione e revisione del set prima che si consumi; e giudizio umano sopra la misura, dichiarato e praticato, perché la manipolazione paga solo dove il numero decide da solo. Il segnale che il sistema si è corrotto è tipicamente uno scollamento: le metriche migliorano e la realtà (clienti, cassa, esiti) no.
La documentazione richiesta per le certificazioni di R&S non è tempo tolto alla ricerca?
È in parte lo stesso lavoro sotto altro nome: il criterio "sistematico" di Frascati (obiettivi, ipotesi, incertezze, sperimentazione, risultati documentati) coincide con la disciplina di validazione che i capitoli 03 e 07 raccomandano per ragioni interne (decisioni motivate, apprendimento retrospettivo, patrimonio di concetti riutilizzabile). Fatta contestualmente e con metodo, la documentazione costa una frazione di quanto costa ricostruirla a posteriori, e rende: dà accesso agli incentivi fiscali, regge le verifiche, e trasforma anche i progetti fermati in attivi documentati. Il tempo tolto alla ricerca è quello della documentazione fatta male, cioè tardi.
Avvertenza. Questo capitolo ha finalità formativa: descrive sistemi e criteri di misurazione, incluse le definizioni rilevanti ai fini delle certificazioni e degli incentivi fiscali alla R&S, nei loro tratti generali. Non costituisce consulenza fiscale o legale; la qualificazione delle attività concrete e l'applicabilità degli incentivi dipendono dalla normativa vigente e dal caso specifico, da verificare con professionisti abilitati e con gli enti certificatori competenti.
John F. Kennedy, 1962