Innovation verstehen · Teil IV · Organisation, Wirkung, Messung
15 · Innovation messen
13 Min. Lesezeit
Zusammengefasst
- Die Indikatoren der Innovation teilen sich in drei Familien (Input, Zwischenoutput, Marktoutput), und keine genügt für sich allein: Der Input misst den Aufwand, nicht das Ergebnis; Patente und Veröffentlichungen messen die Wissensproduktion mit bekannten Verzerrungen; nur die Marktoutputs messen den Wert, und sie kommen spät.
- Die meistzitierte Evidenz der Disziplin ist negativ und befreiend: Auf Unternehmensebene korrelieren die Ausgaben für F&E nicht mit der wirtschaftlichen Leistung. Es zählt nicht, wie viel ausgegeben wird, sondern wie: Auswahl, Prozess und Ausrichtung an der Strategie.
- In den frühen Phasen, in denen die Erlöse noch nicht aussagekräftig sind, ist die korrekte Messung das Innovation Accounting: handlungsrelevante Kennzahlen, an die zu validierenden Hypothesen gebunden und fähig, Entscheidungen zu ändern, gegen die Vanity Metrics, die ohnehin wachsen und nichts entscheiden.
- Jede Kennzahl, die zum Ziel wird, verdirbt (Goodharts Gesetz): Wer Messsysteme entwirft, muss damit rechnen, dass sie optimiert werden, und sie mit wenigen Ergebniskennzahlen verteidigen, die überprüft und durch Gegenkennzahlen ausgeglichen werden.
- Die Definitionen zählen auch steuerlich: Das Frascati- und das Oslo-Handbuch legen fest, was zu statistischen Zwecken F&E und was Innovation ist, und aus diesen Definitionen ergeben sich in der Praxis Zertifizierungen und Steueranreize. Gut zu messen ist auch eine Zugangsvoraussetzung zu den Ressourcen aus Kapitel 09.
Abschnitt 1
Die drei Familien von Indikatoren und die Grenzen jeder einzelnen
Die Inputs messen die eingesetzten Mittel: Ausgaben für F&E (absolut oder im Verhältnis zu den Erlösen: die F&E-Intensität), Forschungspersonal in Vollzeitäquivalenten, auf Systemebene investiertes Risikokapital. Es sind die am besten verfügbaren und vergleichbaren Indikatoren, und deshalb beherrschen sie die Statistiken und die Ländervergleiche; ihre Grenze ist konstitutiv: Sie messen den Aufwand, nicht das, was er hervorbringt. Eine hohe F&E-Intensität ist mit einem Prozess vereinbar, der Mittel an falschen Projekten verbrennt, und der Vergleich zwischen Unternehmen anhand dieses Indikators sagt, welches mehr ausgibt, nicht welches besser innoviert.
Die Zwischenoutputs messen die Wissensproduktion: Patente (Zahlen, Familien, erhaltene Zitierungen als Näherung für Qualität) und wissenschaftliche Veröffentlichungen. Es sind tatsächliche Maße erfinderischer Tätigkeit, mit dokumentierten Verzerrungen, die kennen muss, wer sie verwendet: Die Neigung zu patentieren schwankt stark nach Branche (Kapitel 11: Wo Geheimnis oder Geschwindigkeit besser schützen, wird wenig patentiert und viel innoviert, und Dienstleistungen und Software sind konstruktionsbedingt unterrepräsentiert); der Wert der Patente ist nach dem üblichen Potenzgesetz verteilt (wenige sind sehr viel wert, die Masse fast nichts, folglich addiert das Zählen der Schutzrechte ohne Gewichtung Nullen und Riesen); und all diese Indikatoren sind manipulierbar, wenn sie zu Zielen werden (Abschnitt 3). Mit den nötigen Vorbehalten verwendet, bleiben sie wertvoll: vor allem als Instrument zur Lektüre der Wettbewerbslandschaft (Kapitel 08) und weniger als internes Zeugnis.
Die Marktoutputs messen den realisierten Wert: den Anteil der Erlöse aus neuen Produkten (typischerweise: in den letzten drei Jahren eingeführt), das Time-to-Market, die Erfolgsquoten der eingeführten Projekte und letztlich die Margen und das Wachstum, die der Innovation zuzurechnen sind. Es sind die Indikatoren, auf die es ankommt, mit zwei spiegelbildlichen Mängeln: Sie kommen spät (sie messen die Innovation von vor drei bis fünf Jahren, nicht die Gesundheit der heutigen Pipeline), und das Ergebnis der Innovation zuzurechnen verlangt Urteilskraft. Das reife Messsystem verbindet die drei Familien zu einer stimmigen Kette: Input für die Tragfähigkeit des Aufwands, Zwischenoutputs für die Produktivität des Prozesses, Markt für das Urteil, im Bewusstsein, dass jede Familie einen anderen Abschnitt der Zeit betrachtet.
Abschnitt 2
Das unbequeme Ergebnis: wie viel ausgegeben wird, sagt nicht voraus, wie es läuft
Wenn ein einziges empirisches Ergebnis der Disziplin es verdiente, in den Besprechungsräumen ausgehängt zu werden, wäre es dieses. Die Studienreihe Global Innovation 1000 (über ein Jahrzehnt von Booz & Company, später Strategy&, zu den tausend börsennotierten Unternehmen mit den weltweit höchsten F&E-Ausgaben durchgeführt) hat Jahr für Jahr dieselbe Frage geprüft: Korrelieren die F&E-Ausgaben, absolut oder als Intensität, mit der wirtschaftlichen Leistung (Wachstum, Margen, Aktionärsrenditen)? Die Antwort, über alle Ausgaben hinweg stabil: nein. Keine statistisch nennenswerte Korrelation, auf keinem Ausgabenniveau; die Unternehmen mit den besten Ergebnissen waren nicht diejenigen, die am meisten ausgaben, und die großen Ausgeber zeigten keine überlegene Leistung. Was die erfolgreichen innovativen Unternehmen in denselben Analysen auszeichnete, waren Größen der Qualität und nicht der Menge: die Abstimmung zwischen Innovationsstrategie und Unternehmensstrategie, die Fähigkeit zur Projektauswahl, die Qualität des Prozesses von der Idee bis zur Markteinführung und das tiefe Zuhören bei den Kunden in den frühen Phasen.
Das Ergebnis ist befreiend im genauen Sinn des Wortes: Es verschiebt die Führungsfrage von „wie viel müssen wir ausgeben?" (die bequeme Frage, weil man mit einer Zahl antwortet) zu „verwandelt unser Prozess die Mittel gut in Wert?" (die eigentliche Frage, die die Kapitel 02 bis 08 dieses Essays beantworten). Und es stimmt mit allem überein, was der Essay aufgebaut hat: Wenn der größte Teil des Werts von der Auswahl der Probleme, der Disziplin der Abbrüche und der Qualität der Validierung abhängt, dann verdoppelt es die Verschwendung, den Treibstoff eines Prozesses zu verdoppeln, der schlecht auswählt. Die F&E-Ausgaben bleiben ein zu beobachtender Indikator (unterhalb einer Schwelle spielt man schlicht nicht mit); sie hören auf, ein Indikator zum Vorzeigen zu sein.
Abschnitt 3
Die frühen Phasen messen: Innovation Accounting und Goodharts Gesetz
Das Problem der frühen Phasen. Für ein Projekt oder ein Startup in den frühen Phasen schweigen die Indikatoren aus Abschnitt 1: Erlöse gibt es nicht oder sie sind nicht aussagekräftig, Patente sind wenige und jung, und die Gefahr besteht darin, auf die Kennzahlen auszuweichen, die ohnehin wachsen: kumulierte registrierte Nutzer, Aufrufe, Follower, Erwähnungen. Ries hat sie Vanity Metrics genannt, und das Kriterium, sie zu erkennen, ist operativ: Eine Kennzahl ist eine Eitelkeitskennzahl, wenn sich keine Entscheidung ändern würde, wenn ihr Wert sich änderte. Die korrekte Rechnungslegung der frühen Phasen (Innovation Accounting) kehrt das Kriterium um: Gemessen werden die Größen, die an die gerade zu validierenden Hypothesen gebunden sind (Kapitel 07), gewählt, weil sie Entscheidungen ändern können. Die typischen Familien, in der Reihenfolge der Phasen: Kennzahlen des validierten Lernens (Konversionsraten in den Experimenten, Ergebnisse der strukturierten Interviews), wenn das Problem validiert wird; Engagement und Kohortenretention (wie viele der Nutzer vom Januar sind im März aktiv?), wenn das Produkt validiert wird, denn die Retention ist das am schwersten zu fälschende Maß des wahrgenommenen Werts; Unit Economics (Deckungsbeitrag, Akquisitionskosten, Amortisationszeit), wenn das Modell validiert wird; Wachstumseffizienz, wenn skaliert wird. Der Fortgang ist der der Grenze F8/F9 aus Kapitel 07: Jede Phase hat ihre Kennzahlen, und die der folgenden Phase (Wachstum) zu verwenden, bevor die der laufenden Phase (Retention, Stückmarge) bestanden sind, ist die buchhalterische Signatur der verfrühten Skalierung.
Goodharts Gesetz. Jedes Messsystem, in jeder Phase, unterliegt der von Charles Goodhart formulierten Regelmäßigkeit: Wenn ein Maß zum Ziel wird, hört es auf, ein gutes Maß zu sein, denn wer daran gemessen wird, optimiert es unmittelbar und löst es von dem Phänomen, das es darstellen sollte. Die Beispiele in der Innovationsmessung sind ein ganzer Katalog: Ziele zur Zahl der Patente, die zersplitterte und randständige Patente erzeugen; Ziele zur Zahl der Ideen in der Pipeline, die den Trichter mit Kandidaten füllen, die niemand stoppen wird (die Zombies aus Kapitel 08); Ziele zum Erlösanteil aus neuen Produkten, die erreicht werden, indem ein Restyling als neu umklassifiziert wird. Die bekannten Abwehrmittel liegen im Entwurf, nicht in der Überwachung: wenige Kennzahlen, eher Ergebnis- als Aktivitätskennzahlen; gekoppelte Gegenkennzahlen, die die einseitige Optimierung teuer machen (Menge mit Qualität, Geschwindigkeit mit Fehlerquote, Patente mit Zitierungen oder mit tatsächlicher Nutzung); regelmäßige Überprüfung des Kennzahlensatzes, denn jede Kennzahl nutzt sich im Gebrauch ab; und die Bewahrung der Urteilskraft: Das Maß informiert die Entscheidung, es ersetzt sie nicht, und es ist diese Nachordnung, die der Manipulation den Lohn entzieht.
Abschnitt 4
Die amtlichen Definitionen und warum sie Geld wert sind
Die Messung der Innovation hat zwei maßgebliche Referenztexte, beide von der OECD, denen der Leser dieses Essays früher oder später in sehr konkreter Form begegnen wird.
Das Frascati-Handbuch (Ausgabe 2015) bestimmt, was zu statistischen Zwecken als Forschung und Entwicklung zählt, mit fünf Kriterien, die eine Tätigkeit gemeinsam erfüllen muss: Sie muss neuartig sein (auf nicht naheliegende Entdeckungen oder Lösungen zielen), schöpferisch (auf ursprünglichen Konzepten und Hypothesen beruhend), ungewiss (im Ergebnis, in den Kosten, in der Zeit), systematisch (geplant und dokumentiert) und übertragbar oder reproduzierbar (die Ergebnisse müssen übertragen oder reproduziert werden können). Das Handbuch unterscheidet zudem Grundlagenforschung, angewandte Forschung und experimentelle Entwicklung. Das Oslo-Handbuch (Ausgabe 2018, bereits in Kapitel 01 begegnet) bestimmt die Innovation und regelt ihre statistische Erhebung bei den Unternehmen, wobei es die Produktinnovation von der Innovation der Geschäftsprozesse unterscheidet.
Der Grund, warum diese Definitionen Geld wert sind, ist, dass die Steuerordnungen sie unmittelbar oder abgeleitet übernommen haben: Die Steueranreize für F&E aus Kapitel 09 gelten für die Tätigkeiten, die als F&E qualifizieren (oder als technologische Innovation, eine typischerweise weiter gefasste und geringer geförderte Kategorie), und die Qualifizierung folgt tatsächlich den Frascati-Kriterien. In Spanien bestimmt die Unterscheidung zwischen investigación y desarrollo und innovación tecnológica sehr unterschiedliche Abzugssätze, und der Königsweg, der Qualifizierung Sicherheit zu geben, ist die Zertifizierung der Tätigkeiten durch akkreditierte Stellen (ENAC, die spanische Akkreditierungsstelle) und der daraus folgende Informe Motivado Vinculante, das bindende begründete Gutachten, das die Finanzverwaltung hinsichtlich der Natur der zertifizierten Tätigkeiten bindet. Die operative Folge für alle, die Projekte steuern: Die systematische Dokumentation der F&E-Arbeit (Ziele, Hypothesen, angegangene Ungewissheiten, Experimente, Ergebnisse: das Kriterium „systematisch" aus Frascati) ist keine der Forschung hinzugefügte Bürokratie, sie ist die Bedingung, die die Forschung zertifizierbar und damit über die steuerlichen Instrumente finanzierbar macht. Gut zu messen und zu dokumentieren ist buchstäblich eine Zugangsvoraussetzung zum Kapital.
Das Kapitel schließt mit einer Hygieneregel, die die vorangegangenen Seiten begründbar gemacht haben: Bei den Maßen, die nach außen gehen (Investoren, Partner, Öffentlichkeit), besteht die Disziplin darin, Methode und Systemgrenze zu erklären, die Messungen von den Schätzungen und die Schätzungen von den Zielen zu unterscheiden und der Versuchung zu widerstehen, Zahlen zu veröffentlichen, die man noch nicht tragen kann. Eine Ergebnisseite, die leer bleibt, solange es keine abgeschlossenen Ergebnisse zu berichten gibt, vermittelt mehr Glaubwürdigkeit als eine mit Prognosen gefüllte Seite: In der Messung der Innovation ist, wie in der Validierung, die Ehrlichkeit über die Ungewissheit ein Wettbewerbsvorteil, weil sie selten ist.
In der Volcano-Methode
Das Kapitel liefert den Rahmen des Messsystems der Methode. Die beiden Thermometer des Wegs (TRL für die technische Domäne, CRL für die kommerzielle: Kapitel 06) sind die Messung der Reife; die erklärten Kennzahlen der kommerziellen Phasen (F8: erste wiederkehrende Erlöse, bestimmter Kanal, gemessene Akquisitionskosten; F9: Kohorten, die bleiben, positive Stückmarge, beobachtbares organisches Wachstum; F10: Stückkennzahlen, die der Vervielfachung der Kunden standhalten) sind das Innovation Accounting aus Abschnitt 3, mit genau dem Fortgang, der gegen die verfrühte Skalierung impft: Die Wachstumskennzahlen kommen erst nach denen der Retention und der Marge. Die Entscheidung für die Seite „Nuestras cifras", erklärtermaßen leer, „solange es keine abgeschlossenen Transaktionen zu erzählen gibt", mit den Modellzahlen, die stets als orientierend und nicht als Prognosen gekennzeichnet sind, ist die Hygieneregel aus Abschnitt 4, auf die Kommunikation angewandt. Und die ENAC-Zertifizierung mit Informe Motivado Vinculante, der dritte Hebel des Modells, ist der Punkt, an dem sich dieses Kapitel mit den Kapiteln 06 und 09 verbindet: Die systematische Dokumentation nach den Frascati-Kriterien macht die F&E-Tätigkeiten durch Dritte zertifizierbar, die Zertifizierung gibt der steuerlichen Qualifizierung Sicherheit, und die steuerliche Qualifizierung schaltet das Kapital frei, das den ungewissesten Abschnitt des Wegs finanziert. Messung, Reife und Finanzierung sind dasselbe System, von drei Seiten betrachtet.
Lektüre
Zur Vertiefung
- OECD, Frascati Manual 2015: die einleitenden Kapitel mit den fünf Kriterien und den Definitionen; das Übrige schlägt man bei Bedarf nach.
- OECD/Eurostat, Oslo Manual 2018: die aktuelle Definition der Innovation und die Logik der Erhebungen; bereits Bezugspunkt von Kapitel 01.
- E. Ries, The Lean Startup (2011), die Kapitel zum Innovation Accounting: die Unterscheidung zwischen handlungsrelevanten Kennzahlen und Vanity Metrics in der Originalquelle.
- B. Jaruzelski und die Mitautoren der Reihe Global Innovation 1000 (Booz & Company/Strategy&, verschiedene Ausgaben in strategy+business): die Evidenz zur fehlenden Korrelation zwischen F&E-Ausgaben und Leistung, mit den Analysen dazu, was die erfolgreichen Innovatoren tatsächlich auszeichnet.
Häufige Fragen
Häufige Fragen
Wenn die F&E-Ausgaben nicht mit den Ergebnissen korrelieren, warum kommuniziert sie dann jeder?
Weil sie verfügbar, vergleichbar und beruhigend sind: eine einzige Zahl, in der Bilanz überprüfbar, die Engagement signalisiert. Als Signal des Aufwands ist das zulässig; der Fehler beginnt, wenn sie als Prädiktor von Ergebnissen gelesen wird, was die Evidenz ausschließt, oder als Ziel verwendet wird, was sie nach Goodharts Gesetz verderben würde (mehr auszugeben ist das leichteste Ziel der Welt). Die reife Lesart: Die Ausgabe sagt, ob man am Spiel teilnimmt, der Prozess entscheidet, ob man es gewinnt.
Welches ist die verlässlichste Kennzahl für ein Projekt in den frühen Phasen?
Diejenige, die an die riskanteste gerade validierte Hypothese gebunden ist: Das ist die Definition der handlungsrelevanten Kennzahl selbst, und sie ändert sich mit der Phase. Wenn man für die Produktphase eine einzige übergreifende wählen muss, ist die Kohortenretention die beste Kandidatin: Sie misst, ob das Produkt hält, wer es ausprobiert hat, ist schwer zu fälschen (anders als die kumulativen Größen, die konstruktionsbedingt wachsen) und sagt die künftige Wirtschaftlichkeit besser voraus als jede Mengenkennzahl. Der Test zur Entlarvung einer Vanity Metric bleibt stets derselbe: Welche Entscheidung würde sich ändern, wenn diese Zahl anders wäre? Lautet die Antwort keine, ist die Kennzahl Dekoration.
Wie verhindert man, dass die Leute die Kennzahlen statt der Arbeit optimieren?
Man verhindert es nicht vollständig: Man rechnet damit und macht es wenig einträglich. Die Abwehrmittel des Entwurfs: wenige Ergebniskennzahlen statt vieler Aktivitätskennzahlen; gekoppelte Gegenkennzahlen (jede Menge mit ihrer Qualität); Rotation und Überprüfung des Satzes, bevor er sich abnutzt; und menschliche Urteilskraft über dem Maß, erklärt und praktiziert, denn die Manipulation zahlt sich nur dort aus, wo die Zahl allein entscheidet. Das Signal, dass das System verdorben ist, ist typischerweise eine Ablösung: Die Kennzahlen verbessern sich und die Wirklichkeit (Kunden, Kasse, Ergebnisse) nicht.
Ist die für die F&E-Zertifizierungen verlangte Dokumentation nicht Zeit, die der Forschung fehlt?
Sie ist zum Teil dieselbe Arbeit unter anderem Namen: Das Kriterium „systematisch" aus Frascati (Ziele, Hypothesen, Ungewissheiten, Experimente, dokumentierte Ergebnisse) fällt mit der Validierungsdisziplin zusammen, die die Kapitel 03 und 07 aus internen Gründen empfehlen (begründete Entscheidungen, rückblickendes Lernen, wiederverwendbarer Konzeptbestand). Begleitend und mit Methode erstellt, kostet die Dokumentation einen Bruchteil dessen, was ihre nachträgliche Rekonstruktion kostet, und sie bringt etwas: Sie eröffnet den Zugang zu den Steueranreizen, hält den Prüfungen stand und verwandelt auch die gestoppten Projekte in dokumentierte Vermögenswerte. Die Zeit, die der Forschung fehlt, ist die der schlecht, also spät erstellten Dokumentation.
Hinweis. Dieses Kapitel dient der Ausbildung: Es beschreibt Messsysteme und -kriterien, einschließlich der für die Zertifizierungen und die Steueranreize für F&E maßgeblichen Definitionen, in ihren allgemeinen Zügen. Es stellt keine steuerliche oder rechtliche Beratung dar; die Qualifizierung konkreter Tätigkeiten und die Anwendbarkeit der Anreize hängen von der geltenden Rechtslage und vom Einzelfall ab und sind mit zugelassenen Fachleuten und den zuständigen Zertifizierungsstellen zu prüfen.
John F. Kennedy, 1962