Steuerbare Eingangsmetriken | Business Intelligence Beratung

Ich gebe es zu: Ich bin ein wenig besessen von Amazons Konzept der steuerbaren Eingangsmetriken. Die Idee selbst scheint trivial einfach. „Und?“ Ich höre Sie schon sagen. „Ist steuerbare Input-Metrik nicht nur eine schicke Umschreibung für ‚Frühindikator‘? Und ist es nicht nur eine weitere Sache, die Sie bereits tun sollten, wenn Sie Ihre OKRs festlegen?“ Dies sind gute Punkte. Aber sie sind weitgehend orthogonal zu der Denkweise, zu der die steuerbare Input-Metrik Sie zwingt. Ich würde behaupten, dass steuerbare Input-Metriken die Art von Idee sind, die an der Oberfläche trivial erscheint, aber dann die Art und Weise verändert, wie Sie über Daten denken, sobald Sie sie in die Praxis umsetzen. Und ich würde sogar so weit gehen zu sagen, dass sie die Art und Weise, wie ich über operative Strenge denke, grundlegend verändert hat. Einen Vorgeschmack darauf möchte ich Ihnen in diesem Blogbeitrag geben. Lassen Sie uns also beginnen. Probieren Sie es aus Der Schlüssel, um die Nuancen dieser Idee zu verstehen, ist der Versuch, kontrollierbare Input-Metriken für Ihr eigenes Unternehmen zu finden. Machen Sie mir Mut. Denken Sie an einen Geschäftsprozess, an dem Sie beteiligt sind. Denken Sie nun an die Metriken, die Sie messen könnten, wenn Sie diesen Prozess instrumentieren. Wenn Sie so sind wie ich, würden Sie an solche Metriken denken: Vertrieb: Anzahl der abgeschlossenen Geschäfte. Marketing: Blog-Traffic oder die Anzahl der neuen Newsletter-Abonnenten pro Woche. Software-Engineering: Anzahl der neuen Funktionen, die pro Zeitperiode ausgeliefert werden. Kundensupport: Umfrageergebnisse nach der Kundenbetreuung / NPS. Und so weiter. Die Chancen stehen gut, dass die Metriken, die Sie auswählen, Output-Metriken sein werden – also Ergebnisse, die Sie für das Unternehmen wollen, über die Sie aber nur indirekt Kontrolle haben. Nehmen Sie zum Beispiel den Blog-Traffic. Angenommen, Ihr Ziel ist es, den Blog-Traffic innerhalb der nächsten sechs Monate um das Doppelte zu steigern. Was würden Sie tun? Mehr Gastbeiträge schreiben? Mehr SEO betreiben? Ihre Website-Struktur auf Vordermann bringen? Versuchen, mehrere Beiträge viral gehen zu lassen? Die wahrscheinliche Antwort ist, dass Sie all diese Dinge versuchen werden, aber mit dem Verständnis, dass Sie eine Verzögerung von Ihren Bemühungen erfahren werden. Bei SEO-bezogenen Verbesserungen zum Beispiel kann das durchaus eine sechsmonatige Lücke zwischen Aktion und Ergebnissen sein. Und deshalb ist es nicht gut genug, Output-Metriken zu messen. Es ist nicht gut genug, wenn Sie Ihre Mitarbeiter motivieren wollen, und es ist sicherlich nicht gut genug, wenn Sie bei Amazon arbeiten. Wie Colin Bryar es ausdrückt: Wenn Sie ein guter Operator sein wollen, müssen Sie ein konkretes Verständnis der Faktoren haben, über die Sie Kontrolle haben und die direkt zu der Output-Metrik beitragen, die Ihnen wichtig ist. Und Sie müssen das messen. Er argumentiert: „Die besten Betreiber, die ich gesehen habe, wissen ganz genau, dass sie die gewünschten Ergebnisse erhalten, wenn sie diese Knöpfe drücken oder diese Hebel auf die richtige Weise drehen. Sie verstehen diesen Prozess durch und durch.“ Diese Input-Metriken sind in der Regel kundenbezogen. „Ist das Kundenerlebnis in dieser Woche besser als in der letzten Woche? Das ist schwieriger herauszufinden, als es klingt. Also überwacht man 10 oder 20 verschiedene Dinge, man experimentiert ein wenig“, sagt Bryar. „Messen Sie tagein, tagaus – ein großartiger Betreiber misst immer, damit er genau weiß, was passiert. Wenn Sie etwas nicht messen, wird es schief gehen.“ Was Sie messen wollen, sind kontrollierbare Input-Metriken – Dinge, von denen Sie wissen, dass Sie sie heute verbessern können, die in den nächsten Monaten zu Veränderungen der gewünschten Output-Metrik führen würden. Diese Input-Metriken neigen dazu, Anreize für das Verhalten zu schaffen, wenn Sie sie als Organisationsziele aufstellen. Also, zum Beispiel Für den Vertrieb messen Sie die Anzahl der Antworten/Interaktionen von einzelnen Personen, die Ihrer idealen Persona entsprechen. (Die angestrebte Output-Metrik hier: Anzahl der abgeschlossenen Geschäfte). Für das Marketing: % der Blog-Posts mit einem in den Text eingebetteten benutzerdefinierten Incentive-E-Mail-Formular. (Die angestrebte Output-Kennzahl hier: Anzahl der neuen E-Mail-Abonnenten). Für die Softwareentwicklung: Mittlere Zeit vom Commit bis zur Bereitstellung. (Die angestrebte Output-Kennzahl hier: Anzahl der neuen Funktionen, die pro Zeitperiode ausgeliefert werden). Für den Kundensupport: % der Tickets, die innerhalb von 3 Tagen geschlossen werden. (Die angestrebte Output-Metrik hier: NPS). Die Schlüsseleigenschaft vieler dieser Metriken ist, dass Sie innehalten und sagen: „Moment mal, ich glaube nicht, dass diese Metriken zu den Ergebnissen führen, die wir wollen / ich glaube nicht, dass diese Metriken für uns funktionieren würden.“ Und das ist der ganze Punkt. Eine steuerbare Input-Metrik ist per Definition ein paar Schichten vor Ihrer gewünschten Output-Metrik, und Sie müssten untersuchen, ob eine feste Beziehung zwischen den beiden besteht. Noch wichtiger ist, dass eine steuerbare Input-Metrik zu einer sofortigen Verhaltensänderung in Ihrem Team führen sollte, und Sie sollten Angst haben, dass dies zu einer Art von falsch ausgerichteten Anreizen führen könnte. (Denken Sie an eine dysfunktionale Situation à la Goodhart’s Law). Amazon argumentiert, dass dies durchaus zu erwarten ist, weshalb Sie eine Phase des Ausprobierens durchlaufen müssen, um zu sehen, ob die Input-Metrik zu den gewünschten Ergebnissen führt. Ein großer Teil meiner Zusammenfassung von Working Backwards sprach über Amazons Prozess für die Auswahl kontrollierbarer Input-Metriken. Sie nannten es „den Metrik-Lebenszyklus durchlaufen“, und sie nannten ihren Metrik-Auswahlprozess DMAIC, oder „Definieren, Messen, Analysieren, Verbessern und Steuern“. So: Ich hoffe, Sie sind noch bei mir. Ich hoffe, Sie haben versucht, eine plausible Input-Metrik für Ihren Geschäftsprozess auszuwählen, zusammen mit einer dazu passenden Output-Metrik, die sie beeinflussen soll. Um Sie noch ein wenig zu provozieren: Versuchen Sie, eine Reihe von verschiedenen Prozessen in Ihrem Unternehmen durchzugehen. Fragen Sie für jeden Geschäftsprozess: Was ist das gewünschte Verhalten, das wir hier wollen? (Für das Datenteam könnte das z. B. sein: Wir wollen den Prozentsatz der Geschäftsentscheidungen, die auf der Grundlage von Daten getroffen werden, erhöhen). Was ist unsere Output-Metrik dafür, und wie instrumentieren wir sie? (Wie wollen Sie erfassen, ob Entscheidungen mit Daten getroffen werden oder nicht?) Was ist unsere Input-Metrik? Ein möglicher Kandidat ist: % der internen Berichte, auf die mindestens einmal pro Woche zugegriffen wird – sei es über ein Dashboard oder eine gelesene E-Mail. Bereiten Sie sich nun darauf vor, den DMAIC-Trial-and-Error-Prozess zu durchlaufen, den Amazon anwendet, um zu überprüfen, ob Ihre gewählte Input-Metrik tatsächlich die Output-Metrik beeinflusst. Spülen und wiederholen Sie dies für den Rest der Prozesse, die Sie in Ihrem Kopf bearbeiten möchten.

Warum ist das so wichtig?

Kehren wir also zu meiner ursprünglichen Frage zurück: Warum ist das wichtig? Und warum finde ich die Idee so tiefgründig? Wir werden nicht gelehrt, so zu denken Die einfache Antwort ist, dass uns nicht beigebracht wird, so zu denken. Wenn die Leute sagen: „Wir müssen datenorientierter sein“, nehmen wir sofort an: „Oh, wir müssen unsere Geschäftsergebnisse messen“. Und so messen wir Dinge wie die Anzahl der abgeschlossenen Geschäfte, oder Kohortenbindungsraten, oder Umsatzwachstum, oder die Anzahl der Blogbesucher. Dies sind alles Output-Metriken – und obwohl sie wichtig sind, sind sie auch nicht besonders umsetzbar. Amazon argumentiert, dass es nicht ausreicht, seine Output-Metriken zu kennen. Tatsächlich gehen sie sogar noch weiter und sagen, dass Sie Ihren Output-Metriken nicht viel Aufmerksamkeit schenken sollten; Sie sollten den kontrollierbaren Input-Metriken Aufmerksamkeit schenken, von denen Sie wissen, dass sie diese Output-Metriken beeinflussen werden. Es ist eine ganz andere Sache, wenn z. B. Ihr Kundensupport-Team weiß, dass seine Leistungsboni an eine Kombination aus NPS und „% der innerhalb von 3 Tagen geschlossenen Support-Tickets“ gebunden sind. Wenn Sie einen klaren Zusammenhang zwischen Ersterem und Letzterem aufgezeigt haben, dann wird jeder im Team einen Anreiz haben, Prozessverbesserungen zu entwickeln, um diesen Prozentsatz zu erhöhen! Natürlich gibt es potenzielle Probleme mit diesem Ansatz. Aber Amazon hat eine Reihe von Techniken entwickelt, um falsch ausgerichtete Anreize zu verhindern: Jede Metrik hat einen Eigentümer, und von jedem Eigentümer der Metrik wird erwartet, dass er versteht, was eine normale Abweichung und was eine Anomalie ist. Die Metriken werden von einer unabhängigen Abteilung (Finanzen) überprüft, was verhindert, dass die Geschäftsinhaber die Metriken manipulieren oder Metriken heraussuchen, die sie gut aussehen lassen. Metriken werden jede Woche im Rahmen des Weekly Business Review Meetings überprüft. (Dies geschieht fraktal – von der obersten Ebene bis hinunter zu den einzelnen Teams). Die Finanzabteilung informiert sowohl die Führung als auch die Geschäftsinhaber darüber, wie sie ihre Jahresziele verfolgen, sowohl bei den Input- als auch bei den Output-Kennzahlen. Von den Führungskräften und Geschäftsinhabern wird erwartet, dass sie die Effektivität jeder kritisch bewerten und sie ändern oder entfernen dürfen, wenn sie nicht mehr nützlich sind. Die Eigentümer der Metriken müssen einen Prozess für die Überprüfung jeder Metrik haben, um sicherzustellen, dass sie das misst, was sie messen soll. Der Audit-Prozess wird in regelmäßigen Abständen ausgelöst. Was ich damit sagen will, ist, dass Amazon Metriken als fein abgestimmte operative Waffe einsetzt – und dass das Unternehmen aus der Perspektive der Anreizgestaltung versteht, welche Macht gut konzipierte Metriken über das Verhalten der Organisation haben können. In der Welt der Business Intelligence verbringen wir oft Zeit damit, über coole neue Tools oder neue Pipelining-Tricks oder Daten-Unit-Tests oder „Notebooks, nicht Dashboards! Aber nichts davon ist von Bedeutung, wenn Ihre Organisation nicht für eine datengesteuerte Entscheidungsfindung eingerichtet ist. Amazon führte seine ursprünglichen Metrik-Meetings mit Stapeln von bedrucktem Papier durch. Und das in den frühen 2000er Jahren, als spaltenförmige Datenspeicher noch in den Kinderschuhen steckten und noch die Norm waren. Und es war erfolgreicher als in den kühnsten Träumen. Also: Was haben wir selbst zu sagen?nn

Weiterführende Artikel

Weiterlesen: Amazon Kennzahlen | So misst sich Amazon selbst – Buch: Working Backwards · Die vier Ausprägungen des Goodharts Gesetz · Data Warehouse