Wann sollte man einer Überraschung trauen?

Stellen Sie sich ein Café vor, das Sie seit Jahren fast jeden Morgen besuchen. Der Espresso ist durchweg hervorragend.

Dann ist er an einem Dienstag plötzlich schrecklich.

Verbrannt, bitter, kaum trinkbar.

Würden Sie sofort beschließen, dass das Café bergab geht?

Wahrscheinlich nicht. Eine schlechte Tasse nach hunderten guten fühlt sich wie ein Ausrutscher an.

Stellen Sie sich nun vor, Sie probieren zum ersten Mal Kaffee an einem Flughafenstand und erhalten genau dieselbe schreckliche Tasse. Sie könnten auf der Stelle beschließen, dort nie wieder zu kaufen.

Der schlechte Kaffee kann in beiden Fällen genau gleich schlecht sein. Was sich ändert, ist die Bedeutung dieser einzelnen Erfahrung.

Dies ist ein Problem, das jedes lernende System lösen muss. Falsch zu liegen sagt Ihnen, dass Ihre Erwartung gescheitert ist. Es verrät Ihnen nicht, ob Ihr Modell falsch war, sich die Welt verändert hat oder Sie einfach auf Rauschen gestoßen sind.

Falsch liegen reicht nicht aus

Ein Vorhersagefehler (prediction error) ist schlicht die Lücke zwischen dem, was Sie erwartet haben, und dem, was tatsächlich passiert ist.

Aber die Größe dieser Lücke ist nur ein Teil der Geschichte.

Angenommen, Sie sagen einen Wert von 50 voraus und beobachten 70. Dieser Unterschied kann in einem System, das normalerweise nur um ein oder zwei Punkte schwankt, enorm sein. In einem System, in dem Werte regelmäßig um dreißig Punkte ausschlagen, kann er völlig alltäglich sein.

Die nützliche Frage lautet daher nicht nur:

Wie falsch lag ich?

Sondern auch:

Wie ungewöhnlich ist es, hier so falsch zu liegen?

Diese Unterscheidung verhindert, dass ein lernendes System jeder zufälligen Schwankung hinterherjagt.

Stellen Sie sich vor, Sie versuchen, Sprache über eine verrauschte Radioverbindung zu verstehen. Knistern und Verzerrungen verändern das Signal ständig. Wenn jeder Statik-Ausrutscher Sie zwingen würde, die Bedeutung von Wörtern zu überdenken, würde Verstehen schnell unmöglich.

Ein guter Lerner muss ein gewisses Maß an Fehler tolerieren.

Rauschen und Veränderung sind unterschiedliche Probleme

Es gibt mindestens zwei sehr unterschiedliche Gründe, warum Vorhersagen fehlschlagen können.

Der erste ist Rauschen (noise).

Stellen Sie sich vor, Sie werfen immer wieder Darts auf dieselbe Zielscheibe. Die Pfeile streuen um das Bullseye, aber die Zielscheibe selbst bleibt an einem Ort. Einzelne Würfe variieren, obwohl sich das generierende Objekt nicht verändert hat.

Die zweite Möglichkeit ist, dass sich die Zielscheibe selbst bewegt.

Nun werden alte Beobachtungen viel weniger nützlich. Eine perfekte Schätzung, wo sich das Ziel früher befand, hilft nicht viel, wenn jemand die Scheibe an die andere Wand trägt.

Lernen braucht daher eine flexible Lernrate (learning rate): wie stark die neueste Beobachtung die nächste Vorhersage verändert.

Wenn Ergebnisse verrauscht sind, ist es oft sinnvoll, Erwartungen nur langsam zu aktualisieren. Ein einzelnes seltsames Ergebnis sollte keine lange Historie überwiegen.

Wenn es Anzeichen dafür gibt, dass sich die zugrundeliegende Situation selbst verändert hat, werden neuere Informationen plötzlich viel wertvoller.

Der Hubschrauber hinter den Wolken

Eine kluge Laboraufgabe macht dieses Problem ungewöhnlich leicht sichtbar^[2].

Stellen Sie sich einen Hubschrauber vor, der hinter Wolken verborgen ist. Sie können nicht sehen, wo er sich befindet.

Alles, was Sie sehen, sind Geldsäcke, die von ihm herabfallen.

Ihre Aufgabe ist es, einen Eimer dort zu platzieren, wo Sie vermuten, dass der nächste Sack landen wird.

Die Säcke fallen nicht genau an dieselbe Stelle. Es gibt eine zufällige Streuung, sodass Sie allmählich schlussfolgern, wo sich der verborgene Hubschrauber wahrscheinlich befindet, ohne auf jeden einzelnen Landepunkt überzureagieren.

Dann, gelegentlich, bewegt sich der Hubschrauber.

Ein Sack landet plötzlich weit entfernt von der Stelle, die Sie erwartet haben.

Nun haben Sie ein Problem. War dieser eine weite Abwurf nur eine ungewöhnlich wilde Windböe oder hat sich der Hubschrauber verlagert?

Teilnehmer an diesen Experimenten nutzen keinen festen Betrag an Anpassung. Ihr Verhalten ändert sich von Durchgang zu Durchgang, je nachdem, wie wahrscheinlich es erscheint, dass sich die verborgene Quelle bewegt hat, und wie unsicher ihre aktuelle Schätzung bereits ist^[2].

Wenn ein Ergebnis wie gewöhnliche Variation aussieht, verschiebt sich die nächste Vorhersage nur ein wenig.

Wenn dasselbe Ergebnis wie ein Beweis für einen echten Veränderungspunkt (change-point) aussieht, kann sich die nächste Vorhersage drastisch verschieben.

Das Entscheidende ist, dass das Gehirn nicht nur auf den Fehler selbst reagiert. Es versucht zu schlussfolgern, was den Fehler erzeugt hat.

Verfolgt das Gehirn eine instabile Welt?

Andere Experimente legen nahe, dass das Gehirn Buch darüber führt, wie veränderlich eine Umgebung in letzter Zeit war.

In einer einflussreichen fMRT-Studie lernten Teilnehmer in Situationen, in denen Belohnungsmuster manchmal stabil blieben und sich manchmal rasch änderten^[3].

Die Menschen passten ihr Verhalten entsprechend an. Wenn die Umgebung volatiler wurde, zählten neuere Ergebnisse mehr. Wenn sie wieder stabil wurde, gewann die längerfristige Historie wieder an Bedeutung.

Aktivität im anterioren cingulären Kortex (ACC) spiegelte modellbasierte Schätzungen dieser Volatilität wider^[3].

Das bedeutet nicht, dass der ACC ein einzelnes Steuerzentrum ist, das das Lernen hoch- und runterregelt. Es deutet darauf hin, dass an Entscheidungen beteiligte Gehirnsysteme Informationen darüber repräsentieren, wie stabil—oder instabil—die aktuelle Umgebung erscheint.

Forscher haben auch vorgeschlagen, dass Neuromodulatoren bei diesem Problem helfen könnten.

Ein einflussreiches theoretisches Modell schlug unterschiedliche Rollen für Acetylcholin und Noradrenalin beim Umgang mit erwarteter und unerwarteter Unsicherheit vor^[4]. Grob gesagt ist die Idee, dass das Nervensystem zwischen Unsicherheit, die bereits Teil der Umgebung ist, und Signalen unterscheiden kann, dass sich etwas Grundlegenderes verändert hat.

Die Biologie ist komplizierter als eine einfache „ein Stoff — eine Aufgabe“-Zuordnung, aber das rechnerische Problem bleibt dasselbe.

Manchmal bedeutet Unsicherheit: Die Welt ist verrauscht.

Manchmal bedeutet sie: Mein altes Modell gilt möglicherweise nicht mehr.

Wann sollten Sie Ihre Meinung ändern?

Es gibt eine seltsame Spannung beim Lernen.

Passen Sie Ihre Erwartungen zu leicht an, wird jede Anomalie zu einer neuen Theorie.

Passen Sie sie zu langsam an, verteidigen Sie weiterhin ein Modell einer Welt, die nicht mehr existiert.

Deshalb sind Sturheit und Flexibilität in keinem einfachen Sinne Gegensätze. Beide können nützlich sein.

Wenn ein Prozess jahrelang zuverlässig war, verdient ein einzelnes merkwürdiges Ergebnis Skepsis.

Wenn unerwartete Ergebnisse immer wieder auftauchen oder bekannt ist, dass sich die Umgebung schnell ändert, wird das Ignorieren dieser Ergebnisse zunehmend kostspielig.

Der schwierige Teil besteht darin zu entscheiden, wann diese Grenze überschritten ist.

Ein gutes lernendes System glaubt nicht jeder Überraschung.

Aber es wischt Überraschungen auch nicht einfach weg, nur weil sie dem widersprechen, was es bereits weiß.

Es stellt weiterhin eine schwerere Frage:

War das nur Rauschen—oder hat sich die Welt verändert?