Kada treba verovati iznenađenju?

Zamislite kafić koji posećujete skoro svakog jutra godinama. Espreso je uvek odličan.

Zatim je jednog utorka užasan.

Zagoreo, gorak, jedva pitak.

Da li biste odmah zaključili da je kafić propao?

Verovatno ne. Jedna loša šolja posle stotina dobrih deluje kao slučajnost.

Sada zamislite da prvi put probate kafu na aerodromskom štandu i dobijete potpuno istu užasnu šolju. Možda biste na licu mesta odlučili da tamo više nikada ne kupite kafu.

Loša kafa može biti podjednako loša u oba slučaja. Ono što se menja jeste značenje tog pojedinačnog iskustva.

Ovo je problem koji svaki sistem učenja mora da reši. To što ste pogrešili govori vam da vaše očekivanje nije ispunjeno. Ali vam ne govori da li je vaš model bio pogrešan, da li se svet promenio, ili ste jednostavno naišli na šum.

Biti u zabludi nije dovoljno

Greška predviđanja (prediction error) jednostavno je jaz između onoga što ste očekivali i onoga što se stvarno dogodilo.

Ali veličina tog jaza je samo deo priče.

Pretpostavimo da predviđate vrednost 50, a uočite 70. Ta razlika može biti ogromna u sistemu koji obično varira za samo jedan ili dva poena. U sistemu u kojem vrednosti redovno variraju za trideset poena, ona može biti potpuno uobičajena.

Dakle, korisno pitanje nije samo:

Koliko sam pogrešio?

Već i:

Koliko je neobično biti ovoliko u zabludi na ovom mestu?

Ta razlika sprečava sistem učenja da juri svaku nasumičnu fluktuaciju na koju naiđe.

Zamislite da pokušavate da razumete govor preko bučne radio-veze. Krčanje i distorzije neprestano menjaju signal. Kada bi vas svaki nalet statičkog šuma primorao da preispitate značenje reči, razumevanje bi brzo postalo nemoguće.

Dobar učenik mora da toleriše određenu grešku.

Šum i promena su različiti problemi

Postoje najmanje dva veoma različita razloga zašto predviđanja mogu da ne uspeju.

Prvi je šum (noise).

Zamislite da bacate pikado u istu metu iznova i iznova. Strelice se rasipaju oko centra, ali sama meta ostaje na jednom mestu. Pojedinačni metoci variraju iako se stvar koja ih generiše nije promenila.

Druga mogućnost jeste da se sama meta pomerila.

Sada stara zapažanja postaju daleko manje korisna. Savršena procena gde se meta ranije nalazila neće mnogo pomoći ako neko prenese tablu za pikado na drugi kraj sobe.

Učenju je stoga potrebna prilagodljiva stopa učenja (learning rate): to jest, koliko snažno najnovije zapažanje menja sledeće predviđanje.

Kada su ishodi puni šuma, često ima smisla ažurirati očekivanja polako. Jedan čudan rezultat ne bi trebalo da prevagne nad dugom istorijom.

Kada postoje dokazi da se sama dubinska situacija promenila, nedavne informacije odjednom postaju daleko dragocenije.

Helikopter iza oblaka

Domišljati laboratorijski zadatak čini ovaj problem neobično lakim za uočavanje^[2].

Zamislite helikopter skriven iza oblaka. Ne možete videti gde se nalazi.

Sve što vidite jesu vreće novca koje padaju iz njega.

Vaš zadatak je da postavite kofu tamo gde mislite da će sledeća vreća pasti.

Vreće ne padaju na potpuno isto mesto. Postoji nasumično rasipanje, pa postepeno zaključujete gde se skriveni helikopter verovatno nalazi, bez preteranog reagovanja na svako pojedinačno padanje.

Zatim se, povremeno, helikopter pomeri.

Jedna vreća odjednom padne daleko od mesta gde ste očekivali.

Sada imate problem. Da li je to jedno neobično divlje padanje uzrokovano vetrom, ili se helikopter premestio?

Učesnici u ovim eksperimentima ne koriste fiksnu količinu prilagođavanja. Njihovo ponašanje se menja od pokušaja do pokušaja u zavisnosti od toga koliko deluje verovatno da se skriveni izvor pomerio i koliko je njihova trenutna procena već nesigurna^[2].

Kada ishod deluje kao uobičajeni varijabilitet, sledeće predviđanje se pomeri samo malo.

Kada isti ishod deluje kao dokaz stvarne tačke promene (change-point), sledeće predviđanje se može dramatično pomeriti.

Važna stvar je da mozak ne reaguje samo na samu grešku. On pokušava da zaključi šta je proizvelo tu grešku.

Da li mozak prati nestabilan svet?

Drugi eksperimenti sugerišu da mozak vodi računa o tome koliko je okruženje u poslednje vreme bilo promenljivo.

U jednoj uticajnoj fMRI studiji, učesnici su učili u situacijama gde su obrasci nagrađivanja ponekad ostajali stabilni, a ponekad se brzo menjali^[3].

Ljudi su u skladu sa tim prilagođavali svoje ponašanje. Kada je okruženje postajalo volatilnije, nedavni ishodi su značili više. Kada je ponovo postajalo stabilno, dugoročnija istorija je vraćala svoju važnost.

Aktivnost u anteriornom cingulatnom korteksu (ACC) pratila je procene te volatilnosti zasnovane na modelima^[3].

To ne znači da je ACC jedinstveni kontrolni centar koji pojačava i smanjuje učenje. To ukazuje na to da moždani sistemi uključeni u donošenje odluka predstavljaju informacije o tome koliko stabilno — ili nestabilno — trenutno okruženje deluje.

Istraživači su takođe predložili da neuromodulatorni sistemi mogu pomoći sa ovim problemom.

Jedan uticajan teorijski model predložio je različite uloge za acetilholin i noradrenalin u suočavanju sa očekivanom i neočekivanom neizvesnošću^[4]. U širem smislu, ideja je da nervni sistem može razlikovati neizvesnost koja je već deo okruženja od signala da se nešto fundamentalnije promenilo.

Biologija je komplikovanija od jednostavnog preslikavanja „jedna hemikalija — jedan zadatak“, ali računarski problem ostaje isti.

Ponekad neizvesnost znači: svet je pun šuma.

Ponekad znači: moj stari model više ne važi.

Kada treba da promenite mišljenje?

Postoji neobična tenzija u učenju.

Ažurirajte suviše lako i svaka anomalija postaje nova teorija.

Ažurirajte suviše sporo i nastavićete da branite model sveta koji više ne postoji.

Zato tvrdoglavost i fleksibilnost nisu suprotnosti u bilo kom jednostavnom smislu. Obe mogu biti korisne.

Ako je neki proces bio pouzdan godinama, jedan čudan rezultat može zasluživati skepticizam.

Ako se neočekivani ishodi nastave pojavljivati, ili ako je poznato da se okruženje brzo menja, nastavljanje sa njihovim ignorisanjem postaje sve skuplje.

Težak deo jeste odlučivanje kada je ta granica pređena.

Dobar sistem učenja ne veruje svakom iznenađenju.

Ali on takođe ne odbacuje iznenađenja jednostavno zato što protivreče onome što već zna.

On nastavlja da postavlja teže pitanje:

Da li je ovo bio samo šum — ili se svet promenio?