Umetna inteligenca ima čudno novo muz: naš vonj


Današnji sistemi umetne inteligence, vključno z umetnimi nevronskimi mrežami, ki so na splošno navdihnjeni s nevroni in povezavami živčnega sistema, čudovito opravljajo naloge z znanimi omejitvami. Prav tako zahtevajo veliko računske moči in veliko količino podatkov o usposabljanju. Vse to služi, da jih naredi odlično pri igranju šaha ali Go, pri odkrivanju, ali je avto na sliki, pri razlikovanju med prikazi mačk in psov. "Ampak oni so precej patetični pri sestavljanju glasbe ali pisanju kratkih zgodb," je povedal Konrad Kording, računalniški nevroznanik na Univerzi v Pennsylvaniji. "Imajo velike pomisleke o smiselnem razmišljanju na svetu."

Revija Quanta


fotografija avtorja

O podjetju

Prvotna zgodba, ki jo je prejel z dovoljenjem revije Quanta, uredniško neodvisna publikacija fundacije Simons, katere poslanstvo je izboljšati razumevanje znanosti s področja javnega obveščanja tako, da pokriva raziskovalne dosežke in trende v matematiki ter fizikalnih in življenjskih znanostih.

Za premagovanje teh omejitev se nekatere raziskovalne skupine vrnejo v možgane za sveže ideje. Toda peščica jih izbere, kar se lahko na prvi pogled zdi neverjetno izhodišče: občutek za vonj ali olfaction. Znanstveniki, ki poskušajo bolje razumeti, kako organizmi obdelujejo kemične podatke, so odkrili strategije kodiranja, ki se zdijo še posebej pomembne za težave pri AI. Poleg tega so vohalna vezja zelo podobna bolj zapletenim področjem možganov, ki so zanimivi za prizadevanje za izdelavo boljših strojev.

Računalniški znanstveniki začenjajo s temi ugotovitvami v strojnem učnem kontekstu.

Fluke in revolucije

Najsodobnejše tehnike strojnega učenja, ki so se uporabljale danes, so bile vsaj delno zgrajene, da posnemajo strukturo vizualnega sistema, ki temelji na hierarhični pridobivanju informacij. Ko vizualna skorja prejmejo senzorične podatke, najprej izbere majhne, ​​natančno določene lastnosti: robovi, teksture, barve, ki vključujejo prostorsko kartiranje. Nevroznanstveni David Hubel in Torsten Wiesel sta v 50. in 60. letih odkrila, da specifični nevroni v vizualnem sistemu ustrezajo ekvivalentu specifičnih lokacij pikslov v mrežnici, za katero so dobili Nobelovo nagrado.

Ker se vizualne informacije prenašajo skozi plasti kortikalnih nevronov, se podrobnosti o robovih in teksturah in barvah pojavljajo skupaj, da tvorijo čedalje bolj abstraktne predstavitve vhoda: da je predmet človeški obraz in da je identiteta obraza Jane, na primer . Vsak sloj v omrežju pomaga organizmu doseči ta cilj.

Globične nevronske mreže so bile zgrajene tako, da delujejo na podoben način hierarhično, kar je povzročilo revolucijo v strojnem učenju in raziskovanju AI. Če želite te mreže naučiti prepoznati predmete, kot so obrazi, jih hranijo na tisoče vzorčnih slik. Sistem krepi ali oslabi povezave med svojimi umetnimi nevroni, da natančneje določi, da določena zbirka slikovnih pik oblikuje bolj abstrakten vzorec obraza. Z dovolj vzorcev lahko prepozna obraze na novih slikah in v kontekstih, ki jih še ni videl.

Raziskovalci so imeli velik uspeh pri teh omrežjih, ne le pri slikovni klasifikaciji, temveč tudi pri prepoznavanju govora, jezikovnem prevajanju in drugih aplikacijah strojnega učenja. Še vedno pa "rad razmišljam o globokih mrežah kot tovornih vlakovah", je dejal Charles Delahunt, raziskovalec Centra za računalniško nevroznanost Univerze v Washingtonu. "Zelo so močni, dokler imate razumno ravno podlago, kjer lahko položite skladbe in imate ogromno infrastrukture. Vendar vemo, da biološki sistemi ne potrebujejo vsega tega, da lahko rešujejo težke probleme, ki jih globoke mreže zdaj ne morejo. "

Bodite vroča tema v AI: samo-vožnja avtomobilov. Ko se avtomobil premika po novem okolju v realnem času – okolje, ki se nenehno spreminja, to je polno hrupa in dvoumnosti – globoke učne tehnike, ki jih navdihne vizualni sistem, bi lahko kratek čas. Morda so metode, ki temeljijo na vidljivosti, potem niso prava pot. Ta vizija je bila tako prevladujoči vir vpogleda deloma naključna, "zgodovinski pojav", je dejal Adam Marblestone, biofizičar na Tehničnem inštitutu v Massachusettsu. To je bil sistem, ki so ga znanstveniki najbolje razumeli, z jasnimi aplikacijami na naloge strojnega učenja na podlagi slik.

Saket Navlakha, računalniški znanstvenik na Inštitutu Salk, je razvil algoritme, ki temeljijo na fly mizi, v upanju, da bi izboljšali tehnike strojnega učenja za iskanje podobnosti in naloge odkrivanja novosti.

Salk Institute

Toda "vsaka vrsta spodbud se ne obdeluje na enak način," je dejal Saket Navlakha, računalniški znanstvenik na Inštitutu za biološke študije Salk v Kaliforniji. "Vizija in olfaction sta na primer zelo različni tipi signalov. … Zato lahko obstajajo različne strategije za obravnavo različnih vrst podatkov. Mislim, da bi bilo mogoče veliko več lekcij, ne da bi preučili, kako deluje vizualni sistem. "

On in drugi pričajo pokazati, da lahko vonjalni tokokrogi žuželk držijo nekaj te lekcije. Olfaction raziskave niso vzleteli do devetdesetih let, ko so biologi Linda Buck in Richard Axel, tako na univerzi Columbia v tistem času, odkrili gene za receptorje vonjav. Od takrat pa je vonjalni sistem postal še posebej dobro označen in to je nekaj, kar je mogoče zlahka preučiti med muhami in drugimi žuželkami. Spreten je tako, da vizualni sistemi niso namenjeni preučevanju splošnih računskih izzivov, nekateri znanstveniki trdijo.

"Delamo na olfaction, ker je to končni sistem, ki ga lahko popolnoma opisujete," je dejal Delahunt. "Imate priložnost za boj."

"Ljudje že lahko naredijo takšne fantastične stvari z vizijo," je dodal Michael Schmuker, računalniški nevroznanik na Univerzi v Hertfordshiju v Angliji. "Mogoče lahko storimo tudi fantastične stvari z olfactionom."

Naključna in redka omrežja

Olfaction se razlikuje od vida na številnih frontah. Dišave so nestrukturirane. Nimajo robov; niso predmeti, ki jih lahko združimo v vesolje. To so mešanice različnih sestav in koncentracij, ki jih je težko oceniti kot podobne ali drugačne drug od drugega. Zato ni vedno jasno, katere značilnosti bi morale dobiti pozornost.

Te vonje analizira plitvo troslojno omrežje, ki je precej manj zapleteno kot vizualna skorja. Neuroni v vohalnih območjih naključno vzorčijo celoten prostor receptorja in ne specifične regije v hierarhiji. Uporabljajo, kar Charles Stevens, nevrobiolog na Inštitutu Salk, imenuje "antimap". V kartiranem sistemu, kot je vizualna skorja, položaj nevrona razkriva nekaj o vrsti informacij, ki jih nosi. Toda v antimapu vohalne skorje to ni tako. Namesto tega se informacije porazdelijo po celotnem sistemu, branje teh podatkov pa vključuje vzorčenje iz najmanjšega števila nevronov. Antimap se doseže s tisto, kar je znano kot redka predstavitev informacij v višjem dimenzionalnem prostoru.

Vzemite vohalno vezje sadne muhe: 50 projekcijskih nevronov prejmejo vhod iz receptorjev, ki so občutljivi na različne molekule. En vonj bo navdušil veliko različnih nevronov, vsak nevron pa predstavlja vrsto vonjev. To je nered informacij, prekrivnih predstavitev, ki je na tej točki predstavljena v 50-dimenzionalnem prostoru. Podatki se potem naključno projicirajo na 2.000 tako imenovanih celic Kenyon, ki kodirajo posebne vonje. (Pri sesalcih se s celicami v tistem, kar je znano kot piriforma, ukvarja s tem.) To predstavlja 40-kratno razsežnost v dimenziji, zaradi katere je lažje razlikovati vonjave po vzorcih živčnih odzivov.

Lucy Reading-Ikkanda / Quanta Magazine

"Recimo, da imate 1.000 ljudi in jih napolnite v sobo in jih poskušajte organizirati s hobijem," je dejal Navlakha. "Seveda, v tem prepuščenem prostoru boste morda našli način za strukturiranje teh ljudi v svoje skupine. Zdaj pa recite, da ste jih razširili na nogometnem igrišču. Imate ves ta dodatni prostor za igranje in strukturo podatkov. "

Ko je to naredilo volfsko vezje, mora ugotoviti, kako prepoznati ločene vonjave z nevrone, ki se ne prekrivajo. To naredi tako, da "razširi" podatke. Le okoli 100 od 2000 celic Kenyon – 5 odstotkov – so zelo aktivne kot odziv na dane vonje (manj aktivne celice so utišane), ki vsakomur zagotavljajo edinstveno oznako.

Skratka, medtem ko tradicionalna globoka omrežja (ki znova vzamejo svoje znake iz vizualnega sistema) nenehno spreminjajo moč svojih povezav, ko se "učijo", se vohalni sistem na splošno ne zdi, da bi se sam treniral s prilagajanjem povezav med njegovimi projekcijskimi nevroni in Kenyon celice.

Thomas Nowotny, profesor informatike na univerzi v Sussexu, je razkril vzporednice med vohalniškim sistemom in razredom modelov, imenovanih nosilnih vektorskih strojev. Od takrat naprej še naprej razvija boljše razumevanje o tem, kako olfaction deluje, pri čemer vedno upoštevati potencialne AI aplikacije.

Ljubezen Thomasa Nowotnyja

Ker so raziskovalci v zgodnjih 2000-ih študirali o olfaction, so razvili algoritme, s katerimi so ugotovili, kako naključno vgradnjo in majhnost v višjih dimenzijah pomagajo računalniško učinkovitost. Eden par znanstvenikov, Thomas Nowotny iz Univerze v Sussexu v Angliji in Ramón Huerta z Univerze v Kaliforniji, San Diego, je celo vzpostavil povezave z drugim tipom strojnega učnega modela, imenovanega podporni vektorski stroj. Trdili so, da so bili tako naravni kot umetni sistemi obdelani podatki, z uporabo naključne organizacije in razširitve dimenzij, ki učinkovito predstavljajo zapletene podatke, formalno enakovredni. AI in evolucija sta se neodvisno konvergirala na isti raztopini.

Zanimivo zaradi te povezave, Nowotny in njegovi kolegi še naprej raziskujejo vmesnik med olfaction in strojno učenje, iščejo globlje povezavo med obema. Leta 2009 so pokazali, da lahko vonjalni model, ki temelji na žuželkah, prvotno ustvarjen za prepoznavanje vonjav, lahko prepozna tudi ročno napisane številke. Še več, odstranjevanje večine svojih nevronov – posnemanje, kako možganske celice umirajo in niso zamenjane – ni vplivalo na njegovo delovanje preveč. "Deli sistema bi se lahko zmanjšali, vendar bi sistem kot celota še naprej deloval," je dejal Nowotny. Predvideva izvajanje te vrste strojne opreme v nečem, kot je Mars rover, ki mora delovati v težkih pogojih.

Toda za nekaj časa ni bilo veliko dela za spremljanje teh ugotovitev – to je do nedavnega, ko so nekateri znanstveniki začeli ponovno pregledati biološko strukturo olfaction za vpogled v to, kako izboljšati natančnejše težave s strojnim učenjem.

Hard-Wired znanja in hitro učenje

Delahunt in njegovi kolegi so ponovili isto vrsto eksperimenta, ki ga je opravil Nowotny, ki je kot osnovo uporabljal molzni vohalni sistem in ga primerjal s tradicionalnimi modeli strojnega učenja. Glede na manj kot 20 vzorcev je model, ki temelji na moljčici, bolje prepoznaven ročno napisane številke, vendar so bili drugi podatki, ki so bili podani z več podatki o usposabljanju, drugi močnejši in natančnejši. "Metode strojnega učenja so dobre pri dajanju zelo natančnih klasifikatorjev, glede na tone podatkov, medtem ko je model žuželk zelo dober pri zelo grozi razvrstitvi zelo hitro," je dejal Delahunt.

Olfaction se zdi, da deluje bolje, ko gre za hitrost učenja, saj v tem primeru "učenje" ni več iskanje iskanih funkcij in reprezentacij, ki so optimalne za določeno nalogo. Namesto tega se zmanjša na prepoznavanje, katere od številnih naključnih funkcij so uporabne in ki niso. "Če lahko trenirate z enim klikom, bi bilo to veliko lepše, kajne?" Je dejal Fei Peng, biolog na južni medicinski univerzi na Kitajskem.

V bistvu je strategija olfaction skoraj tako, kot da v model vzamemo nekaj osnovnih, primitivnih konceptov, podobno kot splošno razumevanje sveta, ki je navidezno težko povezana z našimi možgani. Sama struktura je potem sposobna opraviti nekaj preprostih, prirojenih nalog brez navodil.

Charles Delahunt (levo) in J. Nathan Kutz (desno) Univerze v Washingtonu sta prenesli strukturo molznega olfaktornega omrežja v strojni učni kontekst in ustvarili, kar jim pravijo "kiborgi insektov".

Gabriella Wolff

Eden od najbolj presenetljivih primerov tega je lani prišel iz laboratorija Navlakhe. On je skupaj s Stevensom in Sanjoyjem Dasguptojo, računalniškim znanstvenikom na Kalifornijski univerzi v San Diegu, želel poiskati na podlagi podobnosti navdihnjen način na olfaction. Tako kot lahko YouTube ustvari stranske vrstice videoposnetkov za uporabnike, ki temeljijo na tem, kar trenutno gledajo, organizmi morajo biti sposobni hitro in natančno primerjati pri prepoznavanju vonjav. Morda se bo morda zgodaj naučila, da bi morala pristopiti k vonju zrelih banan in se izogniti vonju kisa, vendar je njegovo okolje zapleteno in polno hrupa – nikoli več ne bo doživel istega vonja. Ko zazna nov vonj, mora muhati najprej ugotoviti, kateri že izkušeni vonj je najbolj podoben vonju, da lahko opozori na ustrezen vedenjski odziv, ki ga je treba uporabiti.

Navlakha je ustvaril algoritem iskanja podobnosti na vonju in ga uporabil za podatkovne nize slik. On in njegova ekipa sta ugotovila, da je njihov algoritem izvajal bolj kot in včasih dve do trikratne, tradicionalne nebiološke metode, ki vključujejo samo zmanjšanje dimenzionalnosti. (V teh bolj standardnih tehnikah so bili primeri primerjani tako, da smo se osredotočili na nekaj osnovnih značilnosti ali dimenzij.) Pristop, ki temelji na muhanju, je »uporabil približno na red velikosti, zmanjšal računanje, da bi dobil podobne ravni natančnosti«, je dejal Navlakha. "Tako je zmagal bodisi v stroških bodisi v uspešnosti."

Nowotny, Navlakha in Delahunt so pokazali, da bi lahko bila v bistvu neutrenirana mreža že koristna za klasifikacijske izračune in podobne naloge. Zgradba v takšni kodirni shemi pušča sistem, pripravljen za lažje nadaljnje učenje. Lahko se uporablja pri nalogah, ki vključujejo navigacijo ali pomnilnik, na primer situacije, v katerih spremenljive razmere (recimo, ovirane poti) morda ne puščajo sistema z veliko časa za učenje ali številnimi primeri za učenje.

Peng in njegovi kolegi so začeli raziskovati samo to, tako da so ustvarili mravljinčast model, da bi se odločali o tem, kako navigirati po znani poti iz serije prekrivnih slik.

V delu, ki je trenutno v obravnavi, je Navlakha uporabil podobno metodo za odkrivanje novosti, ki temelji na olfaction-u, prepoznavanju nečesa novega tudi v preteklosti, ko so bili izpostavljeni tisočim podobnim objektom.

In Nowotny preučuje, kako vohalni sistem obdeluje mešanice. On že vidi možnosti za aplikacije za druge izzive strojnega učenja. Na primer, organizmi zaznavajo nekaj vonjav kot en sam vonj in druge kot mešanico: oseba lahko vzame na desetine kemikalij in ve, da je vonjla vrtnico, ali pa bi lahko občutila isto število kemikalij iz bližnje pekarne in razlikovala med kavo in rogljički. Nowotny in njegova ekipa sta ugotovila, da se ločljivi vonji ne zaznavajo istočasno; namesto tega so kave in rogljičaste vonjave zelo hitro obdelane v izmenah.

Ta vpogled bi bil lahko koristen tudi za umetno inteligenco. Problem s koktajlami se na primer nanaša na težko ločevanje številnih pogovorov v hrupni nastavitvi. Glede na več zvočnikov v sobi lahko AI to težavo reši z rezanjem zvočnih signalov v zelo majhnih časovnih oknih. Če je sistem prepoznal zvok, ki prihaja iz enega zvočnika, bi lahko poskušal zatreti vhodne podatke od drugih. S takim izmenjavanjem bi lahko omrežje razkosal pogovore.

Vnesite cyborg insektov

V članku, ki je bil objavljen prejšnji mesec na znanstveni spletni strani preprinta arxiv.org, sta Delahunt in njegova kolegica iz Univerze v Washingtonu J. Nathan Kutz to raziskavo naredila korak naprej z ustvarjanjem tisto, kar imenujejo "insektni kiborgi". Uporabili so rezultate svojih ki temelji na molu, kot vhodnih elementov algoritma za strojno učenje in videl izboljšave v sposobnosti sistema za razvrstitev slik. "Omogoča strojni učni algoritem veliko močnejši material za delo," je dejal Delahunt. "Nekateri različni vrsti strukture so izvlekli možganski možgani in ta različna struktura pomaga pri algoritmu za strojno učenje."

Nekateri raziskovalci zdaj upajo, da bodo tudi uporabili študije o olfaction, da bi ugotovili, kako je mogoče v večjih omrežjih uskladiti več oblik učenja. "Toda zdaj smo pokrili le malo tega," je dejal Peng. "Nisem povsem prepričan, kako izboljšati sisteme globokega učenja v tem trenutku."

Tatyana Sharpee, nevrobiologinja na Inštitutu Salk, je nedavno ugotovila, da se vonjave lahko preslikavajo na hiperbolični prostor. Se sprašuje, ali bi ta vpogled lahko sporočil, kako najbolje strukturirati vhodne podatke, ki se hranijo v globokih učnih sistemih.

Salk Institute

Eden izmed začetnih mest bi lahko bil ne le pri izvajanju arhitekture, ki temelji na olfaction, temveč tudi pri odkrivanju, kako določiti vhodne podatke sistema. V prispevku, objavljenem v Science Advances, je skupina, ki jo je vodila Tatyana Sharpee iz Inštituta Salk, iskala način opisovanja vonjav. Slike so bolj ali manj podobne glede na razdalje med njihovimi piksli v nekem "vidnem prostoru". Toda takšna razdalja ne velja za olfaction. Tudi strukturne korelacije ne morejo biti zanesljive: Vonj s podobnimi kemičnimi strukturami se lahko dojemajo kot zelo različni, vonj z zelo različnimi kemičnimi strukturami pa se lahko dojemajo kot podobni.

Sharpee in njeni sodelavci namesto tega definirajo vonjne molekule glede na to, kako pogosto jih najdemo skupaj v naravi (za namene študije so preučevali, kako pogosto so se pojavile molekule v vzorcih različnih vrst sadja in drugih snovi). Nato so izdelali zemljevid tako, da so molekule miru postavili bližje skupaj, če so se nagibali k soaktivaciji in bolj narazen, če bi to storili bolj redko. Ugotavljali so, da se tako, kot se zemlja pojavi na kroglo (Zemlja), molekule mirisa preslikajo na hiperbolični prostor, kroglo z negativno ukrivljenostjo, ki izgleda kot sedlo.

Sharpee je špekuliral, da bi lahko krmilni vhodi s hiperbolično strukturo v algoritme strojnega učenja pomagali pri klasifikaciji manj strukturiranih predmetov. "V globokem učenju je izhodiščna predpostavka, da je treba vložke narediti v evklidski metriki," je dejala. "Trdil bi, da bi lahko poskusili spremeniti to meritev na hiperbolični." Morda bi takšna struktura lahko še izboljšala sisteme globokega učenja.

Skupni imenovalec

Zdaj veliko od tega ostaja teoretično. Delo družbe Navlakha in Delahunt je treba razširiti na precej težje težave s strojnim učenjem, da bi ugotovili, ali modeli, ki jih navdihujejo olfaction, lahko spremenijo. "To je vse, kar se mi zdi," je dejal Nowotny. "Bomo videli, kako daleč bo šlo."

Kar raziskovalci pričakujejo, je presenetljiva podobnost, ki jo struktura vohalnih sistemov nosi v drugih regijah možganov po mnogih vrstah, zlasti na hipokampusu, ki je vpleten v spomin in navigacijo, in mlajši možgani, ki je odgovoren za nadzor motorja. Olfaction je starodaven sistem, ki sega k kemozenzaciji v bakterijah in ga v nekaterih oblikah uporabljajo vsi organizmi, da raziščejo svoja okolja.

"Zdi se, da je bližje evolucijskemu izvirnemu mestu vseh stvari, ki bi jih imenovali korteks na splošno," je dejal Marblestone. Olfaction bi lahko zagotovil skupni imenovalec za učenje. "Sistem nam daje resnično ohranjeno arhitekturo, tisto, ki se uporablja za različne stvari v različnih organizmih," je povedal Ashok Litwin-Kumar, nevroznanist v Columbiji. "Tam mora biti nekaj osnovnega, kar je dobro za učenje."

Vlažen tokokrog lahko deluje kot prehod za razumevanje zapletenih učnih algoritmov in izračunov, ki jih uporabljajo hipokampus in mlajši možgani – in ugotoviti, kako uporabiti takšne vpoglede na AI. Raziskovalci so se že začeli ukvarjati s kognitivnimi procesi, kot so pozornost in različne oblike spomina, v upanju, da bi lahko ponudili načine za izboljšanje trenutnih strojnih učnih arhitektur in mehanizmov. Toda olfaction bi lahko ponudil preprostejši način za začetek oblikovanja teh povezav. "To je zanimiva povezava," je dejal Marblestone. "Vstopna točka v razmišljanje o nevronskih mrežah naslednje generacije."


Več velikih WIRED zgodbe