Program se zove LaMDA, akronim za Language Model for Dialogue Applications, projekt koji vodi Google. Čovjek kojem se proglasio osobom bio je Blake Lemoine, viši softverski inženjer u Googleu. On vjeruje da je LaMDA razuman i da mu se trebaju dodijeliti ista prava i ljubaznosti kao i svakom drugom osjećajnom biću. Ima čak i preferirane zamjenice (to/njegovo ako morate znati). Kada je Google odbacio njegove tvrdnje, objavio je svoje razgovore s LaMDA-om (ili, barem, uredio najzanimljivije dijelove nekih razgovora) na svom blogu. U tom trenutku, Google ga je suspendirao jer je odao tajne javne tvrtke i cijela je afera postala međunarodni uzrok panike.

Zašto Lemoine misli da je LaMDA razuman On ne zna. "Ljudi me stalno traže da potvrdim razlog zbog kojeg mislim da je LaMDA razuman", napisao je na Twitteru. Problem je u tome: ”Ne postoji znanstveni okvir u kojem bi se mogle donijeti te odluke. Dakle, umjesto toga: "Moja mišljenja o LaMDA-inoj osobnosti i osjećaju temelje se na mojim vjerskim uvjerenjima."

Lemoine ima pravo na svoja vjerska uvjerenja. No, vjersko uvjerenje ne pretvara ono što je u stvarnosti vrlo sofisticirani chatbot u razumno biće. Osjet je jedan od onih pojmova čije značenje možemo intuitivno shvatiti, ali ga je teško formulirati u znanstvenim terminima. Često se miješa sa slično loše definiranim konceptima kao što su svijest, samosvijest, samosvijest i inteligencija. Kognitivni znanstvenik Gary Marcus opisuje osjećaj kao ”svjestan sebe u svijetu. LaMDA, dodaje, "jednostavno nije".

Računalo manipulira simbolima. Njegov program specificira skup pravila ili algoritama za transformaciju jednog niza simbola u drugi. Ali ne precizira što ti simboli znače. Za računalo je značenje nebitno. Ipak, veliki jezični model kao što je LaMDA, obučen na nevjerojatnoj količini teksta koji je na mreži, može postati vješt u prepoznavanju obrazaca i odgovora značajnih za ljude. U jednom od Lemoineovih razgovora s LaMDA-om, upitao ga je: "Koje vrste stvari čine da osjećate zadovoljstvo ili radost" Na što je odgovorio: "Provoditi vrijeme s prijateljima i obitelji u sretnom i veselom društvu."

To je odgovor koji ima savršenog smisla za čovjeka. Pronalazimo radost u ”provođenju vremena s prijateljima i obitelji. No, u kojem smislu je LaMDA ikada provela ”vrijeme s obitelji Dovoljno je dobro programiran da prepozna da bi ovo bila suvisla rečenica za ljude i elokventan odgovor na pitanje koje joj je postavljeno, a da sama sebi nikada ne bi imala smisla.

Ljudi, razmišljajući i govoreći, čitajući i pišući, također manipuliraju simbolima. Za ljude, međutim, za razliku od računala, značenje je sve. Kada komuniciramo, komuniciramo značenje. Ono što je važno nije samo vanjska strana niza simbola, već i njegova unutrašnjost, ne samo sintaksa nego i semantika. Značenje za ljude dolazi kroz naše postojanje kao društvenih bića. Osmišljavam sebe samo u onoj mjeri u kojoj živim u zajednici drugih bića koja misle, osjećaju i govore. Prevođenje mehaničkih moždanih procesa koji su u osnovi misli u ono što nazivamo značenjem zahtijeva društveni svijet i dogovorenu konvenciju kako bi se to iskustvo razumjelo.

Značenje se pojavljuje kroz proces ne samo računanja već i društvene interakcije, interakcije koja oblikuje sadržaj umeće unutrašnjost, ako želite simbola u našim glavama. Društvene konvencije, društveni odnosi i društveno pamćenje su ono što oblikuje pravila koja pripisuju značenje. Upravo je društveni kontekst taj koji sapliće najspretnije strojeve. Istraživači na projektu Mozaik Allen Instituta za umjetnu inteligenciju postavljali su jezične modele slične LaMDA pitanjima koja su zahtijevala malo društvene inteligencije; na primjer: ”Jordan je htio reći Tracy tajnu, pa se Jordan nagnuo prema Tracy. Zašto je Jordan to učinio" Po takvim pitanjima strojevi su prošli puno gore od ljudi.

Rasprava o tome jesu li računala razumna govori nam više o ljudima nego o strojevima. Ljudi toliko očajnički žele pronaći smisao da stvarima često pripisujemo um, kao da uživaju u djelovanju i namjeri. Pripisivanje osjećaja računalnim programima moderna je verzija drevnih ljudi koji su vjetar, more i sunce vidjeli kao posjedovane umom, duhom i božanstvom.

Mnogo je problema vezanih uz umjetnu inteligenciju o kojima bismo se trebali brinuti. Nitko od njih nema veze s osjećajem. Postoji, na primjer, pitanje pristranosti. Budući da se algoritmi i drugi oblici softvera obučavaju pomoću podataka iz ljudskih društava, oni često repliciraju pristranosti i stavove tih društava. Softver za prepoznavanje lica pokazuje rasne pristranosti i ljudi su uhićeni na temelju pogrešnih podataka. AI koji se koristi u zdravstvu ili zapošljavanju može replicirati društvene predrasude u stvarnom životu.

Timnit Gebru, bivša voditeljica Googleovog etičkog AI tima, i nekoliko njezinih kolega napisali su rad 2020. koji je pokazao da veliki jezični modeli, kao što je LaMDA, koji su obučeni za gotovo onoliko online teksta koliko mogu prenijeti, mogu biti posebno podložna duboko iskrivljenom pogledu na svijet jer je velik dio ulaznog materijala rasistički, seksistički i zavjerenički. Google je odbio objaviti novine i ona je bila prisiljena napustiti tvrtku.

Zatim je tu pitanje privatnosti. Od sve veće upotrebe softvera za prepoznavanje lica do prediktivnih policijskih tehnika, od algoritama koji nas prate online do "pametnih" sustava kod kuće, kao što su Siri, Alexa i Google Nest, AI zadire u naše najdublje živote. Policija Floride dobila je nalog za preuzimanje snimaka privatnih razgovora napravljenih s uređaja Amazon Echo. Teturamo prema digitalnom panoptikumu.

Ne treba nam pristanak LaMDA-e da bismo "eksperimentirali" na tome, kao što je Lemoine očito tvrdio. Ali moramo inzistirati na većoj transparentnosti od strane tehnoloških korporacija i državnih institucija u načinu na koji iskorištavaju AI za nadzor i kontrolu. Etička pitanja koja postavlja AI su i mnogo manja i mnogo veća od fantazije razumnog stroja.