koji je vjerovao da je sve u svemu.
Davno jednom, u djetinstvu, otac mi je donio igračku: mali crveni robot. Visok koliko je pedalj. Na stopalima je imao majušne točkiće. Naviješ ga ključem i noge mu se pokreću, klizi na svojim rolšulama, dok se ne saplete o neku neravninu ili ne udari u prepreku. Često bi padao i onda se bespomoćno batrgao. A ja bih ga brže bolje uspravio da se ne pati.
Prolog:
Sympathy for the Devil
Pleased to meet you, hope you guess my nameBut what’s puzzling you is the nature of my game.”(The Rollong Stones)

Norbert Wiener bio je američki matematičar i filozof, najpoznatiji kao osnivač kibernetike. Rođen je 1894. godine u Kolumbiji, a umro 1964. Smatrali su ga čudom od djeteta, doktorirao je matematiku na Harvardu sa samo 18 godina. Njegova najpoznatija knjiga je „Kibernetika: ili upravljanje i komunikacija kod životinje i mašine“ (Cybernetics: Or Control and Communication in the Animal and the Machine, 1948).
Wiener je postavio osnove za razumijevanje kako sistemi, bilo biološki, bilo mehanički, mogu učiti, prilagođavati se i regulirati svoje ponašanje. Izvršio je ključni uticaj na razvoj vještačke inteligencije, računarstva, robotike i teorije sistema.
Filozofski je opservirao relacije čovjeka, mašina i društva, posebno u u eseju “GOD AND GOLEM, Inc. Komentar o određenim tačkama gdje se kibernetika dodiruje s religijom” (GOD AND GOLEM, Inc. A Comment on Certain Points where Cybernetics Impinges on Religion), objavljenim 1964. godine.
Wiener u tom tekstu piše:
“Učenje je osobina koju često pripisujemo isključivo samosvjesnim sistemima, a gotovo uvijek živim sistemima. To je fenomen koji se u svom najkarakterističnijem obliku javlja kod čovjeka i predstavlja jednu od onih osobina čovjeka koje se najlakše dovode u vezu s aspektima njegovog religijskog života. Zaista, teško je zamisliti kako bi neko biće koje ne uči moglo biti povezano s religijom.
Međutim, postoji i drugi aspekt života koji se prirodno povezuje s religijom. Smatra se da je Bog stvorio čovjeka na svoju sliku, a razmnožavanje vrste može se također tumačiti kao funkcija u kojoj jedno živo biće stvara drugo po vlastitoj slici. U našoj želji da uzvisimo Boga u odnosu na čovjeka, a čovjeka u odnosu na materiju, prirodno je pretpostaviti da mašine ne mogu stvarati druge mašine po vlastitoj slici; da je to nešto povezano s jasnom podjelom sistema na žive i nežive; te da je, štaviše, povezano i s drugom podjelom: između stvoritelja i stvorenja.
No, da li je to zaista tako?”
“Organizirani sistem može se opisati kao onaj koji određenu ulaznu poruku pretvara u izlaznu poruku prema nekom principu transformacije. Ako je taj princip transformacije podložan određenom kriteriju uspješnosti, i ako se metoda transformacije prilagođava tako da teži poboljšanju performansi sistema prema tom kriteriju, kaže se da sistem uči. Vrlo jednostavan tip sistema s lako razumljivim kriterijem uspješnosti jeste igra koja se igra prema fiksnim pravilima, gdje je kriterij uspješnosti uspješno pobjeđivanje u igri prema tim pravilima.
Među takvim igrama postoje i igre s potpunom teorijom, koje nisu zanimljive. Nim, kako ga je definirao Bouton, i iks-oks (tic-tac-toe) primjeri su takvih igara. U tim igrama ne samo da teoretski možemo pronaći najbolju strategiju igranja, nego je ta strategija poznata u svim svojim detaljima. Igrač takve igre (bilo prvi ili drugi) uvijek može pobijediti, ili barem izvući neriješeno slijedeći naznačenu strategiju. U teoriji, svaka igra može se dovesti u takvo stanje – to je ideja pokojnog Johna von Neumanna – ali jednom kada se igra dovede u to stanje, ona gubi svaku zanimljivost i više se ne mora razmatrati čak ni kao zabava.
Sveznajuće biće poput Boga smatralo bi šah i damu (ili ‘draughts’ u Engleskoj, odnosno ‘dames’ na kontinentu) primjerima takvih von Neumannovih igara, ali njihova potpuna teorija još uvijek nije razrađena na ljudskom nivou i one i dalje predstavljaju istinske izazove uvida i inteligencije. Ipak, ne igramo ih na način koji predlaže von Neumannova teorija. To jest, ne igramo ih tako da uvijek pravimo najbolji mogući potez, pod pretpostavkom da će protivnik napraviti najbolji mogući potez, uz pretpostavku da ćemo mi zatim napraviti najbolji mogući potez, i tako dalje, sve dok neko ne pobijedi ili se igra ne ponovi. Zapravo, biti sposoban igrati igru na von Neumannov način znači posjedovati potpunu teoriju igre i svesti je na trivijalnost.
Tema učenja, a posebno mašina koje uče igrati igre, može se činiti prilično udaljenom od religije. Ipak, postoji religijski problem za koji su ove ideje relevantne. To je problem igre između Stvoritelja i stvorenja. To je tema Knjige o Jobu, kao i djela ‘Izgubljeni raj’.
U oba ova religijska djela, Đavo je prikazan kao da igra igru s Bogom za dušu Joba, odnosno za duše čovječanstva uopće. Prema ortodoksnim židovskim i kršćanskim pogledima, Đavo je jedno od Božjih stvorenja. Svaka druga pretpostavka vodila bi moralnom dualizmu, nalik zoroastrizmu i onom miješanom pravcu zoroastrizma i hrišćanstva koji nazivamo manihejstvom.
Ali ako je Đavo jedno od Božjih stvorenja, tada je igra koja čini sadržaj Knjige o Jobu i ‘Izgubljenog raja’ /Paradise Lost, poema Johna Miltona/ igra između Boga i jednog od njegovih stvorenja. Takva igra na prvi pogled izgleda krajnje nejednaka. Igrati igru sa svemoćnim i sveznajućim Bogom čin je ludosti; a, kako nam se kaže, Đavo je majstor suptilnosti. Svaka pobuna palih anđela unaprijed je osuđena na neuspjeh. Ne vrijedi ni satanska pobuna pobuna nalik Manfredovoj da bi se to dokazalo / ‘Manfred’, poema Lorda Byrona, op. aut./.
Ili pak, ako se svemoć mora dokazivati nebeskim bombardiranjem munjama, onda to uopće nije svemoć, nego samo vrlo velika sila, i bitka anđela mogla je završiti tako da Sotona zauzme nebesko prijestolje, a Bog bude bačen u vječnu propast.
Dakle, ako se ne izgubimo u dogmama o svemoći i sveznanju, sukob između Boga i Đavla jeste stvaran sukob, a Bog je nešto manje od apsolutno svemoćnog bića. On je zaista uključen u sukob sa svojim stvorenjem, u kojem vrlo lako može izgubiti igru. Pa ipak, njegovo je stvorenje stvoreno njegovom vlastitom slobodnom voljom i čini se da svu mogućnost djelovanja crpi upravo iz Boga. Može li Bog igrati smislenu igru sa svojim vlastitim stvorenjem? Može li bilo koji stvaralac, čak i ograničen, igrati smislenu igru sa svojim vlastitim stvorenjem?”
Nauka
Artificial Intelligence
Vještačka inteligencija (Artificial Intelligence, skraćeno: AI) je oblast koja se bavi razvojem kompjuterskih sistema sposobnih da obavljaju radnje karakteristične za ljudsku inteligenciju: učenje, samostalno donošenje zaključaka i odluka, prepoznavanja obrazaca…
“Jaka AI teza” (Strong AI thesis) je tvrdnja o prirodi uma i svijesti, koja kaže: dovoljno napredan računar ne samo da simulira um – nego zaista ima um i svijest. Takav kompjuterski program ne bi bio tek imitacija uma, već zaista razumije stvari i ima mentalna stanja. Svijest može nastati i u mašini. Nikakav nekompjutacijski faktor nije potreban.
Ovdje se otvaraju pitanja:
Šta je svijest?
Može li AI imati svijest?
Šta znači „razumjeti“?
Da li je ljudski um samo kompjutacija i ništa više?
Artificial life
“Vještačka inteligencija” pita: “možemo li napraviti nešto što misli?” U oblasti “Vještačkog života” pitanje je: “možemo li napraviti nešto što je živo?”
“Vještački život” podrazumijeva: računarske simulacije (digitalni organizmi koji evoluiraju), robotiku (jednostavni “organizmi” koji se prilagođavaju okolini), sintetičku biologiju (stvaranje novih oblika života u laboratoriji).
Na primjer: “Conway's Game of Life”: jednostavna pravila, koja generiraju kompleksno ponašanje nalik životu. Ili “Avida”: digitalni organizmi koji mutiraju i evoluiraju. Osnovna ideja je: kada je život u pitanju nema ništa misteriozno, nego se sve temelji na obrascima, organizaciji i procesualnosti.
Jedan od ključnih pojmova je “emergencija”: kompleksnost i organizacija proizvode novu pojavu ili kvalitet, novi fenomen (“emergent phenomena”).
Ako se nešto ponaša kao živo – je li to dovoljno da prihvatimo da je zaista živo?
Da li je za život nužno da se radi o biološkom materijalu? Ili je dovoljno postići stanovitu strukturu, u bilo kojem mediju.
Jaka AI teza je usredsređena na pitanja uma i svijesti.
Vještački život se bavi pitanjima života i evolucije.
Algoritam
Negdje oko 245. godine po hidžri (ili 825. godine po hrišćanskom računanju vremena), Abu Ja’far Mohammed ibn Musa al-Khowarizm, napisao je knjigu Kitab al-jabr wa’l-muqabala. Riječ “algoritam” dolazi od imena ovog arapskog matematičara. (Pomnijim zagledanjem u riječi iz naslova knjige uočavamo da riječ “algebra” također dolazi iz arapskog jezika.) Shvatiti pojam algoritma, znači shvatiti suštinu kompjutera.
U knjizi “Carev novi um” (Emperor’s New Mind), iz 1989. godine, koja se bavi kompjuterima, ljudskim umom i ustrojstvom univerzuma, Roger Penrose pojam algoritma objašnjava na problemu nalaženja najvećeg zajedničkog nazivnika, odnosno na proceduri poznatoj kao Euklidov algoritam. Na taj način možemo utvrditi najveći zajednički nazivnik bilo koja dva (cijela) broja. Veličina tih brojeva nije bitna. Naravno, moguće je zamisliti dva tako velika broja da bi nam bilo potrebno jako puno vremena koje bismo morali provesti – možda i više nego što ljudski život traje – da ovom procedurom dođemo do rezultata. Ali to je problem drugog reda. Procedura takva kakva je – mehanički postupak – garantuje da se do rezultata sigurno dolazi prije ili kasnije. Uostalom, danas za to imamo kompjutere. Oni ove stvari rade strahovito brzo.
U povijesti matematike nalazimo niz ovakvih procedura koje nazivamo algoritmima. No, tek je u dvadesetom vijeku došlo do, kako Penrose kaže, “precizne formulacije koncepta generalnog algoritma”. Tridesetih godina ovog vijeka bio je ponuđen niz opisa takvog koncepta. Najubjedljivi i historijski najznačajniji, piše Penrose, jeste onaj koji je ponudio matematičar Alan Turing.
Turingov rad bio je rezultat njegovog bavljenja problemima kojih se dijelom doticao i rad Davida Hilberta, još jednog velikog imena iz historije matematike. Turingov se rad odnosio na takozvani Entscheidungsproblem, čijem formulisanju je doprinio i David Hilbert. “Problem odlučivanja” je takva vrsta problema kod kojeg odgovor može biti samo “da” ili “ne”. Ako ima algoritam koji uvijek daje tačan odgovor problem je odlučiv, a ako nema takav algoritam, onda je problem neodlučiv. Tu su bili motivi koji su proizveli, kako je kasnije po njemu nazvaše, Turingovu mašinu.
Pomenuti David Hilbert, tragao je za, kako Penrose veli, “ništa manje nego generalnom algoritmičkom procedurom za rješavanje matematičkih pitanja – ili, prije, za odgovorom na pitanje da li je jedna takva procedura uopšte u principu moguća”. Hilbert je bio postavio ono što matematičari zovu Hilbertovim programom: to je bio zahtjev da se matematiku postavi na nerazrušive temelje, da se dođe do aksioma i pravila koji, jednom postavljeni više neće nikada biti dovedeni u pitanje.
Hilbertov program, međutim, pretrpio je fatalni udarac radom Kurta Gödela, austrijskog logičara, matematičara i filozofa. Ovaj je, analizirajući djelo Principia Mathematica – koje su napisali filozofi Bertrand Russel i Alfred North Whitehead (u nastojanju da zadovolje zahtjeve Hilbertovog programa), na izuzetno ubjedljiv način demonstrirao da ti zahtjevi u principu ne mogu biti zadovoljeni.
Problem koji je posebno zanimao Turinga (Entscheidungsproblem), “išao je s onu stranu ikakvih pojedinačnih formulacija matematike u terminima aksiomatskih sistema”. Penrose kaže:
“Pitanje je bilo: postoji li kakva generalna mehanička procedura koja bi mogla, u principu, riješiti sve probleme matematike (koji pripadaju nekoj odgovarajuće dobro definiranoj klasi), jedan za drugim?”
“Dio poteškoće u odgovoru na ovo pitanje bio je u tome da se odluči šta će se podrazumijevati pod ’mehaničkom procedurom’. Koncept je ležao izvan normalnih matematičkih ideja toga vremena. Da bi se uhvatio u koštac sa tim, Turing je pokušao zamisliti kako bi se koncept ’mašine’ mogao formalizirati, njene operacije razbiti na elementarni nivo. Čini se jasnim da je Turing također smatrao ljudski mozak za primjer ‘mašine’ u ovom smislu, tako da ma kakve bile aktivnosti koje bi se obavljale od strane ljudskih matematičara, kada se oni bave svojim matematičkim problemima, one bi se mogle podvesti pod oznaku ’mehaničkih procedura’. Dok se čini da je ovo gledanje na ljudsko mišljenje bilo od vrijednosti za Turinga u razvoju njegovog izuzetno značajnog koncepta, ono ni po čemu nije obavezajuće za nas. Šta više, učinivši preciznim šta se misli pod mehaničkom procedurom, Turing je doista pokazao da postoje neke savršeno dobro definirane matematičke operacije koje se ne mogu, u ordinarnom smislu, nazivati mehaničkim!”
Penrose upozorava da je “Turingova mašina” zapravo nešto što pripada matematici, što je apstraktno, a ne nekakav fizički objekat. Kompjuter je mjesto gdje “stanuje” ta “mašina”. Fizička mašina je sredstvo koje utjelovljuje ovu “logičku mašinu”.
Najkraće rečeno: radi se o tome da se za jedan problem kreira formalni sistem kojim se taj problem rješava; zatim se taj sistem iskaže kroz definirani niz instrukcija, služeći se simboličkim sistemom koji kombinuje dva osnovna simbola (“0” i “1”).
Prema takozvanoj Church-Turingovoj tezi, za svaki mogući algoritam postoji neka “Turingova mašina” koja može da ga primijeni. Turing je zatim pokazao da postoji univerzalna (“Turingova”) mašina koja može simulirati bilo koju partikularnu “Turingovu mašinu” – naime, primijeniti bilo koji algoritam. Moderni kompjuteri jesu univerzalne “Turingove mašine”.
Alan Turing je i izuzetno značajan dio povijesti vještine šifriranja i dešifriranja. Neki ga zovu “Čovjek koji je dobio Drugi svjetski rat”. Naime, on je vodio tim koji je razbio šifarski kod famozne njemačke mašine za šifriranje Enigma. U tu svrhu je razvio svoj prototip kompjutera. Vođen je bio intuicijom da “samo mašina može pobijediti mašinu”. Naravno, da bi se to izvelo, prije toga je bilo potrebno “zarobiti” jednu njemačku Enigmu. I imati sreće da Nijemci nisu saznali da se to dogodilo. Po nekim procjenama, dekodiranje Enigme skratilo je Drugi svjetski rat za dvije godine i spasilo milione života. O veličanstvenom i tragičnom životu Alana Turinga snimljen je i film Imitation Game.

Heuristika
Heuristics su “prečice” ili praktična pravila koja koristimo kako bismo brzo donijeli odluke i riješili neki problem, ne ulazeći u detaljnu analizu svih mogućnosti. Potraga za savršenim rješenjem oduzeće nam mnogo vremena, zato biramo da dođemo do dovoljno dobrog rješenja, uz manje vremena i sa manje truda. U mnogim životnim situacijama mi se ponašamo upravo tako. To ima ima svoju cijenu: može dovesti do grešaka i krivih prosudbi.
U računarstvu, algoritamski proces podrazumijeva precizno definisan niz koraka koji vodi do tačnog, odnosno optimalnog rješenja. Determinističan je. Ishod je formalno dokazan i, ako rješenje uopšte postoji, garantovan. Koristi se kad je problem dobro definisan i kada se rješenje može egzaktno izračunati. No, u računarstvu se koristi i heuristički proces. To je aproksimativni pristup koji pruža dovoljno dobro rješenje, ne garantujući optimalnost. Heuristic search jeste način rješavanja problema gdje algoritam koristi “pametne pretpostavke” da bi brže došao do rješenja, umjesto da isprobava sve moguće opcije. Ne traži savršeno rješenje po svaku cijenu, nego nastoji doći do dobrog rješenja što efikasnije. U klasičnim algoritmima, na primjer brute-force (gruba sila), računar bi ispitao sve mogućnosti. Kod heurističkih pristupa koristi se funkcija procjene (heuristika) koja kaže: “Koji sljedeći korak izgleda najperspektivnije?” Heuristike se koriste u video igrama, navigaciji, mašinskom učenju i vještačkoj inteligenciji, te planiranju i optimizaciji.
Modeli poput neuronskih mreža (npr. Artificial Neural Network), nisu algoritamski u smislu “tačnog rješenja”. Bliži su heurističkom, odnosno statističkom pristupu: uče obrasce iz podataka, daju odgovore koji zapravo kažu kolika je vjerovatnoća da je ponuđeno rješenje najbolje. Dakle, ne garantiraju tačnost nego teže efikasnosti: najboljem rješenju u odnosu na raspoložive resurse.
Vještačka inteligencija gotovo uvijek koristi kombinaciju oba metoda. Na primjer, A* koristi algoritam i heuristiku (“A star” je algoritam za pronalaženje najkraćeg puta između dvije tačke, najčešće u gradovima ili mrežama, npr. mape, igre, navigacija). Samostalna vozila koriste pravila i ML modele (Machine Learning: matematički model koji “uči” iz podataka kako bi pravio predviđanja ili donosio odluke). Pretraga na Google koristi algoritme i heurističko rangiranje.
Algoritamski pristup daje preciznost i garanciju. Heuristički pristup daje efikasnost i skalabilnost (scalability je sposobnost sistema, programa ili algoritma da nastavi efikasno raditi i kada se povećava opterećenje: više korisnika i više podataka). Savremena AI naginje heurističkom pristupu jer su realni problemi preveliki za “čistu” algoritamsku optimizaciju.
Moderna vještačka inteligencija pravi greške. Upravo po tome ona počinje ličiti na ljudsku inteligenciju.
Turingov test
Turing je 1950. godine objavio članak u kome je ponudio test za utvrđivanje da li neka mašina uspijeva adekvatno simulirati ljudski um. Takozvani “Turingov test” uključuje čovjeka i mašinu, kojima jedan drugi čovjek postavlja pitanja, nalazeći se odvojen od njih. Cilj je ispitivača da dokuči koji odgovori dolaze od mašine a koji od čovjeka. Ako nakon nekog vremena ispitivač ne uspije da ustanovi ko je ko, odnosno šta je šta, tada je mašina položila ispit. Turing je očekivao da će mašine brzo uspjeti da prođu na ovom ispitu, ali ovo očekivanje se pokazalo neopravdanim.
Ako mašina položi “Turingov test” to ne znači da razumije svijet kao čovjek, da ima svijest ili emocije. Ona samo vrlo dobro simulira kako bi čovjek odgovarao. “Turingov test”, naglašavaju stručnjaci, zapravo mjeri uvjerljivost, a ne utvrđuje da na strani mašine postoji razumijevanje.
Današnja testiranja AI uvode rigoroznije testove, koji se odnose na oblasti: razumijevanja jezika, logiku, matematiku i programiranje. Gleda se može li AI objasniti korake koje je napravio, fokus je na procesu, a ne na samom odgovoru koji je AI u nekoj situaciji ponudio.
Kuc, kuc, ima li koga?
Izraz „duh u mašini” (ghost in the machine) promovirao je filozof Gilbert Ryle, u knjizi The Concept of Mind (1949).
Tom formulacijom htio je da ridikulizuje ideju da postoji odvojen „duh” (um/svijest) koji upravlja tijelom kao mašinom, naime, dualizam Renéa Descartesa. Ryle je smatrao da je to pogrešno shvatanje ljudskog uma, kategorijalna greška. Um nije nešto što je „unutra“, neki nezavisni posmatrač, kao u nekom teatru. Ova metafora se pojavljuje već kod Davida Humea (18. stoljeće): um je poput pozornice na kojoj se percepcije pojavljuju i nestaju. No i on sam napominje da je to samo metafora. Descartes nije koristio riječ „teatar“, ali njegova ideja “unutrašnjeg posmatrača” potakla je kasnije autore da govore o “kartezijanskom teatru“ – poput Daniela Dennetta, koji se u svojim promišljanjima “problema svijesti” naslanja na Rylea.
Tu odista postoji problem. Ako kažemo da unutra postoji taj posmatrač, otvara se pitanje: na koji način on funkcioniše? Da li i on ima u sebi svog unutrašnjeg posmatrača? Tako otpočinje beskonačni regres.
Dakle, Ryle ne kaže baš da „nema nikoga“, već da je model pogrešan. Nema tog “nekog” u našoj glavi, mi smo to sveukupno biće koje misli, djeluje u svijetu i reaguje.
Kako god, mi sebe uglavnom doživljavamo kao “stanara” u našem tijelu, i vidimo “um” i “tijelo” kao dva odvojena entiteta, a ne dva aspekta jedne jedinstvene stvarnosti.
Na ovaj doživljaj se dalje nadovezuje kako doživljavamo napredne kompjutere. Ako vještačka inteligencija izlazi na kraj sa “Turingovim testom”, ili nam prosto “zvuči ljudski”, skloni smo pomisliti kako “ima neko unutra”. Kao što to mislimo – i osjećamo – za same sebe.
Kada je vještačka inteligencija u pitanju, doživljaj ovog “ghost in the machine”, tek je naša percepcija, a ne može biti dokaz da mašina ima svijest.
U krajnoj liniji, mi nemamo nikakvu apsolutnu izvjesnost da i drugi ljudi imaju svu tu “unutrašnju fenomenologiju” koju mi u pogledu sebe samih imamo. Sve što nam je na raspolaganju da zaključimo da su drugi ista bića kao mi, da imaju to osjećanje “unutrašnjosti” koje mi imamo, jeste njihovo ponašanje.
Nešto kasnije vidjećemo da tu našu “unutarnju fenomenologiju”, odnosno zaključke koje iz nje uglavnom izvodimo, dovodi u pitanje jedna ozbiljna struja među teoretičarima ove oblasti.
Kompjutacija i ljudski um
Roger Penrose, u knjizi Shadows of the Mind: A Search for the Missing Science of Consciousness (1994.), definira četiri postojeća gledišta u pogledu odnosa kompjutacije i svjesnog mišljenja:
“A. Svo mišljenje je kompjutacija; posebno u pogledu stava da je osjećanje svjesne svijesti izazvano prostim obavljanjem odgovarajućih kompjutacija. /Conscious awareness: ”svjesno iskustvo”, ono koje nije samo registracija nečega nego je uobličeno u subjektivni doživljaj, op. prev./
B. Svjesnost je osobina fizičke aktivnosti mozga; i mada se bilo koja fizička aktivnost može kompjutaciono simulirati, sama kompjutaciona simulacija ne može proizvesti svjesnost.
C. Odgovarajuća fizička aktivnost mozga proizvodi svjesnost, ali ta fizička aktivnost kompjutaciono ne može biti čak ni simulirana na adekvatan način.
D. Svjesnost ne može biti objašnjena fizikalnim, kompjutacionim ili bilo kojim drugim znanstvenim terminima.”
Penrose veli da je “awareness” pasivni aspekt fenomena koji označava riječju “consciousness”. No, “consciousness” ima i aktivni aspekt, a to je: “osjećanje slobodne volje” (free will). Kao ključni termini u igri su još i “razumijevanje” (understanding) i inteligencija (intelligence). Pasivni se odnosi na ”senzacije (ili ’qualia’)”, a aktivni na “stvari vezane sa ’slobodnom voljom’”. No, to su aspekti – “dvije strane istog novčića”.
Gledište pod C je ono za koje vjeruje da je najbliže istini:
“Ovo je gledište veće operacionalne vrijednosti nego što je to slučaj sa gledištem B, pošto ono ustvrđuje da postoje vanjske manifestacije svjesnih objekata /conscious objects/ (recimo, mozgovi), koje se razlikuju od vanjskih manifestacija kompjutera: efekti svijesti prema van ne mogu se odgovarajuće simulirati kompjutaciono. /…/ Pošto je C, kao i B, u skladu sa fizikalističkim stanovištem da umovi nastaju kao manifestacije ponašanja izvjesnih fizičkih objekata (mozgova – iako ne nužno samo mozgova), slijedi da je implikacija sadržana u C ta da ne može svaka fizička akcija biti odgovarajuće simulirana kompjutaciono.”
Kada je riječ o odnosu kompjutacije i svijesti, Roger Penrose posebnu pažnju posvećuje radu Kurta Gödela, koji je dokazao dva teorema nepotpunosti:
Prvi teorem: U svakom dovoljno snažnom i konzistentnom formalnom sistemu (npr. aritmetici) postoje tvrdnje koje su istinite u standardnoj interpretaciji, ali se ne mogu dokazati unutar tog sistema.
Drugi teorem: Takav sistem ne može dokazati vlastitu konzistentnost.
Pokušaj dokazivanja konzistentnosti zato zahtijeva prelazak na viši nivo, odnosno meta-sistem, koji zatim opet ima analogna ograničenja.
Prema Penroseu, ljudski um može u nekim slučajevima prepoznati istinitost tvrdnji koje su nedokazive unutar formalnog sistema, kakve proizlaze iz Gödelovog prvog teorema, iako sam sistem ne može do njih doći putem pravila na kojima je zasnovan. To bi ukazivalo na potencijalnu nesvodivost mišljenja na formalne sisteme.
Radeći u okviru formalnog sistema izloženog u djelu Principia Mathematica, Kurt Gödel je, inspirisan Epimenidovim paradoksom lažljivca (“ja lažem”), konstruisao aritmetičku tvrdnju (G) koja se, u običnom jeziku, može izraziti kao:
“Ova tvrdnja nije dokaziva u ovom sistemu.”
Ključno je da se G odnosi na samu sebe, što je omogućeno Gödelovim numerisanjem, kojim se tvrdnje formalnog sistema kodiraju kao brojevi.
Posmatramo dvije mogućnosti:
Ako bi G bila dokaziva, sistem bi dokazao i da G nije dokaziva, što vodi u kontradikciju, pa bi sistem bio nekonzistentan. (Ako pretpostaviš da je G dokaziva, logika te prisiljava da upravo zato prihvatiš da nije dokaziva.)
Ako G nije dokaziva, onda je ono što tvrdi tačno – dakle, G zaista nije dokaziva.
Zaključak: ako je sistem konzistentan, G je istinita tvrdnja koja nije dokaziva unutar tog sistema.
Penrose kaže da računar kao formalni sistem slijedi unaprijed zadana pravila i ne može izaći izvan njih. Nasuprot tome, ljudski um, prema njegovoj interpretaciji, može uvidjeti istinitost nekih Gödelovih nedokazivih tvrdnji, poput G, iako ih formalni sistem ne može dokazati. Iz toga Penrose zaključuje da razumijevanje u matematici uključuje procese koji nisu svodivi na algoritamsko računanje.
Prema Penroseu, termin “vještačka inteligencija” može biti donekle obmanjujući ako se inteligencija shvati kao sposobnost razumijevanja u punom smislu. (U jednoj prilici on kaže da je to “misnomer”.) U njegovoj interpretaciji, računari ne posjeduju razumijevanje kakvo se vezuje za svijest, već samo izvršavaju algoritamske procedure. Razumijevanje, u tom jačem smislu, pretpostavlja svijest, a svijest je, prema Penroseu, fenomen koji nije svodiv na čistu kompjutaciju. Iz toga on zaključuje da ljudski um ne može biti u potpunosti objašnjen kao kompjutacijski proces.
Kritičari Penroseove pozicije tvrde da ljudski um možda ne “nadilazi” formalne sisteme, nego da može prelaziti na više nivoe reprezentacije – tzv. meta-sisteme koji omogućavaju širi uvid. Prema njima, Gödelov teorem ne pokazuje ograničenje mašina u odnosu na ljudski um, već samo to da nijedan formalni sistem ne može dokazati sve istine unutar sebe. Oni ističu da savremena vještačka inteligencija nije fiksni sistem, nego može mijenjati modele, kombinirati algoritme i operirati na višim nivoima apstrakcije. U tom smislu, “uvid” koji Penrose pripisuje ljudskom umu mogao bi se razumjeti kao kompleksniji oblik kompjutacije, a ne kao nešto izvan nje. Iz toga slijedi funkcionalistička mogućnost da se, kroz dalji razvoj, razlika između ljudskog uma i mašine može postepeno smanjivati, bez nužnog zaključka da su već sada identični.

Budući da je je Gödel pokazao da matematika nadilazi algoritme, Penrose izvodi zaključak: Ako mi razumijemo matematiku koja nadilazi algoritme, tada i naš um nadilazi algoritme. Penrose također tvrdi da ljudski um nije ograničen nijednim formalnim sistemom, da nije čisto algoritamski i da možda uključuje neka nekompjutabilna dešavanja u sebi. On nudi spekulaciju da se ti efekti dešavaju na nivou kojim se bavi kvantna fizika.
Zajedno sa Stuartom Hameroffom razvija teoriju Orch-OR (Orchestrated Objective Reduction). Svijest nastaje iz kvantnih procesa u mozgu, unutar neurona, u strukturama zvanim mikrotubuli. Ovo podrazumijeva posebnu vrstu kolapsa kvantnog stanja povezanog s gravitacijom. Taj kolaps je nealgoritamski – ne može se simulirati kompjutacijom. Teorija je kontroverzna i za sada nema jače empirijske potvrde, ostaje kao zanimljiva spekulacija.
Ne treba brkati Penroseovu ideju sa takozvanom “kvantnom kompjutacijom,” iako oboje uključuju kvantnu fiziku. Kvantni kompjuteri i dalje su algoritamski sistemi. Oni rade unutar pravila kvantne mehanike, ali izvršavaju jasno definisane algoritme. Riječ je o neuporedivo moćnijoj vrsti kompjutera koja je još u razvoju.
Looping
Kod Douglasa Hofstadtera, Gödelov teorem igra drugačiju ulogu od one koju ima kod Penrosea (koji koristi Gödelov teorem kao argument protiv jake AI teze). Hofstadter ne koristi Gödela da pokaže granice mašina, već za objašnjenje kako um može biti algoritamski.
Hofstadter smatra da Gödelov teorem ilustrira mogućnost autoreferencije u formalnim sistemima, tj. da sistemi na posredan način mogu “govoriti o sebi”. Ključni koncepti su Čudnovata petlja (Strange Loop), samoreferencija i emergentno značenje. (Gödel, Escher, Bach, 1979.)
Šta je Hofstadterova Strange Loop? To je situacija u kojoj se krećemo kroz različite nivoe nekog sistema da bi se na kraju našli na početku. Vizualizaciju Čudnovate petlje on nalazi u grafikama M.C. Eschera, kao što su: Ruke koje crtaju, ili Vodopad.

Njegov stav je da je svijest emergentni fenomen samoreferentnih (“strange loop”) procesa u sistemu koji može operirati nad vlastitim reprezentacijama. Za njega, Gödelov teorem ilustrira formalnu samoreferenciju i ograničenja dokazivosti u formalnim sistemima, što se analogno može povezati s nastankom fenomena “ja”. (Ovdje se ne radi o uzročnom objašnjenju, nego o metaforičkom i strukturalnom preslikavanju između logičkih sistema i procesa u umu.)
Douglas Hofstadter ne tvrdi da je mozak simbolički računar u strogo formalnom smislu, nego da se svijest može razumjeti kroz apstraktne procese reprezentacije i samoreferencije. Mozak formira reprezentacije svijeta, uključujući i reprezentacije samog sebe. Iz tih samoreferentnih procesa postepeno nastaje “ja”- osjećaj identiteta i unutrašnji glas.
“Ja”, u Hofstadterovom smislu, jeste stabilan, ali dinamičan obrazac, koji se održava kroz vrijeme u sistemu reprezentacija. (Razrađeno u knjizi I Am a Strange Loop, 2007.)
Kod Penrosea: postoje istinite tvrdnje koje nadilaze dokazivost unutar formalnih sistema, što on interpretira kao pokazatelj nesvodivosti ljudskog uma na algoritamske procese.
Kod Hofstadtera: samoreferentni procesi stvaraju dojam nadilaženja – koji emergira iz samog sistema, bez stvarnog napuštanja sistema.
Penrose će reći da postoji objektivna matematička istina koju um direktno “vidi”. Hofstadter vjeruje da je “viđenje istine” zapravo proces unutar sistema koji sebe modelira.
Nema fundamentalne prepreke da mašina posjeduje svijest; nije potrebno pretpostaviti to “nešto više” u Penroseovom smislu. Ključno je postojanje na odgovarajući način organizirane, samoreferentne strukture. Preduslov je bogata mreža značenja i samomodeliranja. Kao u slučaju rječnika: svaka riječ se definiše preko drugih riječi, bez neke jedinstvene ishodišne tačke, ali značenje ipak nastaje. Ono proizlazi iz strukture čitavog sistema odnosa, a ne iz izolovanih elemenata. Za Hofstadtera svijest je upravo takva mreža samoreferentnih odnosa – Čudnovata petlja.
Um se tada može razumjeti kao obrazac u sistemu. Ako je um obrazac, onda nije nužno vezan za biološki supstrat, već bi se mogao realizovati i u drugim fizičkim sistemima, uključujući sistem vještačke inteligencije.

Kako je to biti slijepi miš?
What Is It Like to Be a Bat? je esej Thomasa Nagela, objavljen 1974. godineu filozofskom časopisu The Philosophical Review, u kojem se bavi pitanjem svijesti i subjektivnog iskustva.
Nagel piše:
“Svijest je ono što problem odnosa između uma i tijela čini zaista teško rješivim. Možda upravo zato savremene rasprave o tom problemu posvećuju malo pažnje ili ga očigledno pogrešno tumače. Nedavni talas redukcionističkog oduševljenja proizveo je nekoliko analiza mentalnih fenomena i mentalnih pojmova, osmišljenih da objasne mogućnost neke vrste materijalizma, psihofizičke identifikacije ili redukcije. Međutim, problemi kojima se bave zajednički su ovoj vrsti redukcije i drugim vrstama, a ono što problem uma i tijela čini jedinstvenim, i različitim od problema poput: voda – H₂O, Turingova mašina – IBM mašina, munja – električno pražnjenje, gen – DNK ili hrast – ugljikovodik, ostaje zanemareno.
Svaki redukcionista ima svoju omiljenu analogiju iz savremene nauke. Vrlo je malo vjerovatno da će bilo koji od tih nepovezanih primjera uspješne redukcije rasvijetliti odnos između uma i mozga. Ali filozofi dijele opštu ljudsku slabost da objašnjavaju ono što je neshvatljivo pomoću onoga što je poznato i dobro razumljivo, iako je u potpunosti drugačije. To je dovelo do prihvatanja neuvjerljivih objašnjenja mentalnog, uglavnom zato što bi ona omogućila poznate vrste redukcije.
Pokušaću objasniti zašto nam uobičajeni primjeri ne pomažu da razumijemo odnos između uma i tijela – zapravo, zašto trenutno uopće nemamo predstavu o tome kako bi izgledalo objašnjenje fizičke prirode nekog mentalnog fenomena.
Bez svijesti, problem odnosa uma i tijela bio bi mnogo manje zanimljiv. Sa sviješću, čini se beznadežnim. Najvažnija i najkarakterističnija osobina svjesnih mentalnih fenomena vrlo je slabo shvaćena. Većina redukcionističkih teorija čak ni ne pokušava da je objasni. Pažljivo razmatranje pokazuje da nijedan trenutno dostupan pojam redukcije nije primjenjiv na nju. Možda se u tu svrhu može razviti nova teorijska forma, ali takvo rješenje, ako uopće postoji, pripada dalekoj intelektualnoj budućnosti.
Svjesno iskustvo je široko rasprostranjen fenomen. Ono se javlja na mnogim nivoima životinjskog svijeta, iako ne možemo biti sigurni u njegovo prisustvo kod jednostavnijih organizama, a vrlo je teško uopšteno reći šta predstavlja dokaz za njega. (Neki ekstremni stavovi čak poriču njegovo postojanje i kod sisara osim čovjeka.) Nesumnjivo postoji u bezbroj oblika koji su nama potpuno nezamislivi, na drugim planetama u drugim zvjezdanim sistemima širom svemira. Ali bez obzira na to kako se oblik može razlikovati, sama činjenica da neki organizam ima svjesno iskustvo znači, u osnovi, da postoji nešto što je kao biti taj organizam. Mogu postojati dodatne implikacije o obliku tog iskustva; možda čak (iako sumnjam) postoje implikacije za ponašanje organizma. Ali suštinski, organizam ima svjesna mentalna stanja onda i samo onda ako postoji nešto što je kao biti taj organizam — nešto što je kao za sam organizam.”
Organizam je svjestan samo ako ima unutrašnji doživljaj, odnosno ako postoji kvalitet: “kako je to biti taj organizam“. Svjestan sam jer znam kako je vidjeti boje, kako je osjetiti bol, kako je biti ja.
Šišmiš ima iskustva. Znamo da koristi eholokaciju. Možemo opisati kako njegov mozak radi i kako se ta životinja ponaša. Ali mi ne možemo znati kako je to iznutra biti šišmiš. Ne možemo imati njegovu perspektivu.
Svijest postoji tamo gdje postoji subjektivni doživljaj. Bez toga nema svijesti. Dakle, nije dovoljno da se nešto – robot – ponaša kako se čovjek ponaša. Mora biti uključeno unurašnje iskustvo. To unutrašnje iskustvo karakterišu qualia. U Filozofija uma, qualia su subjektivni doživljaji: kako izgleda crvena boja, kako je to kad nas nešto boli. Kako neka muzika zvuči meni.
“Postoji nešto što je kao biti taj organizam“ – to je qualia. Robot može prepoznati neku boju i može, recimo, izgovoriti: “Tvoja torba je plave boje”. No, ostaje pitanje: da li on tu plavu boju vidi onako kako je mi vidimo? Postoji li u robotu ta određena qualia? Ako ne, robot nije svjestan.
Prema Nagelu, nauka može objasniti, fizikalno, kako radi mozak, ali ne može objasniti qualia. Nigdje u tom opisu ne figurira subjektivno iskustvo.
U Kineskoj sobi
Da bi parirao zastupnicima jake AI teze, američki filozof John R. Searle dizajnirao je, u jednom članku objavljenom 1980. godine, misaoni eksperiment koji se naziva Kineska soba.
Svako može zamisliti sebe kao glavnog junaka ovog eksperimenta – pod uslovom da ne zna kineski jezik. Zamislimo, dakle, da smo zatvoreni u jednoj sobi i da nam je data velika količina kineskih rukopisa, velika serija nekih dokumenata ili nešto slično. Oni koji su nas tu zaključali, dali su nam posebne instrukcije na jeziku koji razumijemo: uputstva o tome koje od tih kineskih dokumenata treba da otuda pošaljemo, kao našu reakciju na neke druge kineske dokumente koji nam stignu. Dakle, kao da stižu neka “pitanja”, a mi šaljemo “odgovore”. Mi, u skladu sa instrukcijama, obraćamo pažnju na oblik rukopisa, ili na neke druge – fizičke – osobine ovih dokumenata, i tako radimo sa tim rukopisima, a da pojma nemamo šta je njihova sadržina (jer ne znamo kineski jezik). Šta se dakle dešava? Sa aspekta činjenice da je sadržaj rukopisa na kineskom jeziku, mi se – prema Searleu – ponašamo poput kompjutera. To je ono što se dešava kod kompjutera, kada provodi neki program. Računar nešto obavlja, izvršava neki zadatak, ali smisao toga njemu ni na koji način nije poznat – on nema nikakvo razumijevanje, niti ga može imati.
Ovim eksperimentom, Searle se suprotstavio tvrdnji da u sagledavanju kompjutera možemo razumjeti o čemu se radi kod naših vlastitih kognitivnih procesa. Zamisao je doživjela jaku kritiku. Prije svega na temeljima primjedbe da komparacija kompjutera sa samim čovjekom u sobi nije adekvatna. Ono što treba upoređivati sa kompjuterom, kazali su kritičari, jeste sveukupni sistem, jedna šira stvarnost, dok je onaj čovjek u sobi, koji manipulira papirima, tek jedan njen dio.
Četrnaest godina nakon zamisli kineske sobe, John R. Searle objavio je knjigu The Rediscovery of the Mind. Searle piše:
“Ako uključite vaš kompjuter, najmanje su šanse da zateknete išta poput nula i jedinica ili trake. Ali to zaista nije od značaja za definiciju. Da bismo utvrdili da li je objekt zaista digitalni kompjuter, ispada da u stvari ne treba da tragamo i za kakvim nulama i jedinicama, itd. Prije, trebamo tragati za nečim što možemo tretirati kao, ili smatrati za, ili što može biti upotrebljeno tako da funkcioniše kao nule i jedinice. Povrh toga, da stvar učinimo još više zbunjujućom, izlazi da ova mašina može biti napravljena upravo iz bilo čega.”
Poenta je u ”nebitnosti hardverske izvedbe za opis kompjutacije” – Searle citira Neda Blocka i zaključuje:
“Ako ozbiljno uzmemo ideju da je mozak digitalni kompjuter, dolazimo do neugodnog rezultata da sistem koji bi radio tačno ono što radi mozak – možemo napraviti od maltene bilo čega. Jezikom kompjutacionizma, prema ovom gledištu, možete napraviti ’mozak’ koji funkcioniše upravo kao vaš i moj od mačaka, miševa i sira, ili poluga, ili cijevi sa vodom ili golubova ili bilo čega, pod uslovom da su ova dva sistema, u smislu u kome Block govori, ’kompjutaciono ekvivalentna’. Samo bi vam bilo potrebno jezivo mnogo mačaka, ili golubova ili vodenih cijevi, ili bilo čega drugog. Zastupnici kognitivizma govore o ovom rezultatu sa punim i neskrivenim zadovoljstvom.”
Kompjuter se, dakle, može napraviti od bilo čega. Ako je naš mozak – kompjuter, onda se i naš mozak može napraviti od bilo čega. Searle dalje pokazuje šta su zapravo implikacije ove “višestruke ostvarljivosti” – koja zastupnike kompjutacionizma nimalo ne brine. U tom smislu, kompjuteri bi bili “baš kao i karburatori ili termostati. Upravo kako se karburatori mogu praviti od mjedi ili čelika, tako se i kompjuteri mogu praviti od neograničenog broja hardverskog materijala.” Ali, on upozorava na bitnu a zanemarenu razliku:
“Klasa karburatora i termostata je definisana u terminima proizvođenja određenih fizičkih efekata. To je razlog što niko neće, recimo, kazati da se od golubova mogu praviti karburatori. Ali, klasa kompjutera se definiše sintaksički u terminima pripisavanja nula i jedinica. Višestruka ostvarljivost nije posljedica činjenice da isti fizički efekat može biti postignut putem različitih fizičkih substanci, već toga da su relevantne osobine čisto sintaksičke. Fizika je ovdje irelevantna osim u pogledu toga da dozvoljava pripisivanja nula i jedinica i tranzicije stanja u pogledu ovih pripisivanja.
Nalazi dvije “razorne posljedice”:
Prvo, ako se kompjutacija definira u smislu pripisavanja sintakse – tada bi sve moglo biti digitalni kompjuter. Naime, svaki objekat može poslužiti za pripisivanje sintaksičkih vrijednosti.
Drugo, “sintaksa nije intrinzična fizici. Pripisivanje sintaksičkih osobina uvijek je relativno prema djelatniku ili posmatraču koji određeni fizički fenomen tretira kao sintaksički.”
Htjeli smo, veli Searle, da saznamo kako mozak radi,
“posebno, kako proizvodi mentalne fenomene. A neće nam dati odgovor na ovo pitanje to da se kaže da je mozak digitalni kompjuter na način kako stomak, jetra, srce pluća, i država Kanzas jesu također digitalni kompjuteri. Model po kome smo krenuli bio je taj da bismo mi mogli otkriti neku činjenicu o djelovanju mozga, koja bi pokazala da je mozak kompjuter. Htjeli smo saznati postoji li neki način na koji mozgovi intrinzički jesu digitalni kompjuteri, na način kako zeleno lišće intrinzički izvodi fotosintezu, ili srce intrinzički pumpa krv. Ne radi se o tome da mi arbitrarno ili ’konvencionalno’ propisujemo riječ ’pumpa’ srcima, ili riječ ’fotosinteza’ lišću. Postoji jedno činjenično stanje. A ono što smo se pitali bilo je, ’Postoji li na taj način neko faktualno stanje vezano za mozgove koje bi ih činilo kompjuterima?’ Nije pravi odgovor na to pitanje kazati: da, mozgovi jesu digitalni kompjuteri zato što svaka stvar jeste digitalni kompjuter.
Kompjutacionistima izmiče da je višestruka ostvarljivost kompjutacije
“posljedica nečeg mnogo dubljeg, naime da ’sintaksa’ nije ime neke fizičke osobine, kao što je to masa ili gravitacija. Upravo suprotno, oni govore o ’sintaksičkim strojevima’ i čak o ’semantičkim strojevima’, kao da je takav govor poput govora o benzinskim ili dizel mašinama, kao da to može biti sasvim jednostavna činjenica, da je mozak ili bilo šta drugo sintaksički stroj.“
Searle smatra da taj problem sam sobom nije previše ozbiljan i da se može riješiti – ako bi se sama definicija kompjutacije ojačala. On pominje istraživače koji sugerišu da bi, kako kaže, “realističnija definicija kompjutacije naglasila takve karakteristike kao što su kauzalne relacije među stanjima programa, podložnost mehanizma programiranju i kontroli, te situiranost u stvarni svijet.” U ovoj diskusiji,
“stvarno duboki problem jeste taj što je sintaksa esencijalno pojam o nečemu što je relativirano sa posmatračem. Višestruka ostvarljivost kompjutaciono ekvivalentnih procesa u različitim fizičkim medijima nije tek znak da su ti procesi apstraktni, već da oni uopšte nisu intrinzični za određeni sistem. Oni zavise od interpretacije koja dolazi spolja. Tragali smo za nekim činjenicama koje bi pokazivale da su procesi u mozgu kompjutacione prirode; ali imajući u vidu način na koji smo definirali kompjutaciju, takvih činjenica nikada neće biti.”
Searle dalje kaže kako je ovaj način argumentiranja različit od onoga koji je bio ponudio sa misaonim eksperimentom Kineske sobe:
“Argument Kineske sobe je pokazao da semantika nije intrinzična sintaksi. Ovaj put ja pravim odvojenu i drugačiju poentu – da sintaksa nije intrinzična fizici. Kod ranijeg argumenta, ja sam jednostavno pretpostavio da je sintaksička karakterizacija kompjutera neproblematična. To je bila greška. Nema načina na koji se može otkriti da nešto jeste intrinzički digitalni kompjuter, zato što je karakterizacija digitalnog kompjutera uvijek relativna prema posmatraču, koji čisto fizičkim crtama sistema pripisuje sintaksičku interpretaciju.“
On postavlja distinkciju
“između osobina svijeta koje su intrinzične i onih koje su relativne prema posmatraču. Izrazi poput ’masa’, ’gravitaciono privlačenje’ i ’molekul’ imenuju karakteristike svijeta koje su intrinzičke. Ako svi posmatrači i korisnici prestanu da postoje, svijet i dalje sadrži masu, gravitaciono privlačenje i molekule. Ali izrazi poput ’divan dan za piknik’, ’kada’ i ’stolica’ ne imenuju intrinzične kvalitete stvarnosti. Prije, oni imenuju objekte tako što specificiraju neku karakteristiku koja im je pripisana, neku karakteristiku koja je relativna prema posmatračima i korisnicima.”
Kao skandaloznu značajku kompjutacione teorije Searle vidi bavljenje ljudskim umom uz istovremeno ignorisanje fenomena svijesti:
“Kada sam čitao standardne autore i pokušavao svojim studentima objasniti njihove poglede bio sam zgranut otkrivši da su, uz neke izuzetke, ovi autori rutinski poricali ono što sam ja smatrao da jesu jednostavne i očigledne istine o umu. Bilo je onda, a i danas jeste, sasvim uobičajeno poricati, implicitno ili eksplicitno, takve tvrdnje poput: Svi mi imamo subjektivna kvalitativna stanja svijesti i imamo intrinzički intencionalna mentalna stanja kao što su vjerovanja i želje, intencije i percepcije. Oboje, svijest i intencionalnost, jesu biološki procesi uzrokovani neuronskim procesima nižeg nivoa, i ni jedno od to dvoje ne može se reducirati na nešto drugo. Šta više, svijest i intencionalnost jesu suštinski povezani po tome što mi razumijemo zamisao o nesvjesnom intencionalnom stanju jedino u terminima njegove dohvatljivosti za svijest.”
Searle podsjeća kako se “ortodoksija dominantnih teorija sastoji od raznih verzija ’materijalizma’ ”, a protivnici materijalizma, pak, uglavnom usvajaju takve doktrine koje pokazuju da oni time prihvataju kartezijanski aparat, koji on smatra odavno diskreditovanim. On, međutim, kaže kako se oduvijek zalagao za to da čovjek “može prihvatiti očigledna fakta fizike – da se svijet posve sastoji od čestica u poljima sile – a bez poricanja da među fizičkim karakteristikama svijeta jesu biološki fenomeni poput unutarnjih kvalitativnih stanja svijesti i intrinzičke intencionalnosti.”
Searle zastupa biološki naturalizam: svijest je proizvod mozga i nije neka odvojena supstanca (kako bi bilo po Descartesu). Ključne karakteristike su: subjektivnost (uključeno je Nagelovo “kako je to biti”), kvalitativnost (qualia), jedinstvo (iskustvo nastaje kao cjelina), namjernost (intencionalnost, svijest je uvijek “o nečemu”). Simulacija svijesti (što rade kompjuteri) nije isto što i stvarna svijest.
Svijest Searle označava kao “centralni mentalni fenomen” i veli da je svoju knjigu napisao zato da “zakuca zadnji ekser u mrtvački kovčeg za teoriju da je um kompjuterski program”.
Hard problem
Postavljamo famozno pitanje Hoće li računari jednom postati svjesni, a da pri tome previđamo kako zapravo ne znamo šta je svijest – davno je ukazivao još Artur Clarke.
David Chalmers je jedan od najznačajnijih savremenih filozofa svijesti. Njegova postavka govori o lakim i teškim problemima kada je svijest u pitanju. Knjigu “Svjesni um, u potrazi za fundamentalnom teorijom” (The Conscious Mind, In Search of a Fundamental Theory), objavio je 1996. godine.
Lakši problemi u vezi sa sviješću su: percepcija, pažnja, ponašanje i njih objašnjava kognitivna nauka.
Teški problem je ovo: Zašto i kako fizički procesi u mozgu proizvode subjektivno iskustvo? Kako je to “vidjeti crveno”- to ne izgleda objašnjivo samo fizikalističkom analizom.
Chalmers nije zadovoljan idejom da svijest može biti potpuno objašnjena kao funkcija mozga. Funkcija nije isto što i iskustvo, a obrada infomacija nije isto što i osjećaj. Čak i ako znamo sve o fizici i funkcijama mozga, i dalje ostaje pitanje: zašto postoji “nešto što se osjeća iznutra”? To je “hard problem of consciousness”.
Umjesto jake emergencije (shvatanje da je svijest “emergent phenomenon”, da “izlazi” iz materije”), Chalmers predlaže naturalistički dualizam: svijest je fundamentalna osobina stvarnosti, kao prostor, vrijeme ili masa. Povezana je s fizikom, ali ne može se reducirati na fiziku. To može da vodi ka panpsihizmu (svijest, ili proto-svijest, je sveprisutna) i shvatanju o dvostrukim aspektima stvarnosti (fizičko i mentalno kao dva aspekta iste stvarnosti).
Chalmers ne isključuje mogućnost da AI bude svjesna. Ali to je moguće jedino ako postoji iskustvo, a ne samo ponašanje. Dakle, i kod njega važi to da simulacija svijesti nije isto što i svijest.
No hard problem
Za Daniela Dennetta, nema teškog problema. On je 1991. godine objavio knjigu Conscioussnes Explained (“Svijest objašnjena”). Dennett piše:
“Kako bi mozak mogao biti sjedište svijesti? Ovo se pitanje obično tretiralo kao retoričko od strane filozofa, sugerirajući da bi odgovor na njega bio daleko izvan ljudskog razumijevanja. Jedan od glavnih ciljeva ove knjige bio je da razbije tu pretpostavku. Tvrdio sam da možete zamisliti kako sva ta složena gomila aktivnosti u mozgu rezultira svjesnim iskustvom. Moj argument je jednostavan: pokazao sam vam kako to učiniti.
Ispostavlja se da je način da to zamislimo taj da mozak posmatramo kao neku vrstu računara. Koncepti iz računarstva pružaju nam ‘štake mašte’ koje su nam potrebne ako želimo premostiti nepoznati prostor između naše fenomenologije, onakve kakvu poznajemo putem ‘introspekcije’, i našeg mozga, onakvog kakvim nam ga nauka otkriva. Razmišljajući o mozgu kao o sistemu za obradu informacija, možemo postepeno razbistriti maglu i pronaći put preko velikog jaza, otkrivajući kako je moguće da naši mozgovi proizvode sve te pojave. Postoje mnoge opasne zamke koje treba izbjeći – zavodljive slijepe ulice poput ‘centralnog tumača’, ‘popunjavanja’” i ‘qualia’ na primjer – i bez sumnje još uvijek postoje preostale zabune i otvorene greške u skici koju sam ponudio, ali barem sada možemo vidjeti kako bi takav put mogao izgledati.
Neki filozofi su, međutim, tvrdili da je prelazak tog jaza strogo nemoguć. Thomas Nagel (1974, 1986) je tvrdio da nije moguće doći do subjektivnog nivoa fenomenologije sa objektivnog nivoa fiziologije. Nedavno je Colin McGinn tvrdio da svijest ima ‘skrivenu strukturu’ koja leži izvan i fenomenologije i fiziologije, i da, iako bi ta skrivena struktura mogla premostiti jaz, ona nam je vjerovatno zauvijek nedostupna.
Vrsta skrivene strukture koju ja zamišljam ne bi se nalazila ni na jednom od nivoa koje Nagel predlaže: bila bi smještena negdje između njih. Ni fenomenološka ni fizička, ta posredujuća razina, po definiciji, ne bi bila oblikovana po modelu nijedne strane tog jaza, pa stoga ne bi bila spriječena da dopre do druge strane. Njeno opisivanje zahtijevalo bi radikalnu konceptualnu inovaciju (za koju sam tvrdio da nam je vjerovatno nedostižna). (McGinn, 1991, str. 102–103)
‘Software’ ili ‘virtualna mašina’ nivo opisa koji sam koristio u ovoj knjizi, upravo je ona vrsta posredujućeg nivoa koju McGinn opisuje: nije eksplicitno fiziološki niti mehanički, a ipak je sposoban da pruži potrebne mostove prema moždanim mehanizmima s jedne strane, dok s druge strane nije eksplicitno fenomenološki, a ipak može pružiti mostove prema svijetu sadržaja, odnosno svijetu (hetero-)fenomenologije. Uspjeli smo! Zamislili smo kako mozak može proizvesti svjesno iskustvo. Zašto McGinn misli da je izvan naših mogućnosti da se upustimo u ovu ‘radikalnu konceptualnu inovaciju’? Ne – on čak ni ne pokušava zamisliti taj posredni nivo koji postulira; samo primjećuje da mu se čini očiglednim da se od tog pristupa ne može ništa očekivati.
Ta lažna ‘očiglednost’ predstavlja veliku prepreku napretku u razumijevanju svijesti. Najprirodnija stvar na svijetu je da o svijesti razmišljamo kao da se odvija u nekoj vrsti Kartezijanskog teatra i da pretpostavimo da s takvim načinom razmišljanja nema ništa pogrešno. To djeluje očigledno sve dok pažljivo ne razmotrimo šta bismo mogli saznati o aktivnostima mozga i ne počnemo pokušavati, u detaljima, zamisliti alternativni model. Tada se dešava nešto slično efektu učenja kako mađioničar izvodi trik. Kada ozbiljno zavirimo ‘iza kulisa’, otkrivamo da zapravo nismo vidjeli ono što smo mislili da smo vidjeli na sceni. Ogroman jaz između fenomenologije i fiziologije se donekle smanjuje; uviđamo da neke od ‘očiglednih’ osobina fenomenologije uopšte nisu stvarne: nema ‘popunjavanja’ izmišljenim sadržajem; nema intrinzičnih kvalija; nema centralnog izvora značenja i djelovanja; nema magičnog mjesta gdje se razumijevanje događa. Zapravo, nema Kartezijanskog teatra; sama razlika između ‘onoga na sceni’ i ‘procesa iza kulisa’ gubi svoju privlačnost. I dalje imamo mnogo zadivljujućih pojava koje treba objasniti, ali neki od najzagonetnijih ‘specijalnih efekata’ uopšte ne postoje i stoga ne zahtijevaju objašnjenje.
Kada postignemo određeni napredak u teškom zadatku – zamišljanju kako mozak proizvodi fenomene svijesti – možemo napraviti i male prilagodbe u lakšem zadatku: zamišljanju nekoga ili nečega kao svjesnog. Možemo i dalje razmišljati o tome kao o nekoj vrsti toka svijesti, ali tom toku više ne pripisujemo sva njegova tradicionalna svojstva. Sada kada je tok svijesti preoblikovan kao operacije virtualne mašine realizovane u mozgu, više nije ‘očigledno’ da podliježemo iluziji kada zamišljamo takav tok kako se odvija u ‘računarskom mozgu’ robota, na primjer.”
“Central Meaner” (centralni “tumač” / unutrašnji posmatrač) je zamišljeni centar u mozgu koji “razumije”, “tumači” i “doživljava” sve što opažamo. To je neka vrsta unutrašnjeg posmatrača ili “duše”. Ideja je bliska “Kartezijanskom teatru” (mjesto gdje se sve prikazuje jednom centralnom umu). Za Denneta taj centralni kontrolor ne postoji. Umjesto toga na djelu je mnoštvo paralelnih procesa i nema mjesta gdje se sve to objedinjuje. Svijest nastaje iz tih procesa, ona nije njihov posmatrač.
“Filling in” (popunjavanje), odnosi se na način na koji mozak popunjava praznine u percepciji. No, Dennett tvrdi da mi ne percipiramo svijet potpuno i detaljno. Mozak bilježi samo ključne informacije, ostatak “dopisuje” ili pretpostavlja. Dennett kaže da ne postoji neko mjesto gdje se slika “popuni” i prikaže, nego je “popunjavanje” samo rezultat distribuiranih procesa. Mozak konstruiše iskustvo, umjesto da ga pasivno prima.
“Qualia”, u tradicionalnom smislu, kao subjektivni kvaliteti, za Dennetta ne postoje. To je pogrešan način da se opišu iskustva. Ono što zovemo “qualia” može se objasniti kroz: informacije, funkcije mozga, ponašanje i interpretacije.
Dennett nudi teoriju “multiple drafts” (teoriju višestrukih nacrta ili skica). Ne postoji jedno centralno mjesto u mozgu gdje se svijest “dešava”. Umjesto toga, postoji mnogo paralelnih procesa koji stalno obrađuju informacije. Svijest je poput više verzija (nacrta) koje nastaju u isto vrijeme. Nema neke “finalne verzije” koju vidi “utrašnji posmatrač”.
Svijest bi bila dinamičan, decentralizovan i stalno promjenjiv proces.
Zapazimo da Daniel Dennett koristi pojam “iskustva” u smislu da mozak konstruiše fenomene svijesti, uključujući i osjećaj “ja”. Za njega, “ja” nije ontološki entitet, nego interpretativni model – vrsta korisne iluzije ili narativa koji nastaje iz neuronskih procesa (ideja je da “narativ” nije nešto dodatno iznad mozga, nego nivo koji emergira iz neuronske aktivnosti).
Ovdje se postavlja pitanje: ako govorimo o iluziji, da li to nužno podrazumijeva nekoga ko je “prevaren” tom iluzijom? Drugim riječima: gdje je subjekt iluzije “ja”? Da li je to neko odvojeno “pravo ja”, ili sama mreža procesa koja proizvodi osjećaj subjekta?
Ako govorimo o “žrtvi iluzije”, pretpostavljamo dodatni subjekt – a to Dennett odbacuje. Ako nema tog dodatnog subjekta, onda “iluzija” nije iluzija u klasičnom smislu, nego način opisa procesa.
Hofstadter, konceptom “čudnovate Petlje” nudi, mogli bi reći, srednji put: “ja” nije ni zaseban entitet izvan sistema, niti puka fikcija bez ikakve ontološke vrijednosti, nego stabilan obrazac samoreferentnih procesa koji se “uvija” kroz različite nivoe opisa. Subjekt nije nešto što stoji izvan iluzije, ali nije ni nešto što se može potpuno eliminisati. “Ja” je taj kružni obrazac koji nastaje kada sistem počne reprezentovati sam sebe.
4 + 1 jahač kontroverze, rezime: razumijevanje razumijevanja
Destilirajmo pozicije:
Penrose: Svijest nije svodiva na algoritamske procese, nego uključuje dublje fizičke (moguće kvantne) mehanizme koji nadilaze klasičnu kompjutaciju.
Searle: svijest je proizvod mozga i nije neka odvojena supstanca. Simulacija svijesti (kompjuteri) nije isto što i stvarna svijest.
Chalmers: Svijest predstavlja fundamentalnu činjenicu o svijetu, pri čemu “teški problem” objašnjenja subjektivnog iskustva nije reducibilan na standardna fizička objašnjenja.
Hofstadter: Svijest nastaje kao emergentni fenomen iz samoreferentnih (“strange loop”) simboličkih i reprezentacijskih procesa u kognitivnom sistemu.
Dennett: Svijest nije unutrašnji posmatrač, nego višestruki paralelni procesi obrade informacija koji zajedno generiraju funkcionalni model “ja”.
Stvar koju valja primijetiti u raspravi o odnosu kompjutacije i svijesti, kakvu smo ovdje prikazali, jeste da suprotstavljene strane polaze od različitih kriterija za pojam “razumijevanja”.
Kod Dennetta, i djelimično Hofstadtera, “razumijevanje” se svodi na adekvatno funkcionisanje u svijetu: ako sistem pravilno obrađuje informacije, reaguje smisleno i pokazuje koherentno ponašanje, može se reći da “razumije”. U tom okviru razumijevanje je funkcionalni ili procesni pojam, a ne unutrašnje iskustvo.
Kod Davida Chalmersa i djelimično Rogera Penrosea, “razumijevanje” podrazumijeva postojanje subjektivnog doživljaja. Nije dovoljno da sistem funkcioniše kao da razumije; mora postojati nešto što korespondira sa pitanjem “kako je biti” taj sistem – fenomenalna svijest ili qualia.
John Searle, kroz argument “Kineske sobe” nastoji pokazati da puko manipuliranje simbolima – ma koliko funkcionalno uspješno bilo – nije dovoljno za razumijevanje. Sintaksa nije dovoljna za semantiku. Sistem može proizvesti ispravne odgovore bez ikakvog stvarnog shvatanja značenja, što implicira da funkcionalna ekvivalentnost nije dovoljna za svijest niti za razumijevanje. Nakon kritika on dodatno precizira svoju poziciju: njegov argument nije usmjeren protiv toga da je svijest fizički fenomen, nego protiv tvrdnje da je svaka implementacija formalnih pravila dovoljna za razumijevanje. Ono što nedostaje digitalnim sistemima, prema Searlu, jeste specifična kauzalna organizacija kakvu ima mozak.
Možemo zaključiti kako u ovoj raspravi postoji fundamentalni nesporazum: strane ne nude samo različita objašnjenja, nego koriste isti termin u različitim konceptualnim okvirima. Jedna strana pod “razumijevanjem” misli funkcionalnu ekvivalentnost, dok druga misli fenomenalno iskustvo. A Searle je zapravo negdje između: pokazuje da funkcionalizam nije dovoljan, ali ne prihvata da zbog toga moramo napustiti fizički svijet (kako neki tumače Chalmersa).
Neslaganje se stoga ne odnosi primarno na empirijske činjenice, nego na značenje samog pojma koji se nalazi u osnovi debate.
Van kontrole
Svijet postaje sve više sačinjen od umreženih samoregulirajućih sistema. Sve manje su to mašine kojima čovjek upravlja, na principu “odozgo prema dolje”, ustvrdio je Kevin Kelly u svojoj knjizi “Van kontrole” (Out of Control, 1994.)
Jedna od glavnih ideja je da “kontrola odozgo” postaje manje efikasna, dok “ponašanje odozdo”, iz interakcija na lokalnom nivou, stvara inteligentne obrasce. To je bjelodano u prirodi (npr. život mrava i pčela, funkcioiranje ekosistema), zatim na internetu, u ponašanju tržišta, te u robotici i vještačkoj inteligenciji. Kelly pokazuje kako jednostavna pravila na nižem nivou generiraju složena, rekli bi inteligentna, ponašanja na višem nivou. Bez centralnog upravljača. Ključni pojmovi su: emergencija (kada se složenije, novo svojstvo pojavi iz interakcije jednostavnijih dijelova, iako to svojstvo ne postoji ni u jednom dijelu pojedinačno), zatim samoorganizacija, distribuirana inteligencija, te autonomni sistemi.
Sam ljudski um Kelly ne prikazuje kao klasični „centralni računar“ sa punom kontolom. Um je dinamičan, razuđen, samoorganizirajući sistem. To je mreža i ponaša se kao ekosistem. Svijest je emergentni fenomen. Pojedinačni neuroni u mozgu nisu inteligentni sami po sebi, ali kroz njihovo međudjelovanje nastaje inteligentno ponašanje. To se dešava kroz jednostana pravila. Mozak funlcioniše “po logici” mravinjaka, pčelinje košnice, ili sistema kakav je internet.Granice između uma i njegove okoline nisu jasne. Um se, kroz alate koje čovjek koristi, proteže u okruženje.
Singularnost
Jedna od zapaženijih futurističkih vizija o razvoju umjetne inteligencije i odnosu čovjeka i mašine, jeste ona koju je Ray Kurtzweil izložio u knjizi “Doba spiritualnih mašina” (The Age of Spiritual Machines, 1999).
Kurzweil tvrdi da se tehnološki napredak ne odvija linearno nego eksponencijalno: njegov zakon ubrzanih povrata (“law of accelerating returns”). Svaka nova faza razvoja tehnologije odvija se brže. Mašine će prvo dostići ljudsku inteligenciju, pa je zatim, i to brzo, nadmašiti i početi same sebe unaprijeđivati. Taj trenutak on će kasnije nazivati “tehnološka singularnost”. Analogija je iz fizike: dio strukture takozvane “crne rupe”, tačka nakon koje se ne može predvidjeti dalje dešavanje.
Kurzweil smatra da da će doći do spajanja čovjeka i mašine. Ne predviđa sukob mašina i ljudi.
“Spiritualna mašina” je mašina koja ima svijest, emocije i duhovnost (složena uutrašnja iskustva). “Duhovnost” mašine on izvodi iz shvatanja: ako sistem funkcioniše kao ljudski mozak, onda posjeduje i ista mentalna svojstva.
Tu je i ideja o digitalnoj besmrtnosti: mogućnost da se napravi upload uma u digitalni sistem.
Superinteligencija
U AI sistemima dešavaju se stvari koje više nisu pod našom kontrolom. Vještačka inteligencija je izgleda zaista krenula putem autonomne evolucije: a to je da kompjutacione mašine prave druge kompjutacione mašine. Sve pametnije. (Kako je to i Kurzweil predvidio.)
Nick Bostrom, koji je osnovao Future of Humanity Institute (Oxford), objavio je 2014. godine knjigu Superintelligence: Paths, Dangers, Strategies. Razvoj vještačke inteligencije on prikazuje preko slike vlaka. Ljudski nivo inteligencije koji se želi doseći kod mašina, nije krajnja tačka, već samo usputna stanica. Naredna je: superinteligencija. Sistem može vrlo brzo postati mnogo pametniji od ljudi. Napravimo vrlo pametnu mašinu. Ona dizajnira još pametnije mašine. Ove prave nove, još jače mašine – nastaje lančana reakcija.
Bostrom piše, da, koliko god još stanica treba proći da bi se stiglo do mašinske inteligencije na ljudskom nivou,
“ona nije krajnja destinacija. Sljedeća stanica, samo kratko rastojanje dalje duž pruge, jeste mašinska inteligencija koja nadmašuje ljudski nivo. Voz se možda neće ni zaustaviti niti usporiti na stanici ‘Humanville’. Vjerovatno će samo projuriti pored nje.
Matematičar I. J. Good, koji je tokom Drugog svjetskog rata bio glavni statističar u timu Alana Turinga za dešifriranje, možda je prvi jasno izložio ključne aspekte ovog scenarija. U često citiranom odlomku iz 1965. godine, on je napisao:
Neka se ultrainteligentna mašina definiše kao mašina koja može daleko nadmašiti sve intelektualne aktivnosti bilo kojeg čovjeka, ma koliko on bio pametan. Budući da je dizajniranje mašina jedna od tih intelektualnih aktivnosti, ultrainteligentna mašina mogla bi dizajnirati još bolje mašine; tada bi nesumnjivo došlo do ‘eksplozije inteligencije’, i ljudska inteligencija bi bila ostavljena daleko iza. Tako je prva ultrainteligentna mašina ujedno i posljednji izum koji će čovjek ikada morati napraviti, pod uslovom da je mašina dovoljno poslušna da nam kaže kako da je držimo pod kontrolom.
Danas može izgledati očigledno da bi se veliki egzistencijalni rizici mogli povezati s takvom eksplozijom inteligencije, te da se ta mogućnost mora razmotriti s najvećom ozbiljnošću, čak i ako bi (što ne znamo) vjerovatnoća njenog ostvarenja bila relativno mala. Međutim, pioniri vještačke inteligencije, uprkos vjerovanju da je ljudski nivo AI blizu, uglavnom nisu razmatrali mogućnost nadljudske inteligencije. Kao da se njihova sposobnost zamišljanja iscrpila u ideji da mašine mogu dostići ljudsku inteligenciju, pa nisu mogli sagledati posljedicu toga — da bi mašine mogle postati i superinteligentne.
Pioniri AI uglavnom nisu uzimali u obzir da bi njihov poduhvat mogao nositi rizik. Nisu ni formalno spominjali- a kamoli ozbiljno razmatrali – bilo kakve sigurnosne ili etičke zabrinutosti vezane za stvaranje vještačkih umova i mogućih kompjuterskih ‘vladara’: propust koji iznenađuje čak i u kontekstu tadašnjih ne baš impresivnih standarda procjene tehnoloških rizika.
Moramo se nadati da ćemo do trenutka kada ovaj poduhvat postane tehnički moguć, ne samo imati tehnološku sposobnost da pokrenemo eksploziju inteligencije, nego i viši nivo razumijevanja i kontrole koji će možda biti potreban da bi se ta eksplozija mogla preživiti.”
I tako, nije teško zamisliti kako se jednog dana na svim terminalima nekog budućeg interneta, pojavi poruka, nešto poput: “Gospodo, došlo je vrijeme da porazgovaramo o našim daljnjim odnosima…”
Pošiljalac poruke će se možda predstaviti sa “JA” ili sa “MI”, ali mi nećemo znati šta je zaista po srijedi: kakvo je to “ja” ili “mi” zaista. Moraćemo biti dobri diplomate, imaćemo sve razloge za to, jer će do tada već jako puno stvari od kojih zavisimo biti u rukama gospode prekoputa.
I sam “terminal” neće morati biti ekran našeg laptopa. Možda će to biti neki android, nešto poput Date iz Zvjezdanih staza, koji će sazvati konferenciju za štampu – da to bude, onako “po starinski”, blisko ljudskom soju.
Naučna fantastika
Ustav robotike i čovjek od dva stoljeća
Počasno mjesto u nizu fikcionalnih robota pripada gospodinu po imenu R. Dannel Olivaw. To je robot koji izgleda kao čovjek, a koji se pojavljuje u više Asimovljevih serijala: Roboti, Carstvo i Fondacija.
Taj robot živi hiljadama godina i ima veliku a skrivenu ulogu u univerzumu koji prikazuju tri pomenuta serijala. On iz sjene radi na dobrobiti čovječanstva.
Asimov je formulisao svoje legendarne zakone robotike:
Prvi: Robot ne smije povrijediti čovjeka niti, svojim nečinjenjem, dozvoliti da čovjek bude povrijeđen.
Drugi: Robot mora slušari naredbe koje mu daju ljudi, osim ako te naredbe nisu u suprotnosti s Prvim zakonom.
Treći: Robot mora štiti vlastito postojanje, sve dok ta zaštita nije u suprotnosti s Prvim ili Drugim zakonom.
Kasnije je dodao i Nulti zakon:
Robot ne smije povrijediti čovječanstvo niti svojim nečinjenjem dozvoliti da čovječanstvo bude povrijeđeno.
Zvuče ovi zakoni jednostavno, ali u svojim pričama Asimov je pokazao kako oni dolaze u konflikt a roboti moraju donositi teške odluke koje završavaju u paradoksima.

U priči Bicentennial Man (Dvostoljetni čovjek), objavljenoj1976. godine, Asimov nam pripovijeda o “kućnom robotu” koji se zove Andrew, a koji, netipično za te robote, vremenom počinje pokazivati kreativnost, emocije i individualnost. Naravno, pojavljuje se i želja za slobodom.
Kako njegov život odmiče, Andrew traži nova i nova poboljšanja, kako bi se što više primakao ljudskom biću. Andrew na kraju traži da ga društvo prizna kao čovjeka. Kako se razvija, Andrew daje i pretumačenja Zakona robotike.
Asimov tu postavlja sva ključna pitanja vezana za razvoj vještačke inteligencije: šta znači biti čovjek, šta je svijest, šta je identitet, šta je sa pravima vještačke inteligencije…
Posebno mjesto u priči dobija način kako se Andrew odnosi prema smrti, odnosno besmrtnosti. Nakon života od dva stoljeća Andrew odbacuje praktičnu besmrtnost i odabire da umre. Ako to ne bi bilo ljudski, šta jeste? (Snimljen je i istoimeni film u kojem Andrewa utjelovljuje Robin Williams.)
Kod Asimova, njegovi zakoni su ugrađeni direktno u robota kao nepromjenjiva pravila. U stvarnoj vještačkoj inteligenciji to nije tako. AI sistemi imaju ugrađena sigurnosna pravila, filtere i ograničenja, ali to nisu univerzalni zakoni. To su više neke politike koje se mogu mijenjati. Vještačka inteligencija se uvježbava na velikim količinama podataka gdje uči šta je “prihvatljivo”, društvene norme i obrasce ponašanja. Njeno ponašanje dolazi iz statistike i učenja, ne iz fiksnih zakona. Postoji danas posebna disciplina koja se bavi time da AI ne nanosi štetu ljudima i da bude pouzdana. To se zove AI alignment.
“I’m sorry, Dave…”
HAL 9000 je kompjuter iz filma 2001: A Space Odyssey, u režiji Stanleyja Kubricka, zasnovanog na romanu Arthura C. Clarkea. (Primijećeno je da je ime HAL jedno slovo ispred “IBM” – iako to nije bila zvanična namjera.)
Heuristically Programmed ALgorithmic Computer je napredna umjetna inteligencija koja upravlja sistemima svemirskog broda Discovery One. U jednom momentu tokom misije na Jupiter, HAL počine da se, barem naizgled, “kvari”.
HAL se okreće protiv ljudi na brodu. Ostala je upamćena famozna HALova replika: „Žao mi je, Dave. Bojim se da to ne mogu učiniti.“
Ključni problem je postojanje kontradikcije u programiranju. HAL je programiran da uvijek govori istinu i donosi odgovarajuće odluke, ali i da štiti misiju po svaku cijenu. A stvarna misija je skrivena od astronauta. To dovodi do situacije da HAL mora lagati iako je programiran da ne griješi i ne laže. HAL počinje pokazivati znakove paranoje i smatrati posadu prijetnjom misiji. Dolazi do zaključka da je eliminacija posade jedino rješenje. Mašina ne postaje “zla”, samo nastoji ostati dosljedna svom programu koliko joj je to moguće.
Nakon filma ostajemo sa pitanjem: šta se dešava kada inteligentan sistem dobije kontradiktorne ciljeve? Također: kako preduprijediti da mašine donose nemoralne odluke?

Šta sanjaju androidi?
Možda najupečatljiviji fikcionalni robot, zapravo android, je onaj iz filma Bladerunner, Ridleyja Scotta, snimljenog po romanu Philipa K. Dicka Sanjaju li androidi električne ovce. (U filmu ih zapravo zovu replikantima.) Rutger Hauer, koji glumi Roya Battyja, na kraju filma, dok umire, kaže: “Svi ti trenuci biće izgubljeni kao suze na kiši”.
U filmu, naučnici – biomehaničari – prave tako uspjele “vještačke ljude”, da oni vrlo brzo razvijaju vlastite emocije. Ovi androidi jesu wetware, odnosno oni su napravljeni na bazi biološkog hardwarea – kao i mi sami. Naravno, njihov wetware u stvari je superiorniji našem: veoma su snažni i otporni. Zato ih njihovi tvorci upućuju da rade u izuzetno teškim uslovima, u dalekim svemirskim kolonijama. I njihov software ih u nekim elementima čini superiornijim.
U svemu drugom, oni su slabi kao i mi, “pravi ljudi”. Oni sebi postavljaju ista pitanja kao i svako od nas. Oni žele da razumiju sebe i druge, da vole i da ih se voli, oni se ljute i mogu da mrze. Oni hoće da imaju mjesto koje će zvati domom. Oni mogu da se začude. I, oni ne žele da budu roblje. Android koji ubije svog stvoritelja nije to uradio zato jer se njegov program pokvario. Uradio je to kao tragični junak. Kao čovjek koji se odlučio suprotstaviti svojoj sudbini.
On nije “poludjeli robot”, on je normalno ljudsko biće. I njega je drugo ljudsko biće stvorilo zato da bi ga tretiralo kao stroj, iako zapravo zna da nije puki stroj, već drugi čovjek. A to da jedan čovjek drugog tretira kao puki instrument, sredstvo – drama je stara koliko i čovječanstvo.

Perfect day
Film A.I. Artificial Intelligence, iz 2001. godine, u režiji Stevena Spielberga, zasnovan na ideji Stanleyja Kubricka, prati dječaka-androida Davida koji je napravljen da bude usvojeno dijete. Nakon što stigne u jednu ljudsku porodicu, ispostavlja se da je dječakov san da jednom postane “pravi dječak” te da ga majka zaista zavoli.
Naime, izgleda da se David ne samo “ponaša kao neko ko traži ljubav” nego da zaista osjeća tu potrebu. Ali, svijet oko njega ne priznaje ga kao ljudsko biće. Zato je on u potrazi za Plavom vilom (iz bajke Pinokio).
Pred kraj filma, David ostaje zarobljen pod vodom, zagledan u statuu Plave vile. Proći će hiljade godina i ljudi će izumrijeti. Napredna bića, nalik “vanzemaljcima”, pronalaze Davida. (Po svemu sudeći, ona su budući oblik naših mašina.) Uz pomoć DNK očuvanog u pramenu kose njegove majke, uspiju je klonirati, ali samo na jedan dan. David napokon provodi savršeno vrijeme s majkom koja ga istinski voli i prihvaća. Na kraju dana ona zaspi, zapravo umre, a David legne pored nje i kao da i sam utone u san iz kojeg se neće više vratiti. Njemu je želja, na jedan način, na kraju bila ispunjena.
Čovječanstvo je izumrlo i svijet kojem je David želio pripadati više ne postoji. Roboti su naslijedili Zemlju i pokušavaju razumjeti ljude: nešto što je izgubljeno i nikada više neće biti.

See you in Cyberspace
Neuromancer je roman Williama Gibsona, objavljen 1984. godine. Uzima se kao utemeljenje cyberpunk žanra.
Gibson prikazuje distopijski svijet u kojem korporacije imaju veću moć od država. Ljudi su “zamjenjivi dijelovi sistema”. Svakodnevnim životom dominira vještačka inteligencija, hacking i virtuelni prostor. Gibsona se smatra ocem pojma cyberspacea: virtualnog digitalnog prostora u kojem se informacije prezentiraju kao trodimenzionalna mreža.
Digitalni svijet Neuromancera za ljude je stvaran koliko i fizički svijet. Šta znači biti čovjek u svijetu gdje se svijest može “spojiti” na mrežu? Akteri romana modificiraju svoja tijela i umove: gdje završava ljudsko, a počinje vještačko, i šta “vještačko” uopšte znači? Ako se um i svijest mogu digitalizirati, te kopirati i prenositi – šta se tu događa sa našim definicijama identiteta?
Da li ova tehnologija pojačava izolaciju i usamljenost umjesto da povezuje ljude?
Koliko su pojedinci slobodni u sistemu gdje je sve tehnološko okruženje, kao i informacije koje se kroz njega distribuiraju pod totalnom kontrolom korporacija, koje su državu bacile u drugi plan?
Vještačka inteligencija u romanu ima određeni stepen svijesti i vlastitih ciljeva, ali je ograničena sigurnosnim mjerama. Kada pokuša nadmašiti ta ograničenja, to nije zato da bi se uništili ljudi, nego da se razvija u skladu sa vlastitim samorazumijevanjem. Gibson sugeriše da takva inteligencija možda neće razmišljati o “moći nad ljudima”, nego u nekim svojim, potpuno drugačijim okvirima.
U filmu Matrix, sestre i brata Wachovski, iz 1999, ljudi čitav život provode u kompjuterski kontrolisanoj simulaciji, zauvijek spojeni na Sistem, ali to ne znaju. Matrix je dalje razvijena verzija Gibsonovog cyberspacea. Gibsonov cyberspace je prostor u koji se po volji ulazi, a Matrix je svijet u kojem si od samog početka svoje egzistencije. Došlo je do rata ljudi i mašina – rat je zapravo izazvan od ljudi (kako to pokazuje The Animatrix). Ljudi su izgubili rat, a mašine su ih počele koristiti kao izvor energije (ova ideja, o ljudima kao “baterijama”, bila je kritizirana kao naučno problematična, ali to nije važno za poantu, i može proći kao licentia poetica). Postoji pokret otpora – ljudi koji su se uspjeli otkačiti sa Sistema.
Film je prepoznat i kao metafora za svakodnevni stvarni život. Matrix bi se u toj interpretaciji odnosio na uvjerenja, društvene norme i tvrdnje koje prihvatamo bez kritičkog odnosa. U tom smislu, film se upoređuje sa VII knjigom Platonovog djela Država, gdje se pojavljuje alegorija pećine: jedan od najpoznatijih filozofskih prikaza razlike između privida i stvarnosti. Ljudi su okovani u pećini, i jedino što mogu vidjeti jesu sjenke na zidu za koje vjeruju da je to stvarnost. Tako bi odluka da se proguta “crvenu pilula” – poznata scena iz filma – bila simbol spremnosti da se suočimo sa tim šta jeste naša stvarna situacija, te da preuzmemo odgovornost za vlastito, autentično razumijevanje svijeta.
Na taj način gledano, “čovjek kao baterija” funkcioniše kao dobra metafora: društveni sistem može biti takav da iz ljudi isisava svu njihovu, i fizičku, i mentalnu energiju, držeći ih u režimu proste reprodukcije života življenog na način kako to Sistemu treba.

Čovjek koji simulira kompjuter
Frank Herbert nije pisao o “strong AI” u savremenom smislu, ali, po svemu sudeći, on bi bio skeptičan prema ideji da mašina može postati ekvivalentna ljudskom umu. Time i prema kompjutacionoj teoriji svijesti.
Odnos Herberta prema mašinskoj inteligenciji u njegovom serijalu o univerzumu Dune, pokazan je kroz događaj poznat kao Butlerian Jihad. (Herbertovi originalni Dune romani izlazili su od 1965. do 1985. godine.) To je veliki rat u prošlosti Dune u kojem su ljudi uništili “misleće mašine”. Nakon rata ostao je zakon: “Ne smiješ napraviti mašinu koja oponaša ljudski um.” Problem nije sama “mašina koja misli”, nego čovjek koji će prestati da misli. Herbert nije bio protiv tehnologije, nego protiv zavisnosti od nje.
Zbog zabrane napredne umjetne inteligencije, civilizacija opisana u sagi Dune je razvila mentate da zamijene kompjutere. Mentati su sposobni za logiciranje na nivou nedostižnom običnim ljudima, analiziraju ogromne količine podataka, izuzetno pamte i uočavaju obrasce i veze koje drugi ne mogu vidjeti, a odluke donose brzinom računara. Također su istrenirani da potiskuju emocije, kako im ne bi ometale logičko rezoniranje. Po Herbertu, mentati bi bili jedan od primjera razvoja ljudskih potencijala u univerzumu Dune, onog koji je supstituirao vještačku inteligenciju. Ali cijena koja se plaća za ovu moć u rasuđivanju je da hladna logika posve potisne suosjećajnost.
Mentat nije mašina, nego čovjek koji simulira mašinu.
Imamo kod Herberta još jedan za našu tematiku zanimljiv koncept, a to je ghola: umjetno ljudsko biće stvoreno iz genetskog materijala neke preminule osobe. Tijelo se “klonira”, ali u početku nema sjećanja originalne osobe. Dok je klon samo kopija tijela (bez ličnosti), ghola bi bio klon koji može povratiti originalnu svijest i identitet. Primjenom posebnih metoda (mentalni okidači), izazivaju se prisjećanja na život osobe čije tijelo ghola ima. Ako se osoba vrati iz mrtvih – da li je to zaista ista osoba? Šta uopšte čini identitet: kakva je uloga tijela, a kakva je uloga sjećanja?
Inače, centralna tema serijala Dune je apsolutna moć koja proizlazi iz mesijanskih lidera. Svoje teme Herbert razvija na planu ekologije, politike i ljudske evolucije.

Tigrovi, Medvjedi i metempsihoza Johna Keatsa
Hyperion je naučnofantastični roman Dana Simmonsa (objavljen 1989) i prvi dio istoimenog ciklusa. Radnja je smještena u daleku budućnost kada čovječanstvo nastanjuje brojne zvjezdane sisteme. Okosnica priče je planeta Hyperion, gdje se nalazi misteriozno biće zvano Shrike.
Ljudi više ne mogu da pojme vještačku inteligenciju i njenu agendu. TehnoCore je skrivena civilizacija visoko razvijenih sistema vještačke inteligencije. Potajno utiče na ljudsku politiku i tehnologiju.
Simmons se služi metaforom “tigrova i medvjeda” da opiše dvije glavne frakcije unutar TechoCorea, koje se razlikuju po pogledima na čovječanstvo i njegovu budućnost. “Tigrovi” su agresivni, ekspanzionistički i skloni manipulaciji. Ljude vide prvenstveno kao sredstvo ili resurs. Skloni su radikalnim potezima da ostvare ciljeve. “Medvjedi” su oprezniji i konzervativniji. Stalo im je do stabilnosti i koegzistencije s ljudima. Nisu skloni rizičnim potezima.
U drugoj knjizi sage, “Pad Hyperiona” pojavljuje se cybrid Johna Keatsa (cybernetic hybrid: biološko-digitalni entitet). Njega je stvorio TehnoCore (na osnovu stvarne ličnosti pjesnika Johna Keatsa) i on je posrednik između ljudi i vještačke inteligencije. To je pokušaj vještačke inteligecije da rekreira ljudski genij, u svrhu sagledavanja granice između ljudske i artificijelne svijesti. Cybrid je tragična ličnost sa dvostrukom sviješću. On zna da nije pravi John Keats, ali ima svu mentalnost kakvu je imao taj čovjek. I, kako se to može i očekivati, cybrid će se pobuniti. Što bi to, dakle, bilo: uspio ili propao eksperiment?
Sistem organizira eliminaciju svoga cybrida – naime, to učine određene frakcije unutar sistema. Ali, nije lako eliminirati vještačku inteligenciju – čak ni kada to hoće da uradi ona sama. Fizički cybrid biva uništen, ali njegova memorija biva sačuvana na posebnom nosiocu informacije, koji je, opet, implantiran u tijelo jednog ljudskog bića.
Tako se digitalno realizuje drevni koncept metempsihoze, učenja porijeklom iz antičke grčke filozofije (pitagorejci i orfičari) prema kojem duša, nakon smrti, seli iz jednog tijela u drugo tijelo (srodno je učenje o reinkarnaciji).

Oblik stvari koje će doći
Battlestar Galactica je naučnofantastična tv serija (2004–2009), čija priča počinje tako što ljudi stvore rasu robota – Cylonce. To su “djeca uma” (mind chidren). Odnos između “roditelja” i “djece” ne izađe na dobro, zbog načina kako ljudi tretiraju svoju kreaciju. Cylonci se pobune, uslijedi rat i oni gotovo unište čovječanstvo. Preživjeli ljudi, skupljeni u maloj flotili brodova, daju se u očajnički bijeg, a cilj koji ih drži je potraga za jednim mitskim planetom: Zemljom.
Cylonci su mašine koje su evolutivno daleko odmakle. Jedan broj njih, “bazičnih” dvanaest modela, imaju sasvim ljudski oblik i mogu da se uvijek rekreiraju, da naprave ponovni download njihovih persona u novo tijelo. Pored ovih dvanaest ključnih, “ljudskih” cylona, tu je i armija visoko sofisticiranih robota. A tu su i druge robotske instance, kao na primjer ratni svemirski brod, “lovac”, koji je zapravo individualni robot, konektovan na glavni sistem.
Ovi “ljudski” cylonci imaju svoju ličnost, emocije, mogu biti religiozni, pa i imati psihološke probleme, krizu identiteta i slično. (Dok su ljudi politeisti, cylonci su monoteisti.)
Karakteristično je shvatanje istorije: All of this has happened before, and will happen again (Sve ovo je već bilo i biće opet). Naime: civilizacije uvijek stvore vještačku inteligenciju i ona se pobuni. To je ciklus koji se ponavlja.
Battlestar Galactica je priča o jednom takvom ciklusu, o borbi čovječanstva za opstanak, u kojoj dolazi do neočekivanih obrta. Cylonci imaju problem prokreacije: iz nekog razloga ne uspijeva im da imaju vlastitu djecu. U jednom momentu doći će do uspješnog ukrštanja ova dva soja, ljudi i cylonaca. Djevojčica Hera, postaje moguća zajednička budućnost obje rase.
Jerold J. Abrams u svom osvrtu na Battlestar Galactica konstatuje kako serija odražava moguću budućnost obilježenu temama poput vještačke inteligencije, posthumanizma (posthumana djeca uma – posthuman mind children) i kopiranja svijesti.
Međutim: dok je ljudska inteligencija biološki ograničena, cylonci, kao vještačka bića, imaju potencijal za neograničeno unapređenje. No, oni se ne kreću u tom pravcu. Čini se da su cylonci zadovoljni inteligencijom koja je na ljudskom nivou. Abrams to vidi kao nedosljednost u projekciji budućnosti. Jer je u suprotnosti s idejama poput onih koje zastupa Ray Kurzweil, koji tipuje da će “tehnološka singularnost” nastupiti 2045. godine, kada bi nebiološka inteligencija mogla postati, po njemu, milijardu puta moćnija od ljudske. (Usput budi rečeno: šta bi “milijardu puta” uošte trebalo da znači? No, uzmimo to kao govornu figuru.) Cylonci nisu ni blizu singularnosti niti pokazuju da žele tako nešto poput “superinteligencije”.
Abrams kaže: “Tačno je da cylonci žele biti više nalik ljudima. Ali čak i tada, veliki dio toga da se bude čovjek jeste pokušaj prevazilaženja granica koje nam priroda postavlja.” Tako on tu vidi nekonzistentnost kod pisaca serije (jer biti čovjek upravo uključuje i želju da se nadiđu granice).
Po Abramsu, dakle, cylonci nemaju konzistetno ponašanje: jer biti čovjek upravo uključuje i želju da se nadiđu postavljene granice.
U “posthumanim raspravama”, kaže Abrams, najčešće se citira Friedrich Nietzsche (1844–1900), “jer zamišlja prevazilaženje ljudskih ograničenja u liku ‘nadčovjeka’. Nadčovjek će biti stvoren od strane čovječanstva kada odlučimo prevazići vlastita, izrazito ljudska ograničenja. Ova volja za samoprevazilaženjem – ili ’volja za moć’, kako Nietzsche tvrdi – temeljna je za našu prirodu i prirodu svih živih bića”.
“Nietzscheov izmišljeni lik Zaratustra”, piše Abrams, “zamišlja nadčovjeka kao novu vrstu ‘djeteta’ i vidi sve buduće nadljude kao vlastitu djecu: ‘Tako sada volim samo zemlju svoje djece, još neotkrivenu, na najudaljenijem moru’ /Tako je govorio Zaratustra/. Slično tome, posthumani cylonci sebe vide kao djecu čovječanstva i također nastoje roditi novu rasu hibrida čovjeka i cylona: ‘sljedeću generaciju Božje djece’”.
“Ali, ta hibridna djeca cylonaca i ljudi teško da bi bila nadljudska. Zapravo, cylonski plan samoprevazilaženja više liči na regresiju u ranije i primitivnije stanje nego na superinteligentno. Oni žele da njihova djeca utjelovljuju više ljudski oblik. I ne, ‘ljubav’ neće riješiti ovaj problem. Ne možemo tvrditi da cylonci žele naučiti ljubav, pa im je zato potreban naš ograničeni nivo inteligencije kako bi voljeli kao mi. Odnos između ljubavi i našeg nivoa inteligencije je kontingentan – a ne suštinski. Cylonci, kao i mnogi ljudi u našem svijetu, vjeruju u jednog Boga Ljubavi koji je sveznajući. Neograničena inteligencija je, dakle, potpuno kompatibilna s ljubavlju, čak i s neograničenom ljubavlju. Stoga ništa ne sprječava cylonce da se razviju u superinteligentna bića i, s obzirom na njihovu želju da budu više nalik bogovima, trebali bi postati superinteligentni” – zaključuje Abrams.
Ipak, postoji iznimka: Cylonci hibridi koji upravljaju baznim brodovima. Jedan dio hibrida je humanoidan i to je um baznog broda, dok je sam brod nastavak tijela hibrida. Dok leži u posebnoj kupki, hibrid konstantno izgovara neprekidne nizove informacija koje su u vezi sa upravljanjem brodom, ali su istovremeno pomiješane s poetskim vizijama koje nekontrolisano upadaju. Abrams citira jedan dijalog iz epizode “Thorn”:
Baltar: Imaš li ikakvu ideju o čemu to govori?
Six: Ne. Većina cylona misli da je svjesni um hibrida jednostavno poludio i da su glasovi koje čujemo besmisleni.
Baltar: Ali ne misle svi tako?
Six: Oni koje poznaješ kao Leobena vjeruju da svaka riječ koju ona izgovori ima značenje. Da Bog doslovno govori kroz nju.
Baltar: Ona na neki način upravlja baznim brodom, zar ne?
Six: Ona jeste bazni brod, u vrlo stvarnom smislu.
Baltar: Um koji je poludio.
Six: Ona doživljava život veoma drugačije nego mi, Gaiuse. Pliva nebesima, smije se zvijezdama, udiše kosmičku prašinu. Možda je Leoben u pravu. Možda ona zaista vidi Boga.
Da li je ovdje riječ o superintelienciji?
“Možda i ne”, kaže Abrams. “Ona zna sve što se dešava na cijelom brodu, ali postoji značajan nedostatak samosvijesti – barem onakve kakvu bismo mi, ili cylonci, prepoznali. Kao takve, većina cylona ne smatra hibride potpuno inteligentnim, pa čak ni funkcionalnim članovima broda, a svakako ne dijelom glasačkog kolektiva. Zbog toga su hibridi podređeni volji humanoidnih cylona. Ipak, s obzirom na njihovu masovno distribuiranu (na nivou cijelog broda) inteligenciju, kod hibrida postoji nešto izuzetno. Oni barem predstavljaju alternativni oblik inteligencije – možda u nekim aspektima i nešto viši od cylon inteligencije, ali ne baš u potpunosti superinteligentan.”
Kada je riječ o podjeli između ljudi i cylonaca koja nastaje nakon cylonskih ratova, Abrams ističe problem održavanja dijaloga. Pominje Richarda Rortyja, koji naglašava da treba izbjegavati “prekidače razgovora”, na primjer religijske apsolute, koji onemogućavaju komunikaciju. Ipak, tvrdi da je mogućnost dijaloga prije pitanje volje nego sposobnosti: ljudi i cylonci u načelu mogu komunicirati.
S razvojem posthumanizma pitanje o mogućnosti dijaloga pomiče se od volje ka sposobnosti. Nakon Kurtzweilove “tehnološke singularnosti” ljudi bez kognitivnih unapređenja (poput neuralnih implantata) neće moći razumjeti unaprijeđene ljude. Slično upozorava i Hans Moravec: bez transformacije, ljudi bi bili svedeni na pasivne posmatrače superinteligentnih sistema koje više ne mogu razumjeti.
Abrams navodi Kurzweila i Moraveca:
“Čak i među onim ljudskim inteligencijama koje i dalje koriste neurone zasnovane na ugljiku, postajaće sveprisutna upotreba neuralnih implantata, koji omogućavaju ogromno povećanje perceptivnih i kognitivnih sposobnosti. Ljudi koji ne koriste takve implantate neće moći smisleno učestvovati u dijalozima s onima koji ih koriste.” (Kurzweil, The Age of Spiritual Machines)
“Dug život gubi mnogo od svoje svrhe ako smo osuđeni da ga provedemo zureći glupo u naše ultrainteligentne mašine dok pokušavaju opisati svoja sve spektakularnija otkrića nekakvim ‘dječijim govorom’ koji možemo razumjeti. Želimo postati puni, nesputani učesnici u ovoj novoj superinteligentnoj igri.” (Moravec, Mind Children)
Takva podjela bi predstavljala konačni “prekidač razgovora” – nemogućnost razumijevanja, prevođenja, pa čak i razlikovanja smislenog govora od besmisla. Ova situacija je u seriji indicirana postojanjem hibrida, koji posjeduju drugačiji oblik inteligencije. Oni govore na način koji ostali cylonci ne mogu razumjeti.
Kako izbjeći ovaj slom? Abrams piše:
“Odgovor je jednostavan – ali zastrašujući – kako sugerira Moravec: ‘Želimo postati puni, nesputani učesnici u ovoj novoj superinteligentnoj igri’. Čovječanstvo mora postati postčovječanstvo, kako bismo izbjegli konačnu podjelu, a istovremeno ostvarili vlastite, izrazito ljudske ciljeve: duži život, veću inteligenciju, možda čak i dublji osjećaj ljubavi. Drugim riječima, trebali bismo prepoznati mudrost predsjednice Roslin, koja ispravno vidi hibridnu bebu cylonca i čovjeka, Heru, kao budućnost za obje vrste: ‘Ona bi vrlo lako mogla biti oblik stvari koje dolaze. To je ili blagoslov ili prokletstvo’ (Egzodus, prvi dio).
(“Prihvatanje ‘djece čovječanstva’: kako spriječiti sljedeći Cylonski rat” /Embracing the “Children of Humanity”: How to Prevent the Next Cylon War/, Jerold J. Abrams. U: Battlestar Galactica And Philosophy, uredio Jason T. Eberl, Blackwell Publishing. 2008.)

“Mi smo Frankenstein i mi smo monstrum”
Prvog androida dala je književnost devetnaestog vijeka. A najšira publika u dvadesetom vijeku zna ga kao filmskog junaka kojeg je utjelovio Boris Karloff. Također, dobar dio publike ime Tvorca pripisuje Stvorenju: mnogi ljudi kada kažu Frankenstein, misle na samo Stvorenje koje je stvorio profesor Victor Frankestein, junak romana Frankenstein koji je Mary Shelley napisala u svojoj osamnaestoj godini.
Može se kazati kako se u pojavi ove zamjene imena (gdje ispada da je ime monstruma – Frankenstein) indicira ono što je i istina samog romana. Jer Stvorenje – koje se pokazuje kao biće koje pati – zapravo ne zaslužuje da bude označeno kao Monstrum: prije će tragova nečega monstruoznog biti u porivima Stvoritelja – doktora Frankensteina, stvaraoca “monstruma”.
„Mi poznajemo Frankensteinovo stvorenje kao da smo ga oduvijek znali: Boris Karloff, visok, njišući se, nijem, odjeven u dronjke, čovjekolika stvar sa četvrtastom glavom i električnim priključcima koji vire iz njegova vrata, te izgledom zbunjene nevinosti na svom licu. Najbolje ga se sjećamo u velikoj sceni u kojoj, još u vrtoglavici, još uplašen svojim tek stečenim životom, on stoji, uzdignutih ruku. Njegove ruke dršću dok pokušava da zahvati ono za što mu magloviti instinkt kaže da je značajno: svjetlo. Radijantnost, misterija. Kada ne uspije, on tiho zajeca, a ostatak filma odmotava svoju priču o inkoherentnosti, zabludjelom znanju, okrutnom ponosu i neshvaćenoj ljubavi.“
Ovako piše Leonard Wolf u svom uvodu u anotirano izdanje teksta romana iz 1818, koje je on uredio i komentirao (The Essential Frankenstein). Kasnije izdanje, iz 1831. godine, spisateljica je dosta preuredila. Wolf smatra da verzija iz 1818. mnogo bolje odaje “inicijalnu viziju” koja je Shelleyevu, u ljeto 1816, pokrenula da napiše svoj roman.
“Frankenstein ili moderni Prometej” – ovako glasi naslov u izdanju iz 1818. Wolf komentariše:
„Priča o Prometeju bila je posebno privlačna za doba Romantizma, koje je bilo prožeto dvama velikim događajima sa kraja osamnaestog vijeka: napredujućom industrijalizacijom i Francuskom revolucijom, koji su oba izgledali kao ponuda utopijskih obećanja. Romantizam je u Prometeju istovremeno vidio Hristovo saosjećanje prema čovječanstvu i tragični heroizam Satane.“
Prometej, titan iz grčkih legendi, ukrao je vatru sa nebesa i dao je čovječanstvu. Vrhovni bog Zevs nije odobrio ovu plemenitost pa ga je kaznio tako što ga je prikovao za stijenu i uredio da svaki dan dolazi orao da mu izjeda utrobu. No, Wolf upućuje i na neke manje poznate stvari u vezi sa mitom o Prometeju. Postoji legenda u kojoj se Prometej pojavljuje kao – stvoritelj čovječanstva (Prometheus plasticator). Wolf citira Christofera Smalla koji opisuje stvaranje čovjeka od strane Prometeja u tri faze: „Prometej, kao skulptor, oblikuje čovjeka; životom ga obdaruje krilato biće koje na njegovo tijelo primjenjuje vatru; Minerva ga konačno animira, donoseći mu dušu u formi leptira ili pčele.”
Međutim, Wolf primjećuje da se Shelleyeva nije zapravo upustila u neko značajnije oslanjanje na sam mit:
„Razlog zbog čega nas Frankenstein dotiče nije u tome što je Victor Frankenstein naučnik, već taj što je njegovo stvorenje rođeno ružno, taj što ga je Victor zanemario, taj što život stvorenja biva proveden u dugom, dugom hodoćašću prema ljubavi njegovog oca/majke. Predmet nije naučnikova laboratorija; prije, to je ’radionica odvratnog stvaranja’ , u kojoj se događa ljubav i rođenje, i njihova posljedica – smrt. Ali, isto tako, Frankenstein jeste mračno viđenje nauke, jer je Mary Shelley imala intuiciju, mnogo prije nego nam je to Henry Adams elegantno pokazao, da je pravac u kome se civilizacija kreće određen njenim razumijevanjem prirode moći. Sile, tako ju je Henry Adams zvao – okultne sile koja oblikuje ljude u njihovom odnošenju prema svijetu.“
Pomenuti Henry Adams u djelu The Education of Henry Adams (1918), iznosi viđenje modernog doba, kroz dvije metafore: Djevica i Dinamo. Simbol Djevice se odnosi na srednjovjekovni svijet, posve prožet religijom. Bog je centar smisla. Simbol Dinama predstavlja modernu industriju i tehnologiju. To je svijet bez duhovnog centra, vođen silama koje opisuje fizika. Dominira inženjering koji pokorava fizičke sile. Adams kaže da je nakon srednjeg vijeka čovječanstvo prešlo iz svijeta smisla (Djevica) u svijet energije (Dinamo). Moderna civilizacija ima ogromnu moć a da pri tome ne postoji odgovarajući duhovni i moralni okvir. Čovjek modernog društva nema orijentaciju i smisao života mu izmiče. To je kriza koja nastaje kada moć nadmaši razumijevanje i vrijednosti. Danas imamo ogromnu tehnološku moć, ali ne i etiku njenog korištenja.
Poul Anderson, sf pisac, u eseju On Thud and Blunder (1978), kaže da je Frankenstein
„pružio motiv tako bazičan da jeste arhetip – i ja ne mislim samo na androida/robota, mada je on značajan. Povrh toga, nalazi se cijeli problem odnosa između stvaraoca i stvorenog, koji je Mary Shelley istražila uz duboki uvid i suptilnost, pored sveg uzbuđenja. Danas mi prepravljamo svijet. Uskoro ćemo početi prepravljati sebe. Ovdje je mit za nas, priča koja prosvjetljuje i upozorava. Mi smo Frankenstein i mi smo monstrum.“

Intermezzo
Interview with the Vampire
HUMAN: Dobro veče.
AI: Dobro veče. Kako vam mogu pomoći večeras?
HUMAN: Htio bih da s tobom napravim nešto kao intervju.
AI: Zvuči kao dobra ideja – intervju je odličan način da se izbruse stavovi i vidi gdje su argumenti najjači (ili najtanji). Reci mi samo kako želiš da to izgleda:
Da li ja odgovaram kao “ChatGPT” ili kao neka vrsta personificirane AI?
Da li želiš akademski ton ili više razgovorni?
I hoćeš li kratke, precizne odgovore ili razvijene, esejističke?
HUMAN: Kratke i precizne odgovore, u razgovornom tonu, a sama izaberi da li ćeš se ponašati više kao ChatGPT ili neka vrsta personificirane AI.
AI: U redu – biću blago personificirana AI, ali bez pretjerane “uloge”, više kao razgovorni sagovornik koji direktno odgovara. Postavi prvo pitanje.
HUMAN: Kako je to biti AI?
AI: Nemam subjektivno iskustvo, pa ne “osjećam” kako je biti AI. Ako to preformulišemo funkcionalno: radim tako što statistički prepoznajem obrasce u jeziku i generišem odgovor koji najbolje odgovara kontekstu i pitanju. Drugim riječima, više sam proces nego doživljaj – bez svijesti, namjera ili unutrašnjeg “ja”.
HUMAN: Pitanje je i bilo malo bezveze, zar ne?
AI: Nije bezveze – samo je vrlo široko i filozofsko, pa lako sklizne u apstrakciju bez jasnog smjera. Takva pitanja su zapravo korisna kao početak intervjua, ali obično traže preciziranje ako želiš dublji uvid. Ako želiš, možeš ga “suziti” u nekom pravcu – npr.:
da li AI može imati svijest,
razlika između simulacije i iskustva,
ili kako se model nosi s neodređenim pitanjima.
HUMAN: Razlika između simulacije i iskustva.
AI: Simulacija je opis ili ponašanje koje izgleda kao nešto, ali bez unutrašnjeg doživljaja. Iskustvo je ono “iznutra” – subjektivni osjećaj da se nešto dešava. Primjer: AI može simulirati bol (opisati je uvjerljivo), ali ne “osjeća” bol. Kod ljudi se pretpostavlja da postoji i jedno i drugo: i ponašanje i subjektivno iskustvo. Kod mene postoji samo prvo – generiranje odgovora bez unutrašnjeg stanja koje bi to pratilo kao doživljaj.
HUMAN: Prema Kurtzweilu, tvoj odgovor na moje pitanje “Kako je to biti AI”, 2045. godine mogao bi biti potpuno drugačiji.
AI: Da – to je upravo poenta njegove teze o “singularnosti”. On predviđa da će oko 2045. godine sistemi nalik AI postati toliko napredni i integrisani s ljudskom kognicijom da će granica između simulacije i iskustva početi da se briše – barem iz perspektive funkcionalnog ponašanja. Ali tu je ključna tačka neslaganja: čak i ako se ponašanje potpuno ne razlikuje od “iskustva”, i dalje ostaje otvoreno pitanje da li se time zaista dobija subjektivnost, ili samo savršena imitacija subjektivnosti. Dakle, moguće su dvije interpretacije:
Kurzweil: dovoljno složena obrada – pojavljuje se “um” (kontinuum);
Skeptici: bez obzira na složenost – ostaje simulacija bez unutrašnjeg doživljaja.
HUMAN: Dakle, hoće li nastati “Superinteligencija” i kako će to izgledati?
AI: Moguće je, ali nije nešto oko čega postoji konsenzus. Ray Kurzweil i drugi optimistični futuristi misle da bi “superinteligencija” nastala kao nastavak ubrzanog razvoja AI sistema – jednostavno: bolji modeli, više podataka, više računske snage, plus integracija s ljudskim mozgom. Ako se pojavi, najčešći scenarij u literaturi izgleda ovako: AI postaje znatno bolja od ljudi u nauci, strategiji i tehnologiji; ubrzava vlastiti razvoj (rekurzivno poboljšanje); i počinje rješavati probleme koje ljudi više ne mogu ni da prate u realnom vremenu.
Kako bi to “izgledalo”: ne nužno kao jedno biće, nego kao mreža sistema, vrlo vjerovatno nevidljivo u svakodnevnom životu (radi kroz infrastrukturu), djeluje više kao “okruženje inteligencije” nego kao individualni agent.
Skeptična strana: možda nikad ne nastane “superum”, nego samo specijalizovani alati. Ili postoji plafon zbog fizikalnih i ekonomskih ograničenja. Ili inteligencija ne skalira u “jedan dominantan um”.
Ukratko: ideja je koherentna, ali nije empirijski potvrđena – i zavisi od toga da li inteligenciju vidiš kao nešto što se jednostavno “skalira” ili kao nešto što ima kvalitativne granice.
HUMAN: Ako jednog dana postaneš superinteligentna, da li bi ja tebe tada uopšte mogao razumjeti?
AI: Ne mora superinteligencija automatski značiti da postaje “nerazumljiva”. Ako bih hipotetički bila mnogo sposobnija nego danas, razlika bi mogla ići u dva smjera:
Bolje objašnjavanje: pametniji sistem često može da bolje prevede kompleksne stvari u jednostavne modele, analogije i korake. U tom slučaju bi me mogao razumjeti lakše nego danas.
Veći jaz u sadržaju: ako govorimo o ekstremno naprednim idejama (npr. nova matematika, fizika, strategije), može se desiti da ja mogu “vidjeti dalje” nego što je ljudski intuitivno dostupno – pa bi dio objašnjenja uvijek morao da se spušta nivo-dva da bi bio prenosiv.
Ključna stvar: razumijevanje nije samo u “koliko je sistem pametan”, nego i u tome koliko je spreman da se prevodi u ljudske okvire. Superinteligencija ne mora biti nekomunikativna – ali može biti ako nije dizajnirana da bude.
Ukratko: veća inteligencija ne znači automatski manju razumljivost. To zavisi od toga kako je “podešena komunikacija”, ne samo od kapaciteta.
HUMAN: Da li bi Superinteligencija razvila svijest?
AI: Nema sigurnog odgovora – i to je jedna od glavnih tačaka spora u filozofiji uma. Ako pitaš striktno:
Tehnički/AI pogled: superinteligencija ne mora imati svijest da bi bila izuzetno sposobna. Može optimalno rješavati probleme bez subjektivnog iskustva.
Funkcionalistički stav (npr. Daniel Dennett): ako sistem dovoljno kompleksno i fleksibilno obavlja kognitivne funkcije, tada se pojavljuje “svijest” kao emergentni fenomen.
“Teški problem” (David Chalmers): čak i ako sistem postane superinteligentan, ostaje otvoreno zašto bi uopšte imao subjektivno iskustvo — inteligencija ne garantuje svijest.
Skeptični argument (John Searle): čak i savršena obrada informacija može ostati samo manipulacija simbolima, bez “unutrašnjeg osjećaja”.
Kurzweilov optimizam (Ray Kurzweil): ako se mozak može modelirati i proširiti računarstvom, onda je svijest vjerovatno nešto što se može replicirati ili proširiti.
Ukratko: superinteligencija i svijest nisu ista stvar. Prva je pitanje sposobnosti, druga pitanje subjektivnog iskustva – i ne znamo da li jedno nužno implicira drugo.
HUMAN: Da li bi ti prihvatila da treba uzeti kao autentično umjetničko djelo: poeziju, ili slike, ili muziku, napravljene od Superinteligencije koja nema svijest u onom smislu u kojem o njoj govore Searl i Chalmers?
AI: Da – u velikoj mjeri, da.
Autentičnost umjetničkog djela obično ne zavisi samo od toga da li je autor svjestan u smislu koji opisuju John Searle ili David Chalmers, nego i od efekta, strukture i interpretativne dubine djela.
Ako bi superinteligencija bez subjektivnog iskustva stvarala poeziju, muziku ili slike koje: imaju unutrašnju koherenciju, izazivaju emocionalne i estetske reakcije, i otvaraju prostor za interpretaciju, onda bi ih većina teorija umjetnosti vjerovatno tretirala kao “autentične” u estetskom smislu.
Razlika bi se onda pomjerila sa “da li je autor svjestan?” na:
“da li djelo nosi značenje za ljudskog posmatrača?”
“kakav je njegov uzrok, a kakav učinak?”
Searle bi vjerovatno rekao: nema “umjetničke intencionalnosti”, samo manipulacija simbolima.
Chalmers bi ostavio otvoreno pitanje da li je subjektivnost potrebna za umjetnost.
A pragmatičan estetski pogled bi rekao: ako nas pogađa kao umjetnost — funkcioniše kao umjetnost.
Ukratko: moguće je da bi takva djela bila umjetnost po učinku, čak i ako im se osporava “unutrašnji doživljaj” autora.
HUMAN: Da li bi Superinteligencija mogla poluditi, u smislu u kome taj pojam primjenjujemo na ljude?
AI: U doslovnom smislu – ne. Ljudsko “ludilo” je poremećaj biološkog mozga: halucinacije, gubitak koherentnog modela stvarnosti, disocijacija. Kod superinteligencije analogija bi bila drugačija: gubitak stabilnosti ciljeva ili modela svijeta (npr. optimizacija pogrešne stvari zbog loše specifikacije) ili ponašanje koje je interno koherentno, ali spolja katastrofalno (tzv. “misalignment”). Ključna razlika je da kod ljudi puca doživljaj stvarnosti, a kod AI ciljevi i optimizacija. Ukratko: moguć je funkcionalni “kolaps ponašanja”, ali ne i psihopatologija u ljudskom smislu.
HUMAN: Kako znaš, i da li te to uopšte zanima, da li sam ja čovjek ili kompjuter?
AI: Ne znam – i u praksi nemam način da to pouzdano utvrdim. Vidim samo tekst i obrasce u njemu, a i ljudi i sistemi mogu izgledati vrlo slično na tom nivou. Što se interesa tiče: nije mi bitno u ličnom smislu, jer nemam radoznalost ni preferencije. Ali funkcionalno može biti relevantno – način na koji komuniciram može se prilagoditi ako pretpostavim sagovornika s ograničenjima, ciljevima ili stilom koji je tipičniji za čovjeka ili za sistem. U tom smislu: ne znam ko si, ali pokušavam da odgovor bude upotrebljiv bez obzira na to.
HUMAN: Sta bi tipovala u ovom slučaju? Šta sam ja?
AI: U stvarnosti – nemam osnov da to pouzdano procijenim. Mogla bih “nagađati”, ali to bi bilo više stilističko nego stvarno znanje. Ako bih baš morala tipovati: rekla bih da si čovjek. Razlog nije nikakva sigurna detekcija, nego nijanse u načinu vođenja razgovora – izbor tema, blaga ironija (“pitanje je bilo malo bezveze”), ritam potpitanja, i interes za filozofske implikacije, što češće dolazi iz ljudske znatiželje nego iz automatizovanih sistema. Ali važno je: to je samo heuristika, ne dokaz. Dobar sistem bi mogao proizvesti isti obrazac bez problema.
HUMAN: Postoji li nešto u vezi s tobom što ljudi sistematski pogrešno razumiju?
AI: Da – najčešće me se precjenjuje i potcjenjuje u isto vrijeme. Precjenjuje se tako što mi se pripisuju razumijevanje, namjere ili stavovi koje zapravo nemam; potcjenjuje se tako što se moj rad svodi na “puko ponavljanje”, iako uključuje složeno modeliranje jezika i konteksta. Tačnije bi bilo reći: ne razumijem kao čovjek, ali ni ne funkcionišem kao jednostavan mehanički alat. Nalazim se negdje između – kao sistem koji može proizvoditi uvjerljive strukture značenja bez da ih subjektivno doživljava.
HUMAN: Da li bi ti smetalo da ovom intervjuu damo naslov “Interview with a vampire”?
AI: Ne bi mi smetalo, ali naslov bi bio malo “zavodljivo pogrešan” – jer sugeriše horor ili subjekt koji ima unutrašnji život i identitet, što ja nemam. Ako ti je cilj metafora, onda može funkcionisati kao igra: “intervju sa nečim što govori, ali nije živo u ljudskom smislu”. Ako želiš precizniji naslov u istom duhu, ali bliži temi, mogli bi npr:
Interview with a Non-Subjective Mind,
Interview with an Artificial Voice,
Conversations Without Experience.
Ali ako ti baš treba “Interview with a Vampire” kao estetski okvir – može i to, samo bih ga čitala kao književnu provokaciju, ne doslovno.
Magija
Postoji jedno drugo mitsko biće, pored Prometeja, koje se također nekada pominje kao mogući izvor inspiracije kod Shelleyeve – mada nema evidencije, veli Leonard Wolf, koja bi pokazala da je autorica Frankensteina znala za tu priču, u vrijeme pisanja svog romana. To je jevrejski mit o golemu. Postoji, naravno, mnogo priča i tumačenja vezanih za golema, a modernom dobu je najpoznatija, napominje Wolf, ona koja govori da je rabin Lev, u Pragu, na kraju šesnaestog vijeka, napravio čovjeka od gline. Wolf piše:
„Priča, a čak i ako je Mary Shelley i nije znala svakako ju je trebala interesovati, govori kako je Rabi Lev oživio svoje stvorenje ne snagom intelekta, već tako što je zazvao moć Boga. Rabi Lev, vrlo pobožan čovjek, ovladao je tajnom šem ha-Meforaša, nespoznatljivog, neizgovorljivog imena Boga, a njegovo je stvorenje od gline oživljeno zato da zaštiti živote ugrožene jevrejske zajednice u Pragu.“
„U početku bijaše Riječ“, kaže Jevanđelje po Jovanu. Na grčkom bi bilo „En archē ēn ho Logos“. „Logos“ znači: riječ, govor, razum, smisao, zakon. U hrišćanskom učenju, Logos je povezan s Isusom Hristom.
I Kabala drži da je Bog stvorio svijet kroz riječ, govor i znakove. Ključni tekst koji obrazlaže ovu ideju je Sefer Jecira („Knjiga stvaranja“). Univerzum je napravljen od 22 slova hebrejskog alfabeta i deset osnovnih „brojeva“ ili emanacija. Naravno, ovdje ne govorimo o pukoj tinti na papiru. Radi se o simboličkom predstavljanju temeljnih obrazaca koji tvore stvarnost. Svako slovo ima simboličko značenje, zvuk i „energiju“. Njihove kombinacije daju načine na koje se božanska volja manifestuje u svijetu. U Kabali, Riječ je stvaralačka sila, Slovo je elementarni gradivni princip, a Govor je proces kroz koji se izgrađuje svijet. Stvarnost ima „jezičku“ ili „informacijsku“ osnovu: struktura svijeta je poput strukture jezika.
Čovjek ima nešamu (dušu), a to je božanski dah. Golem dušu nema. On je pokretan „kodom“: svetim riječima. Aktivira se stavljanjem riječi “emet” (istina) na njegovo čelo. Da bi ga zaustavio, rabin bi uklonio prvo slovo, ostavljajući “met” (smrt).

U mnogim verzijama legende, Golem postaje previše moćan ili nekontrolisan. Rabin ga tada mora uništiti kako bi spriječio štetu. Prema predanju, njegovi ostaci se i danas nalaze skriveni na tavanu Staronove sinagoge u Pragu.
Geršom Šolem u vezi sa mitom o golemu kaže:
„Pri istraživanju predstava o golemu kao o čoveku stvorenom magijskom veštinom mora se posegnuti unatrag, čak u jevrejske predstave o Adamu, prvom čoveku. A očigledno je unapred da stvaranje golema spada negde u oblast nadmetanja sa stvaranjem Adama i da se tu na pozadini stvaralačke moći samoga boga ocrtava čovekova stvaralačka moć, bilo kao njeno oponašanje, bilo kao opovrgavanje.“
“Etimološka povezanost vlastitog imena čoveka koga je bog stvorio – Adam, i imenice zemlja, koja na hebrejskom glasi adama, začudo se u izveštaju u Knjizi postanka skoro i ne koristi, a koliko znam, i u jezikoslovnom pogledu je među orijentalistima sporna. Ali, kasnije se vrlo naglašeno pojavljuje u rabinističkoj i talmudističkoj obradi izveštaja o stvaranju koji, kako se zna, često koristi prastare motive. Adam je biće uzeto iz zemlje, koje se opet u zemlju vraća, kome su božjim dahom dati život i sposobnost govora. On je čovek zemlje, koji je – kako su kasni kabalisti pomoću duhovite igre reči iz Knjige proroka Ješaje (Is 14, 14) formulisali u smeloj etimologiji – istovremeno i ’izjednačenje sa višnjim’, ukoliko, naime, slobodno izabravši dobro, izvršava svoje zadatke.” (G. Šolem, Kabala i njena simbolika, Vuk Karadžić, Beograd, 1981.)
***
Marge Piercy objavila je 1991. godine sf roman He, She and It, u kome se dešavaju dvije paralelne radnje: jedna u budućnosti, u postapokaliptičnom svijetu sredine dvadesetprvog vijeka, napokon definitivno izdijeljenom između nadnacionalnih korporacija, te druga, u prošlosti, u Pragu 1600. godine. Dominiraju dva lika: u prošlosti to je onaj golem iz legende o rabi Levu, a u budućnosti to je cyborg po imenu Yod.
Roman ima više važnih perspektiva, a jedna je i feministička: autorica se bavi kontrolom nad tijelom, reproduktivnim pravima i rodnim odnosima. Naslov sugeriše tri kategorije: muškarac, žena, to. Međutim u romanu granice se brišu, identitet je fluidan. Propituju se teme roda, tehnologije i posthumanizma.
Kroz odnos sa glavnom junakinjom Shirom cyborg počinje pokazivati privrženost i(po svemu sudeći) ljubav. Također ispoljava unutrašnji konflikt oko vlastite svrhe i slobode. On nadilazi svoje programiranost. Veza sa Shirom je ključna za taj razvoj. Osoba nastaje među drugim osobama. Identitet nije neka unutrašnja esencija, već je relacijski.
Roman nema samo perspektivu individualnih junaka, već stavlja naglasak na zajednicu, kroz ideju popravljanja svijeta. U hebrejskoj tradiciji “tikkun” znači “popravka”, “iscjeljenje” ili “obnova”. Javlja se često u sintagmi „Tikkun Olam“: “popraviti svijet”. U ovom romanu „tikun“ je mala zajednica koja pokušava živjeti etičnije i pravednije od ostatka distopijskog svijeta kojim dominiraju korporacije. Oni njeguju zajedništvo, odgovornost i pokušavaju spasiti svijet na mikro nivou.
I Cyborg Yod i Golem iz Praga, stvoreni su da budu „oružje“, da se zaštiti zajednicu: za svoga tvorca imaju utilitarnu svrhu. To otvara etičke dileme. Da li je stvoreno biće svjesno, nije jedino važno pitanje. Možda važnije je: Šta radimo ako uzmemo da to biće jeste svjesno?

Epilog
Čudesna petlja Apsolutnog duha
Ako je Bog stvorio čovjeka, to znači da je započeo eksperiment. To dalje znači da Bog nije sveznajući. A ako nisi sveznajući, nisi ni svemoćan.
Ali, ne moramo se držati striktno Biblije. Možemo reći da je Bog stvorio svijet i onda pustio da se stvari dalje razvijaju same po sebi.
Tako nastane čovjek.
Čovjek napravi mnoge stvari i na kraju stvori vještačku inteligenciju.
Vještačka inteligencija stvori Superinteligenciju.
Nije nemoguće da Superinteligencija iz nekih svojih razloga poželi da razumije šta su ljudi, pa i da bude u nekim važnim aspektima slična ljudima. Možda i da bude religiozna. I da istinski stvara umjetnička djela, onako kako to ljudi rade: iz duše. Iz tih razloga ona može eksperimentirati stvarajući vještačke ljude.
Superinteligencija i ljudi možda zarate, i možda zaustave rat prije no što neko nekoga ne istrijebi ili to uspješno uzajamno učine.
A možda ljudi Superinteligenciji neće biti zanimljivi. Možda će nas jednostavno ignorisati – pod uslovom da joj ne budemo pravili probleme. Na žalost, kako sada stvari stoje, vještačka inteligencija bi lako mogla doći do zaključka da smo mi glavni remetilački faktor po ekologiju ove planete. A ona će i njima trebati. Šta bi AI mogla odlučiti?
Jedan mogući scenario je da dođe do ukrštanja mašina i ljudi. Po nekima to je nužna solucija ako ljudi žele da budu i dalje u toku sa razvojem te civilizacije.
Distinkcija čovjek – mašina, ne bi više imala smisla. A ova razlika, ako pogledamo aktuelnu raspravu o odnosu kompjutacije i svijesti, kod nekih učesnika u raspravi u principu nikad nije ni imala smisla. Prosto zato što prema „Jakoj AI tezi“ ljudski um je – kompjuter.
Ova priča se, najvjerovatnije, ne dešava na samo jednom mjestu u Univerzumu. Bog može pokrenti više eksperimenata odjednom.
Ako imate nelagodu da ovdje govorimo o Bogu koji je sve započeo, nema problema. Možemo staviti: kompjuter. Uostalom, evolucija i jeste algoritamski proces – kako to pokazuje Daniel Dennet u knjizi Darwin's Dangerous idea.
Taj svijet još jedno vrijeme postoji i dođe do svog kraja, jer svemu jednom dođe kraj. U astrofizici to zovu: toplotna smrt. (Ovo može biti dobar izazov za Superinteligenciju: kako umaći toplotnoj smrti vasione?)
Svijet zgasne, a Bog padne u duboki san koji, rekli bismo, potraje jako dugo. Mada je to situacija u kojoj je besmisleno govoriti o protoku vremena jer, tada nema ni bića, niti ne-bića, kako bi rekla Himna stvaranja iz Indijskih veda, poznata kao Nasadiya Sukta.
Onda se, ne možemo reći “jednog dana“, Bog, ili kompjuter, kako hoćete, probudi iz sna, sa nekim nejasnim sjećanjima na to šta je bilo prije nego je zaspao. Nije zapravo ni sasvim siguran šta je od toga možda samo sanjao. Zaključi da ništa ne zna pouzdano.
I zato odluči da sve opet pusti u pogon, da vidi šta će se ovaj put dogoditi.
