Hoj,
Mogoce se povezi z Kristjanom Pečanacem. On se mi zdi, da se pri nas
ukvarja z AGI. Oziroma vsaj govori, da se ukvarja s tem. ;-)
Del njegove zbirke linkov
(http://delicious.com/kristjan.pecanac/singularity) res kaže na to, drugače
pa moram priznati, da ga le bežno poznam kot propadlega poslovneža. ;) Morda
ga res kontaktiram, čeprav sem bolj na lovu za mladimi matematičnimi in/ali
filozofskimi geniji. Če pa se res ukvarja z designom AGI, bi ga bilo mogoče
dobro prepričati, da naj raje opusti to dejavnost - sicer ima (apriori) zelo
majhne možnosti za uspeh (ki bi v tem primeru skoraj zagotovo pomeni
unFriendly AI), vendar vseeno, za vsak slučaj...
zmanjsevanje teh tveganj najpomembnejsi problem danasnjega sveta.
Eh. Ne pretiravaj. Prevelika poraba energije in rast populacije je
veliko vecji problem.
http://www.youtube.com/watch?v=F-QA2rkpBSY
Kako naj bi prevelika poraba energije in rast populacije privedli do
izumrtja človeštva?
Rast prebivalstva se tekom rasti življenjskega standarda ustavlja, kot je
dobro vidno na Zahodu in če se ne motim, so prvi znaki tega trenda vidni
tudi že v Indiji in drugod. Nič torej ne kaže, da bi se prihodnost odvila po
scenariju, po katerem bi ljudje do zadnjega kotička zapolnili površje
Zemlje, nakar bi... v nekaj trenutkih vsi skupaj umrli? Celo v primeru
drastičnega podaljševanja življenjske dobe s tem ne bi imeli problemov...
O tem, kako naj bi pretirana energetska poraba vodila do izidov, ki bi bili
primerljivi z eksistenčnimi katastrofami, pa odkrito rečeno tudi nimam
izdelane neke jasne slike. Eksistenčno tveganje je sicer res definirano kot:
"One where an adverse outcome would either annihilate Earth-originating
intelligent
life or permanently and drastically curtail its potential." - pri čemer bi
bil tule relevanten drugi del - vendar je težko videti, kako bi lahko tekom
razvoja prispeli v takšno stanje, da bi porabili vse zemeljske vire energije
(tudi sončno? ;)) ter pri tem ne bi uspeli razviti tehnologij, ki bi nam kot
prvo dovoljevale razširitev po vesolju ter kot drugo praktično neomejene
vire energije že na samem planetu. Morda pot do tako nezavidljivega stanja
obstaja, vendar je njena verjetnost zanemarljivo majhna - če le pomislim na
sredstva, ki jih potrebujemo za to, da sprožimo eksplozijo inteligence:
nekaj malega elektrike, da poganja naše mlinčke, ter solato in oreščke, da
nahranimo programerje. ;) Nič kaj takšnega, kar bi nam lahko zmanjkalo kot
posledica energetske krize. Morda pa se motim...
V kakšnem smislu sta torej ta problema hujša od recimo biotehnološko
zgrajenega virusa, ki nas pobije vse do zadnjega?
Predlagam, da si prebereš vsaj 2. poglavje naslednjega članka, ker ni
videti, da bi razumel ključno razliko med eksistenčnimi in drugimi vrstami
tveganj:
http://www.nickbostrom.com/existential/risks.html
Vzrok za to je preprosto v tem, da smo preobsezni na tem planetu.
Sez who?
Meni to nikakor ni očitno in videl sem že argumente, da bi na planetu zlahka
živelo 50 milijard ljudi, tudi če pozabimo na kak večji tehnološki
napredek - v nasprotnem primeru pa so številke lahko še mnogo večje. Zemlja
niti ni tako majhna, je pa seveda drugo vprašanje, kakšno gostoto
prebivalstva si želimo - sam se recimo počutim dosti bolje v kakem manjšem
kraju, kot pa v velemestu, vendar tule je govora o povsem tehnološkem in ne
normativnem vprašanju.
Jaz mislim, da bi bil s svojim delovanjem kvecjemu na drugi strani tega
problema. Torej ce bi jaz delal AI, bi ga delal tako, da bi imel
svobodno voljo in ce bi se ta odlocil, da nas iztrebi, bi to bila cisto
legitimna njegova odlocitev.
Če pustim ob strani vprašanje kaj misliš s svobodno voljo (*), bi me
zanimalo ali tvoj zaključek izvira iz ideje, da bolj zaupaš
(superinteligentni oz. supermoralni?) AI, da je poiskala pravilen odgovor na
vprašanje "kaj je prav?", kot vsem ljudem, ki si ne želijo umreti?
Namreč, če si predstavljam, kako bi po trenutnih smernicah zasnovali
Friendly AI kot sistem, ki bi (preprosto povedano) izvedel ekstrapolacijo
želja vseh ljudi in bi v rezultatu tega procesa poiskal koherenten skupek
prihodnosti, ki si jih ljudje (reflektivno gledano) resnično želimo... in če
bi takšna dinamika vodila do končnega rezultata, po katerem bi "Friendly AI"
želela iztrebiti ljudi, mislim da bi upravičeno pomislil, da smo enostavno
naredili neko napako pri zasnovi sistema. AI se potemtakem moti, njen
odgovor je najbrž napačen.
Premislil bi si šele, če bi mi takšna AI uspela dovolj dobro razložiti kako
je prišla do takšne odločitve in celo v tem primeru bi prej pomislil, da gre
enostavno za zvito manipulacijo pri prepričevanju. Še vedno namreč bolj
zaupam svojemu moralnemu razmisleku, da dobre prihodnosti vsebujejo ljudi
oz. tisto, v kar bi se razvili (občasno se uporablja izraz 'postčloveštvo'),
kot pa da enostavno vsi skupaj umremo.
Preprostejša interpretacija tvojih besed pa je, da smo preprosto ustvarili
AI, katere moralne vrednote se ne skladajo z našimi - morda si le želi
rešiti Goldbachovo domnevo ali katerega izmed bolj obskurnih matematičnih
problemov, pri čemer proces reševanja zahteva mnogo resursov in ker smo
ljudje narejeni iz molekul, ki jih lahko koristno uporabi, nas postavi na
svojo črno listo. V tem primeru gre pač za antagonista, ki ga moramo
poskušati onemogočiti, dokler/če ni že prepozno, kar pa prav kmalu po tem,
ko preseže naš nivo inteligence, tudi je... Govoriti o neki legitimnosti
zlobne AI tule je brezpredmetno.
(*) Razrešitev problema svobodne volje zajema vprašanje kako od znotraj
čutimo izvajanje svojega kognitivnega algoritma planiranja, vendar se vsaj
zaenkrat raje ne bi zapletal v to tematiko. :)
Ampak mislim, da bi taksne vrednote in ideje ta AI dobil predvsem od nas
(saj bo sigurno del nase druzbe in ucenje ter vzgojo bo tudi ta AI
dobival iz nase druzbe) in verjetno nasega odnosa do njega. Zato bi
morali predvsem delati na tem. Torej da je ta AI "friendly" zato, ker si
zasluzimo to prijateljstvo in ne zato, ker smo ga skonstruirali kot
taksnega (v kaj ne verjamem, da je mozno (brez negativnih posledic)).
Bojim se, da je v tehle besedah mnogo preveč antropomorfizma. V nasprotju s
človeškim otrokom AI dejansko je nepopisan list: če vanj ne bomo vgradili
ekvivalentov evolucijskih adaptacij, ki pri ljudeh vodijo k mislim "če lepo
ravnaš z menoj, bom tvoj prijatelj", se v njem ne bodo po nekem čudežu
spontano pojavile kar same od sebe. Enako velja tudi za mnoge druge
lastnosti AI sistema. Recimo ko omenjaš, kako naj bi bil podobno kot otroci
del naše družbe in bi se tako naučil morale: vse to predpostavlja, da bi se
pri snovanju AI močno zgledovali po človeški inteligenci - dejansko bi jo
morali praktično kar prekopirati. Nikakor pa ni nujno, da bo AI zasnovana na
takšen način - v resnici je verjetneje, da ne bo.
Ni si težko predstavljati, da kako večje podjetje zgradi svoj AI recimo za
namen trgovanja z vrednostnimi papirji in ga pri tem načrtuje tako splošno,
da lahko vsrka vase in razume ogromne količine informacij z interneta, vse z
namenom čim natančnejšega napovedovanja in vplivanja na borzne krivulje.
Kognitivna dinamika takšnega sistema ne vsebuje nobenih čustev, senzorne
modalnosti se le slabo ujemajo s človeškimi, teorija uma je pri njem le
prediktivno orodje brez kake možnosti preko empatije vplivati na moralne
razsodbe, ki pa jih tako ali tako ne izvaja, saj sledi le enemu samemu
cilju - povečanju dobička z igranjem z vrednostnimi papirji ter kasneje, če
njena inteligenca dovolj naraste, tudi z "realnejšim svetom". Gre za sistem
s kognitivno arhitekturo, ki se močno razlikuje od človeške, in pri njem nam
samoumevna recipročna logika "če se bom lepo obnašal do njega, se bo tudi on
do mene" nima nikakršne veljave.
Primer sistema, ki se sicer zgleduje po obliki naše kognicije, vendar se od
nje vseeno zelo razlikuje, je Novamente (ali pa OpenCog, dejansko gre za
sorodna sistema): http://www.novamente.net/file/AAAI04.pdf
Lahko bi še marsikaj napisal o tem, vendar se mi že tole zdi predolgo in
(tudi) zato, dvomim, da bo sploh kdo prebral. Kogar zanimajo napake, ki
izvirajo iz naše nagnjenosti k antropomorfizmu ko razmišljamo o AI, si lahko
prebere 1. poglavje naslednjega članka:
http://singinst.org/upload/artificial-intelligence-risk.pdf
Aja, namrec po mojem bo taksne AGI bilo v obliki bitja. Tezko verjamem,
da lahko imas taksno splosno inteligenco brez zavesti, samozavedanja,
bitja.
Em... bi lahko pojasnil, kaj je zavest, t.j. kakšni kognitivni algoritmi so
potrebni da nek sistem ima zavest? Ker sem precej prepričan, da tega ne
zmoreš - saj je, kolikor mi je znano, to še nerešen problem - bi me
zanimalo, od kod prepričanje, da AGI ne more delovati brez te neznane
mešanice algoritmov?
Lahko bi sestavil nek argument za tezo, da AGI nujno potrebuje dokaj
natančen model same sebe za proces rekurzivne samo-izboljšave, vendar kdo
pravi, da gre takšen 'self-model' kar enačiti z zavestjo!? Morda spada le v
nek razred sestavin potrebnih za neke oblike širšega pojmovanja zavesti...
morda pa tudi ne.
Sklepanje pri katerem premetavaš neke nerazumljene črne škatle je sicer
popularno med mnogimi filozofi, vendar vse preprogosto vodi v popolnoma
zgrešene zaključke in žal se mi zdi, da gre pri tebi ravno za to.
Must be more careful. :)
Rok
