In zakaj bi design AGI bil nekaj, kar bi bilo dobro opustiti? Ne
razumem, od kje ideja, da je mozno razviti FAI brez AGI (kako imam rad
te kratice).
Vsak FAI seveda je AGI, obratno pa nikakor ne velja - velika večina AGI
sistemov je UnFriendly in dokler ne razvijemo FAI teorije, je praktično
zagotovljeno, da bo vsak AGI, ki bi nam ga v svoji norosti uspelo ustvariti,
unFriendly in s tem veliko eksistenčno tveganje. Poskuse programiranja AGI
je tako treba opustiti oz. preložiti na kasnejši čas in se raje posvetiti
izdelavi precizne teorije (prijazne) inteligence.
Kljub temu bi se strinjal v tem, da je lahko AGI design (ki nikoli ne preide
v fazo programiranja) v manjši meri koristen za razvoj FAI teorije, saj nam
lahko postavi določena relevantna vprašanja, na katera bo morala slednja
odgovoriti ali pa preprosto usmeri našo pozornost nad določene dileme, ki bi
sicer ostale spregledane...
Skratka, cilj je najprej razviti FAI teorijo, ki bo nato vodila AGI design v
pravi, zelo specifični smeri, da bomo v končni fazi dobili FAI in s tem
ugodnen razplet Singularnosti (oz. natančneje, eksplozije inteligence). Na
kakšen način se najučinkoviteje spopasti s tem problemom je odprto
vprašanje, ostaja pa jasno, da drveti naprej s snovanjem in programiranjem
AGI nikakor ni prava pot.
Kako naj bi prevelika poraba energije in rast populacije privedli do
izumrtja človeštva?
Si si pogledal celoten video? Tam to razlozi.
Ok, sem si sedaj ogledal vseh 8 delov, vendar še vedno ne vidim, kako naj bi
njegovi modeli implicirali izumrtje naše vrste (česar pa mimogrede
eksplicitno nikoli ne omeni). Maltuzijanski scenariji v splošnem namreč še
vedno privedejo do populacije, ki živi sicer bolj borno življenje, a
vendarle živi in še vedno lahko napreduje ter se izkoplje iz nezavidljivega
položaja...
Tu [pri rasti prebivalstva] nas precej vara obcutek. Malo se seznani z
eksponentno funkcijo.
Svetovna rast prebivalstva se že lep čas upočasnjuje:
http://en.wikipedia.org/wiki/File:World_population_growth_rates_1800-2005.png
V razvitem svetu je ponekod že tako nizka, da niti ne zadostuje za
nadomeščanje aktivnega prebivalstva in razvijajoče se države počasi sledijo
temu trendu.
http://en.wikipedia.org/wiki/File:Countriesbyfertilityrate.svg
Prebivalstvo se torej ne povečuje z eksponentno hitrostjo, zaradi česar vsaj
do tovrstne maltuzijanske katastrofe ne bo nikoli prišlo... kar pa se mi
zdi, da je nekako splošno znano, zaradi česar se mi zdi skoraj odveč
omenjati.
Prof. v videu omenja zaskrbljujoče destvo, kako zelo se še vedno povečuje
prebivalstvo ZDA, pozablja pa omeniti, da je to večinoma posledica
priseljevanja, ki pa k rasti svetovnega prebivalstva seveda ne prispeva.
Ni problem samo v populaciji, ampak tudi v energiji.
Energetski problemi povezani s pomanjkanjem fosilnih goriv so res bolj
zaskrbljujoči, zaradi česar pa se k sreči že marsikaj dela na tem, da bo naš
prehod v obdobje po tem, ko jih ne bo več ekonomično izkoriščati, kolikor
mogoče gladek. Razvijajo se nove tehnologije, ki omogočajo boljše
izkoriščanje virov in učinkovitejšo uporabo energije, ogromno se vlaga v
razvoj sončnih celic, vetrnih elektrarn, nizkoenergijskih hiš, novejših
fisijskih reaktorjev, morda bodo tudi nekonvencionalne raziskave fuzije
obrodile kake sadove... Če bi se razmere zaostrile, pa lahko začnemo tudi
mnogo bolj drastično varčevati z nafto, ki bo tako v prvi vrsti namenjena
proizvodnji hrane in se ne bo v takšnih količinah kurila za "skoke na
Havaje", kot se to dogaja sedaj.
Seveda se strinjam s tem, da eksponentna rast porabe energije dolgoročno ni
vzdržna - navsezadnje celo pri razširjanju s hitrostjo blizu svetlobne svoj
volumen (in s tem možnosti pridobivanja energije) povečujemo le s kubično
funkcijo, ki jo eksponentna sčasoma še vedno ulovi in prehiti. Takšen izid
pa nikakor ni nujen: eksponentna rast lahko podobno kot pri prebivalstvu
začne pešati že mnogo preden nam začenja iti za nohte in se tako elegantno
ognemo maltuzijanskim zaključkom. Glavni razlog za intenzivno rast v
energetski porabi danes leži v razvijajočih se državah in nekako nimam težav
predstavljati si, kako podobno kot na Zahodu njihova poraba doseže vrh, nato
pa zaradi učinkovitejših tehnologij počasi stagnira.
V videu je tudi omenjeno, da naj bi "peak oil" dosegli že pred nekaj leti,
kar se je izkazalo za napačno. Z nekaj pomoči Googla sem hitro našel tudi
naslednjo stran: "Singularity Technology is Not Needed to Push Peak Oil Past
2040"
http://nextbigfuture.com/2010/01/singularity-technology-is-not-needed-to.html
Časa za prehod je torej še dovolj, tudi če se ne zanašamo na napredne
bio/nano/cogno tehnologije...
ter pri tem ne bi uspeli razviti tehnologij, ki bi nam kot prvo
dovoljevale razširitev po vesolju ter kot drugo praktično neomejene
vire energije že na samem planetu.
Kje so te tehnologije? Meni so se bolj oddaljene kot AI. Kaj energijo
bodo proizvajale kar iz nica? Potovali bomo po vesolju brez da bomo za
to potrebovali energijo? Dvomim, da lahko potujemo po vesolju in pridemo
nazaj in smo v plusu z energijo, ki smo jo za vse to porabili.
Em... ne vem no, ampak meni se te stvari zdijo precej očitne. Že danes imamo
recimo na voljo jedrske reaktorje, ki lahko rešijo naše energetske potrebe
vse do daljne prihodnosti, v razvoju pa so tudi novejši, 'breeder' reaktorji
(http://en.wikipedia.org/wiki/Generation_IV_reactor), katerih goriva ne bo
zmanjkalo praktično nikoli.
Pri klasični, termonuklearni fuziji kakršno raziskujejo v Franciji, stvari
niso tako obetavne, ker je težko videti, kako bi bila zadeva lahko kdaj
ekonomsko upravičena, vendar obstajajo tudi druge oblike fuzije, ki bodo
morda kdaj delovale... in ne, ne bodo prizvajale energije kar iz nič. E =
mc^2 še vedno velja. ;)
Potem imamo tudi biotehnologijo: ravno pred kratkim je svet obkrožila novica
o umetno ustvarjenem genomu, ki so ga vstavili v neko bakterijo. Ideja je v
tem, da bi na takšen način sprogramirali mikoorganizme z namenom, da nam
proizvajajo energijo. Kot je omenil Craig Venter (vodja ekipe, ki ji je
uspelo omenjeno) imajo že sedaj pogodbo z neko naftno družbo v vrednosti 600
milijonov $, da ustvarijo takšne bakterije.
Področje nanotehnologije bo tekom naslednjih desetletij lahko proizvedlo
izjemno poceni sončne celice, ki bi jih tako lahko vgrajevali (kot neke
oblike barvo, če me spomin ne vara) kar v samo kritino in fasade stavb (bi
moral poiskati link, kjer so te stvari opisane, samo se mi trenutno odkrito
rečeno ne da). Sicer pa že sedaj cene teh celic stalno padajo, medtem ko
učinkovitost novejših modelov, ki jih stalno razvijajo, seveda raste...
O transportu energije skozi vesolje: lahko uporabimo recimo laser in na
takšen način zelo učinkovito prenašamo energijo, kar je bil mimogrede tudi
eden izmed predlaganih načinov za prenos energije med ogromnimi polji
sončnih celic v Zemljini orbiti in njenim površjem (še ena možnost za
rešitev naših energetskih potreb).
Na teh problemih se res ogromno dela in našlo se je tudi že mnogo rešitev,
proces iskanja katerih pa bo še mnogo hitrejši, ko nam uspe dvigniti nivo
naše inteligence (kar pa je področje, ki me osebno mnogo bolj zanima :)).
če le pomislim na sredstva, ki jih potrebujemo za to, da sprožimo
eksplozijo inteligence: nekaj malega elektrike, da poganja naše
mlinčke, ter solato in oreščke, da nahranimo programerje. ;) Nič kaj
takšnega, kar bi nam lahko zmanjkalo kot posledica energetske krize.
No, za eksplozijo inteligence mogoce potrebujemo le to malo. Ampak za
to, da nam bo zmanjkalo surovin in da bomo prenaseljeni, pa ne
potrebujemo nic. V resnici ce ne bomo nic naredili, da bo to zgodilo. Ce
bomo samo cakali, se bo to zgodilo. Pri AI moramo vsaj nekaj se narediti.
Če ne bomo nič naredili, do prenaseljenosti ne bo prišlo, kot sem omenil že
višje. Za rešitev energetskih problemov pa res moramo malo pljuniti v roke.
:)
Vendar je to 'beside the point'. Če nam uspe sprožiti ekplozijo inteligence
v centru katere je Friendly AI, so vsi ti problemi povsem postranski -
prijazna superinteligenca na naši strani jih zlahka reši. Torej, tudi če se
na nek način znajdemo v stanju hude energetske krize, se iz njega še vedno
lahko izvijemo vsaj na omenjeni način.
Sez who? [da smo že sedaj preobsežni na tem planetu]
Poglej video.
Sicer pa je meni dovolj pogledati okoli sebe. ;-) Torej koliko smetimo,
koliko onesnazujemo, koliko energije porabljamo, glede na to, koliko nas
je.
Mislim, da so pred kake pol stoletja, ko nas je bilo okoli 3 milijarde,
mnogi govorili enako in najbrž tudi že mnogo prej, ko nas je bilo krepko pod
miljardo. Kot pa vidimo danes, pri skoraj 7 miljardah ljudi svet še vedno
stoji in ljudje živijo v povprečju bolje kot v preteklosti. Bi me pa
zanimalo, koliko bi nas moralo biti, da bi se prof. z videa strinjal s tem,
da nas je ravno prav - milijarda? 100 milijonov? Toliko, kolikor nas je bilo
pred 100 tisoč leti, na samih začetkih naše vrste?
Se pa strinjam, da je potrebno še zmanjšati onesnaževanje in povečati
energetsko učinkovitost in kolikor vem, se z menoj strinja vsaj še 250 tisoč
ljudi, s katerimi smo nedavno čistili naš košček Zemlje. :)
Če pustim ob strani vprašanje kaj misliš s svobodno voljo (*), bi me
zanimalo ali tvoj zaključek izvira iz ideje, da bolj zaupaš
(superinteligentni oz. supermoralni?) AI, da je poiskala pravilen
odgovor na vprašanje "kaj je prav?", kot vsem ljudem, ki si ne želijo
umreti?
Kje pa sem napisal, da bo njihov odgovor pravilen? Oziroma pravilen
glede na katera merila? Jaz pravim, da bo tudi to legitimna moznost.
Tako kot je tudi nasa, ko se pobijamo med seboj. Si je verjetno nihce ne
zeli, ampak ce imas svobodno voljo, imas tudi to moznost. Mi si jo
pripisujemo. Zakaj si je ne bi tudi oni?
Kar se tiče metaetičnih stališč sam spadam med kognitiviste: zame imajo
vprašanja o tem, "kaj je dobro"/"kaj je prav", pravilne in napačne odgovore.
Merila, po katerih sodimo odgovore, so vsebovana že v samem vprašanju. Ko
omenjaš, kako se pobijamo med seboj, bi tako rekel, da so skoraj vedno naše
odločitve, ki vodijo k takšnim dejanjem, (reflektivno gledano) zmotne - če
bi bili pametnejši, modrejši itn., tega ne bi počeli.
Kakorkoli že, AI seveda lahko ima svobodno voljo ter lahko na podoben način
kot mi sprejme v mojem pogledu slabo/zmotno odločitev, da nas iztrebi (če
ima motivacijski/moralni sistem izomorfen našemu), oziroma lahko sprejme to
odločitev kot podcilj svojega končnega cilja razrešiti kak obskuren
matematični problem (njen motivacijski sistem se tule močno razlikuje od
človeškega). Vendar takšne AI si menda ne želimo ustvariti, mar ne?
Odkrito rečeno mi ni čisto jasno kaj želiš povedati s tem, da bi bilo čisto
legitimno, če nas AI želi iztrebiti. Edina dobrohotna interpretacija, ki sem
jo poskušal najti, je očitno napačna... kaj torej? Da se ti zdi pač ok, če
se AI tako odloči!? Da bi bilo njeno željo treba upoštevati?
Jaz zelo dvomim, da nekaj tako kompleksnega, kot je AI, je lahko
zasnovano. Ampak v redu.
Imaš kako drugačno idejo kako ustvariti AI? ;)
mislim da bi upravičeno pomislil, da smo enostavno naredili neko
napako pri zasnovi sistema.
Ne razumem tocno, zakaj bi to upraviceno mislili? Kaj pa ce je to res
najboljse za clovesko vrsto, ce gledas vse faktorje? Koliko ljudi trpi,
koliko unicujemo naravo okoli, koliko drugih zivali pobijamo in
iztrebljamo ... Mogoce se lahko res izracuna, da bi najvec prispevali,
ce nas ne bi bilo.
Glede na to, da sem transhumanist, težko rečem kaj drugega, kot da se mi zdi
to skrajno malo verjetno. Vsi ti problemi, ki jih omenjaš, so rešljivi brez
da bi bilo za to potrebno izbrisati človeštvo z obličja Zemlje. Morda nam za
to manjka inteligence in modrosti, vendar je tudi to mogoče popraviti - samo
spet ne tako, da enostavno izginemo.
Še vedno namreč bolj zaupam svojemu moralnemu razmisleku, da dobre
prihodnosti vsebujejo ljudi oz. tisto, v kar bi se razvili (občasno
se uporablja izraz 'postčloveštvo'), kot pa da enostavno vsi skupaj
umremo.
Ker je tvoja pozicija antropocentricna. Ne gledas moralno nevtralno,
ampak moralo vezes le na doloceno vrsto bitij. S tem je tezko govoriti o
moralnosti taksnih odlocitev. Enako so delali tudi belci napram crncem,
kjer so jim pac odvzeli clovecnost in s tem potesili svojo moralo.
Moralo ne mores vezati le na eno skupino bitij, se posebej ne, ce
govorimo o samozavedajocih se bitjih oziroma bitjih z zavestjo.
Sem že omenil, da sem transhumanist? :) To pomeni, da objekti moje morale
niso le ljudje, temveč samo-zavedajoča se bitja v splošnem (nekatere živali,
računalniški programi ipd.) in ker se imam tudi za preferenčnega
utilitarista, poskušam v svoji presoji upoštevati tudi želje drugih takšnih
bitij. Je pa iz te skupine vseeno izvzeta večina optimizacijskih procesov -
nikakršnega namena nimam npr. pomagati hipotetičnemu optimizatorju št. sponk
za papir (http://wiki.lesswrong.com/wiki/Paperclip_maximizer), ki nas želi
iztrebiti - le zakaj bi mu!? Ali pa upoštevati preference virusov ebole -
sicer nimajo svobodne volje, vendar ne vidim bistvene razlike med njimi in
AI, ki v vsej svoji svobodi sklene, da je čas za naše izumrtje. Podobno tudi
ne mislim ugoditi želji t.i. kultov smrti, ki delajo v smeri našega
izginotja, kljub temu da gre za soljudi - enostavno se motijo in čas bi že
bil, da odrastejo.
Preprostejša interpretacija tvojih besed pa je, da smo preprosto
ustvarili AI, katere moralne vrednote se ne skladajo z našimi
Glede na to, da se bo po mojem taksen AI moral uciti iz neke druzbe, se
bo vsaj na zacetku ucil iz nase. Zato malo dvomim, da ne bo delil tako
dobrih kot slabih nasih znacilnosti.
Ko bi bile stvari vsaj tako preproste...
Če AI nima že vgrajenega motiva za to, da prevzame naše družbene norme in
vrednote, jih jasno tudi ne bo. Spoznal bi delovanje našega sveta in ga nato
poskušal usmerjati v smeri svojih ciljev, ki pa bi bili praktično zagotovo
sila drugačnih od tega kar mi poimenujemo 'dobro'.
Bojim se, da je v tehle besedah mnogo preveč antropomorfizma.
Ne. Le izvira iz tega, da se mi zdi, da ponavadi ljudje uspemo pri
tistih stvareh, kjer prvo posnemamo naravo. Torej bomo pri AI (na
zacetku) posnemali cloveka in bo zato podoben cloveku.
Če imaš s tem v mislih projekt 'uploadanja' človeških možganov, pri katerem
dejansko ustvarimo njihovo emulacijo in rezultirajoči sistem dobi pač vse
človeške lastnosti, bi se s tvojim sklepanjem še strinjal. Vkolikor pa gre
za 'de novo' AI, pa mislim, da se sploh ne zavedaš kako izjemno težko bi
bilo sprogramirati AI, ki bi se obnašala kot človeški otrok. Če imaš čas, ti
predlagam, da si prebereš kako delo evolucijske psihologije za obris
fantastične kompleksnosti adaptacij, ki nas delajo to kar smo. Ker je cilj
raziskovalcev ustvariti nekaj inteligentnega in ne ravno ustvariti še enega
otroka (čeprav bi bil ta digitalen), bi marsikatero izmed teh adaptacij, ki
so nastale kot posledica našega dolgega lovsko-nabiralniškega življenja,
lahko izpustili ali implementirali v poenostavljeni obliki, samo rezultat
tega potem ne bi bila več inteligenca s človeškimi lastnostmi...
Poleg tega dvomim, da bomo ustvarili AI kot rezultat posnemanja ljudi.
Podobno kot pri 'umetnem letu' moramo razumeti principe inteligence in jih
nato prenesti v drugačno obliko. Tako kot letala nimajo peres, tudi AI ne bo
poznal lenobe.
V nasprotju s človeškim otrokom AI dejansko je nepopisan list:
Glede na to, da se nimamo ravno delujocih sistemov, je tezko govoriti
kaksen je AI. Mogoce ugotovimo, da ne "deluje", ce ni vsaj malo popisan,
z recimo nekimi osnovnimi lastnostmi, ki bi ustrezale nasemu
temperamentu in podobnim lastnostim.
Kot prvo, prostor vseh inteligentnih sistemov je ogromen in kakšne so
možnosti za to, da so neke posebnosti človeške inteligence - za katere poleg
vsega vsaj približno vemo kakšne evolucijske sile so jih oblikovale - nujna
sestavina vsake inteligence? Sila, sila majhne.
In kot drugo, če pri snovanju AI izpustimo le eno izmed lastnosti, ki je
univerzalno prisotna pri zdravih ljudeh, hitro zaidemo v področja, ko je
sistem hudo drugačen od ljudi. Morda bi ga lahko označili za psihopatskega,
čeprav mislim, da enostavno nimamo pravih besed, da bi ga opisali kaj dosti
drugače kot da je preprosto čuden.
Poleg tega ne potrebujemo nujno delujočih AI sistemov, da bi lahko govorili
o njihovih lastnostih. Analogija z letalom ponovno pride prav tule: še
preden je poletelo prvo letalo, so bili opravljeni določeni izračuni in
ugotovljenega je bilo mnogo o njihovi obliki in drugih njihovih lastnostih -
vse brez da bi imeli pred očmi delujoče letalo. Z dobrim poznavanjem teorije
je mogoče predvideti marsikaj... sicer tega tudi ne moreš zgraditi.
se v njem ne bodo po nekem čudežu spontano pojavile kar same od sebe.
Si preprican? Po mojem to izhaja iz precej osnovne zdruzitve
samoohranitvenega nagona in moznosti vzivetja v drugo osebo. Ko to
posplosis, prides do zlatega pravila.
Če si človek, ja, za veliko večino AI sistemo pa to ne velja. Zavedel te je
antropomorfizem. :)
Drugače so določene lastnosti res univerzalne, npr. kovergentni podcilji med
katerimi se nahaja tudi samoohranitev:
http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/
Možnost vživetja v drugega (t.j. empatija), ki lahko sproža tudi čustva in
vpliva na moralo, pa je naša posebnost. Evolucija je uspela najti dokaj
preprosto rešitev problema predikcije obnašanja drugih bitij in sicer tako,
da v neke oblike notranji simulaciji uporabljamo kognitivne 'organe', ki so
sicer izvor naših lastnih odločitev in dejanj, z 'vhodnimi podatki' dejstev,
ki jih poznamo o nekem bitju... Takšen proces deluje, ker običajno poskušamo
razumeti le druge ljudi, ki imajo identično kognitivno arhitekturo naši - ko
pa želimo predvideti delovanje AI sistemov, pa takšna strategija ne deluje,
kar vodi v omenjeno antropomorfično pristranost, katere žrtev si v mojih
očeh tudi ti. :)
Bistveno je razumeti za kakšen namen in v kakšnem kontekstu je zevoluirala
neka naša kognitivna sposobnost in ko nam to uspe, postane očitno, da
običajno ne gre za univerzalno potrebno sestavino vseh inteligenc, temveč le
za neko našo posebnost.
Naslednje vprasanje se postavlja, zakaj mislis, da so te stvari pri
ljudeh prirojene in ne pridobljene iz druzbe?
Ah, 'nature vs. nurture' debata. Da lahko ljudje pridobimo sploh karkoli iz
družbe, moramo imeti prirojene mehanizme, ki nam to tudi omogočajo. :)
Od kod recimo izhaja dejstvo '2+3=5', ki ga hrani večina naših možganov?
Evolucija je v nas zapustila adaptacije, ki nam omogočajo, da se naučimo
takšnih reči, poleg tega pa imamo vgrajene tudi precej 'matematične
intuicije', s pomočjo katere jih lahko pričenjamo razumeti. V tem,
natančnejšem smislu, je torej to dejstvo pridobljeno. Kaj pa npr. čustva? Ta
pa so delčki kognitivne vsebine, morda bi bilo dobro reči kar skripte, ki
jih je napisala evolucija.
Ideja, relevantna za razumevanje AI, je tule sledeča: brez nekih
(eksplicitno ali implicitno) vgrajenih motivacijskih mehanizmov bo AI samo
stala tam in ne bo naredila prav ničesar - v njenem miselnem procesu se ne
bo spontano pojavila niti želja po modeliranju sveta, kaj šele po učenju in
prevzemanju moralne kulture iz svoje okolice. Da bi AI sprejela naše
vrednote, si mora tega že v sami osnovi želeti, mora biti zgrajena tako, kar
pa je ena izmed poenostavljenih formulacij FAI problema.
Splosen AI po mojem najverjetneje bo [zasnovan enako kot človeška
inteligenca].
Ampak to bomo videli. Je oboje le spekulacija.
Če se emulacije naših možganov (uploadi) pojavijo pred AI, potem to drži,
sicer pa se motiš.
Sploh se mi zdi to taksna super nedeljska tema: polno moznosti za
spekulacije, polno moznosti za tako imenovano znanstveno argumentiranje,
ki pa bolj meji na znanstveno fantastiko. Ampak ljudje imamo veliko
razlicnih hobijev. Pac eni filozofi radi filozofirajo o enih "kaj ce",
drugi pa pac o drugih "kaj ce". Moram priznati, da je tudi meni kdaj
prijetno malo o tem klepetati.
Špekulacija, ki je osnovana na kopici vsaj deloma relevantne znanosti in
najboljše filozofije, je, če nič drugega, vsaj dobra špekulacija. Poleg tega
vedi, da nekateri ne jemljemo teh stvari kot zabavni filozofski hobi.
Obstajajo kar dobre možnosti za to, da bo precizno razumevanje inteligence
eden izmed odločujočih faktorjev v prihodnjih desetletjih pri tem, ali bo
človeštvo preživelo to stoletje ali ne. Poskusi dobrih špekulacij pa so
začetek takšnega razumevanja...
Mimogrede, si že prebral "Artificial Intelligence as a Positive and Negative
Factor in Global Risk"?
http://singinst.org/upload/artificial-intelligence-risk.pdf
Ni si težko predstavljati, da kako večje podjetje zgradi svoj AI recimo
za namen trgovanja z vrednostnimi papirji in ga pri tem načrtuje tako
splošno, da lahko vsrka vase in razume ogromne količine informacij z
interneta, vse z namenom čim natančnejšega napovedovanja in vplivanja na
borzne krivulje. Kognitivna dinamika takšnega sistema ne vsebuje nobenih
čustev, senzorne modalnosti se le slabo ujemajo s človeškimi, teorija
uma je pri njem le prediktivno orodje brez kake možnosti preko empatije
vplivati na moralne razsodbe, ki pa jih tako ali tako ne izvaja, saj
sledi le enemu samemu cilju - povečanju dobička z igranjem z
vrednostnimi papirji ter kasneje, če njena inteligenca dovolj naraste,
tudi z "realnejšim svetom". Gre za sistem s kognitivno arhitekturo, ki
se močno razlikuje od človeške, in pri njem nam samoumevna recipročna
logika "če se bom lepo obnašal do njega, se bo tudi on do mene" nima
nikakršne veljave.
Si prevec gledal Terminatorja.
Brez skrbi, mi je dobro poznana logična napaka posplošitve na osnovi
izmišljenih dokazov. ;)
http://lesswrong.com/lw/k9/the_logical_fallacy_of_generalization_from/
Zal mi je, ampak jaz zelo zel dvomim, da
se lahko nekaj kar tako zgodi, brez da bi pred tem bilo veliko neuspehov
in prez da bi pred tem opazali, da se stvari dogajajo. Torej taksen
scenarij se bo zgodil le, ce bo ta korporacija to dopustila in na tem
intenzivno delala (recimo z dograjevanjem opreme in placevanjem vedno
vecjega racuna za elektriko, bolj bo ta sistem rastel).
Sem morda zg. trdil kaj drugega? ;)
Poskušal sem vsaj v grobem orisati nek sistem, ki se močno razlikuje od
ljudi, vendar je vseeno zelo inteligenten, nisem pa rekel ničesar o tem,
kako bi takšen sistem zgradili.
Mimogrede, drugače bi zagovarjal idejo, da v določenem trenutku kognitivnega
razvoja sistema pridemo do točke, ko je ta sposoben rekurzivne
samo-izboljšave in njegova sposobnost brez posredovanja programerjev izjemno
naraste vse do meja superinteligence.
Em... bi lahko pojasnil, kaj je zavest, t.j. kakšni kognitivni algoritmi
so potrebni da nek sistem ima zavest? Ker sem precej prepričan, da tega
ne zmoreš - saj je, kolikor mi je znano, to še nerešen problem - bi me
zanimalo, od kod prepričanje, da AGI ne more delovati brez te neznane
mešanice algoritmov?
Hm. Definiraj "delovati"?
Well, naturalistična definicija inteligence gre nekako v slogu učinkovite
preko-domenske optimizacije
(http://lesswrong.com/lw/vb/efficient_crossdomain_optimization/), tako da
AGI 'deluje' pač tedaj, ko je zmožen takšne optimizacije. Če je njegova
optimizacijska moč že dovolj velika, bi nam lahko rešil kak težji problem,
recimo kar problem staranja, ki ga tako lahko uporabimo kot enega izmed
testov za transhumano inteligenco. Ko pa je njegova inteligenca pod oz.
okoli človeškega nivoja, pa so stvari malo bolj zapletene, ampak vseeno ne
tako zelo: uporabimo kup raznih testov, od igranja računalniških in drugih
iger do kakšne kompresije podatkov ipd.
Mogoce pa jaz narobe razumem definicijo AGI. V
vsakem primeru: ne, ne morem ti se pojasniti vse te algoritme, ker jih
se pisem. Mogoce kdaj drugic.
Te bom čez čas spomnil. ;)
In moje vera pac izvira iz mojih preliminarnih poskusov na tem podrocju.
Je pa predvsem "stava". Pac jaz stavim na to obliko in da je to
potrebno. Mogoce kaj uspem, mogoce ne. Verjetno kdo drug, ki to
raziskuje, pa stavi na kaj drugega.
Ne bi bilo bolje vložiti nekaj časa v temeljitejši racionalni razmislek (ki
bi ti pokazal, da je tvoja 'stava' slaba)?
Se pa sprašujem, če in v kakšnem razmerju bi bil pripravljen staviti , da je
tisto kar imenujemo 'zavest' nujno potrebna sestavina vsake inteligence,
torej tudi AI. Meni se čisto poštena stava zdi že mojih 100€ proti tvojemu
1€ (če zmagaš torej dobiš 100€, sicer pa izgubiš enega samega).
Sklepanje pri katerem premetavaš neke nerazumljene črne škatle je sicer
popularno med mnogimi filozofi, vendar vse preprogosto vodi v popolnoma
zgrešene zaključke in žal se mi zdi, da gre pri tebi ravno za to.
Must be more careful. :)
Jaz ne vlecem nobenih zakljuckov. Tako da zato pri meni ne gre za to. :-)
Malo višje si zapisal, da "staviš na to, da je zavest potrebna za
inteligenco" - v kakšnem smislu tule ne gre za nek zaključek, na katerem
baziraš svoja dejanja!?
Ti vleces zakljucke na podlagi spekulacij.
Verjamem, da dajem takšen vtis. Vendar zavedaj se, da so nekateri ljudje,
katerih dela prebiram, vložili ogromen trud v to, da so preštudirali
prosvetljenske širjave znanosti in se posvetili celo razvoju boljših
epistemoloških temeljev in praks, vse z namenom poiskati dobre odgovore na
nekatera izmed vprašanj o katerih tule govoriva ter v končni fazi, za
rešitev FAI problema. Niti malo ne zamerim, če poimenuješ moje bežne
komentarje za špekulacije, saj je velika večina sklepanja, ki jih podpira,
pač skrita, ne zdi pa se mi pošteno, da enak status pripisuješ tudi temu
sklepanju, ki pa ga na žalost res očitno še ne poznaš...
Jaz se vecinoma zavedam, da
ne morem z gotovostjo (niti veliko verjetnostjo) trditi niti enega niti
drugega. Edino kar lahko trenutno z gotovostjo (oziroma veliko
verjetnostjo) o prihodnosti trdim je, da nam bo zmanjkalo virov
energije, kar se bo se bolj poznalo zaradi velike populacije ljudi. To
lahko govorim zaradi omejene kolicine teh virov in zaradi stalne rasti
porabe teh virov.
Zato je zame to veliko bolj konkretna nevarnost.
Tudi tule se (z visoko verjetnostjo) motiš.
Se pa sprašujem, če ob teh svojih besedah sploh pomisliš na posledice in
verjetnosti, ki vodijo do njih ter oboje združiš v pričakovano korist (EU -
expected utility). Konsekvencialistično razmišljanje ti gotovo ni tuje, tako
da se res čudim, kako ne vidiš tega, da celo dokaj majhna možnost, da recimo
unFriendly AI privede do eksistenčne katastrofe, ni nekaj, kar je potrebno
nujno preprečiti - oz. v bolj pozitivni luči, kako FAI lahko prinese rešitev
vseh rešljivih problemov in s tem dejansko prihodnost svetlejšo od naše
domišljije. Celo majhna možnost, da nam uspe ustvariti FAI bi potemtakem
morala biti razlog za to, da moramo nujno poskusiti - celo že pozabimo
nevarnosti uFAI, ki se vali nad nas v prihodnjih desetletjih in nas sili k
temu, da moram ta problem enostavno rešiti.
Virov energije nam po drugi strani skoraj gotovo ne bo zmanjkalo, saj nam v
sili razmer še vedno ostaja jedrska energija, sploh pa se danes že velik del
sveta vrti okoli alternativnih virov energije in vlaga vanje ogromna
sredstva. Po drugi strani se s FAI problemom ukvarja le peščica ljudi in
tudi to je razlog, da bi mu moral (osebno) nameniti več pozornosti, saj na
tem področju lahko opraviš več marginalne koristi. Kjer milijon rok koplje
umetno jezero bodo tvoje roke naredile le malo dodatne koristi, če pa
pristopiš k problemu, s katerim se ukvarja le peterica, bo tvoj prispevek
mnogo večji.
Uf, rekordno dolg mejl. Če prideš do konca, te mogoče povabim na pijačo (p ~
0.5). ;)
Rok
