Ljudje zakaj se pogovarjate take zanimive stvari ko imam jaz izpite? Rok: Glede FAI. Če bi ustvaril inteligenten program (npr. da bi razumel angleško, razumel svojo kodo in zakaj deluje kot deluje, bil sposoben tudi sebe popravljati, in imel tudi motivacijo, da se spreminja), ampak bi ga zagnal na clusterju, ki pa nima dostopa do kakršnihkoli eksternih naprav (npr. robotskih rok, itd.), in tudi nima dostopa do interneta. Kakor jaz vidim, je ta program lahko največji Zlodej, ampak za mene ki sem zunaj njegovega sistema, dokaj neškodljiv. Ali nebi na tak način lahko varno experimentirali svoje FAI teorije?
Jure 2010/5/30 Rok Resnik <[email protected]>: >> In zakaj bi design AGI bil nekaj, kar bi bilo dobro opustiti? Ne >> razumem, od kje ideja, da je mozno razviti FAI brez AGI (kako imam rad >> te kratice). > > Vsak FAI seveda je AGI, obratno pa nikakor ne velja - velika večina AGI > sistemov je UnFriendly in dokler ne razvijemo FAI teorije, je praktično > zagotovljeno, da bo vsak AGI, ki bi nam ga v svoji norosti uspelo ustvariti, > unFriendly in s tem veliko eksistenčno tveganje. Poskuse programiranja AGI > je tako treba opustiti oz. preložiti na kasnejši čas in se raje posvetiti > izdelavi precizne teorije (prijazne) inteligence. > > Kljub temu bi se strinjal v tem, da je lahko AGI design (ki nikoli ne preide > v fazo programiranja) v manjši meri koristen za razvoj FAI teorije, saj nam > lahko postavi določena relevantna vprašanja, na katera bo morala slednja > odgovoriti ali pa preprosto usmeri našo pozornost nad določene dileme, ki bi > sicer ostale spregledane... > > Skratka, cilj je najprej razviti FAI teorijo, ki bo nato vodila AGI design v > pravi, zelo specifični smeri, da bomo v končni fazi dobili FAI in s tem > ugodnen razplet Singularnosti (oz. natančneje, eksplozije inteligence). Na > kakšen način se najučinkoviteje spopasti s tem problemom je odprto > vprašanje, ostaja pa jasno, da drveti naprej s snovanjem in programiranjem > AGI nikakor ni prava pot. > >>> Kako naj bi prevelika poraba energije in rast populacije privedli do >>> izumrtja človeštva? >> >> Si si pogledal celoten video? Tam to razlozi. > > Ok, sem si sedaj ogledal vseh 8 delov, vendar še vedno ne vidim, kako naj bi > njegovi modeli implicirali izumrtje naše vrste (česar pa mimogrede > eksplicitno nikoli ne omeni). Maltuzijanski scenariji v splošnem namreč še > vedno privedejo do populacije, ki živi sicer bolj borno življenje, a > vendarle živi in še vedno lahko napreduje ter se izkoplje iz nezavidljivega > položaja... > >> Tu [pri rasti prebivalstva] nas precej vara obcutek. Malo se seznani z >> eksponentno funkcijo. > > Svetovna rast prebivalstva se že lep čas upočasnjuje: > http://en.wikipedia.org/wiki/File:World_population_growth_rates_1800-2005.png > > V razvitem svetu je ponekod že tako nizka, da niti ne zadostuje za > nadomeščanje aktivnega prebivalstva in razvijajoče se države počasi sledijo > temu trendu. > http://en.wikipedia.org/wiki/File:Countriesbyfertilityrate.svg > > Prebivalstvo se torej ne povečuje z eksponentno hitrostjo, zaradi česar vsaj > do tovrstne maltuzijanske katastrofe ne bo nikoli prišlo... kar pa se mi > zdi, da je nekako splošno znano, zaradi česar se mi zdi skoraj odveč > omenjati. > > Prof. v videu omenja zaskrbljujoče destvo, kako zelo se še vedno povečuje > prebivalstvo ZDA, pozablja pa omeniti, da je to večinoma posledica > priseljevanja, ki pa k rasti svetovnega prebivalstva seveda ne prispeva. > >> Ni problem samo v populaciji, ampak tudi v energiji. > > Energetski problemi povezani s pomanjkanjem fosilnih goriv so res bolj > zaskrbljujoči, zaradi česar pa se k sreči že marsikaj dela na tem, da bo naš > prehod v obdobje po tem, ko jih ne bo več ekonomično izkoriščati, kolikor > mogoče gladek. Razvijajo se nove tehnologije, ki omogočajo boljše > izkoriščanje virov in učinkovitejšo uporabo energije, ogromno se vlaga v > razvoj sončnih celic, vetrnih elektrarn, nizkoenergijskih hiš, novejših > fisijskih reaktorjev, morda bodo tudi nekonvencionalne raziskave fuzije > obrodile kake sadove... Če bi se razmere zaostrile, pa lahko začnemo tudi > mnogo bolj drastično varčevati z nafto, ki bo tako v prvi vrsti namenjena > proizvodnji hrane in se ne bo v takšnih količinah kurila za "skoke na > Havaje", kot se to dogaja sedaj. > > Seveda se strinjam s tem, da eksponentna rast porabe energije dolgoročno ni > vzdržna - navsezadnje celo pri razširjanju s hitrostjo blizu svetlobne svoj > volumen (in s tem možnosti pridobivanja energije) povečujemo le s kubično > funkcijo, ki jo eksponentna sčasoma še vedno ulovi in prehiti. Takšen izid > pa nikakor ni nujen: eksponentna rast lahko podobno kot pri prebivalstvu > začne pešati že mnogo preden nam začenja iti za nohte in se tako elegantno > ognemo maltuzijanskim zaključkom. Glavni razlog za intenzivno rast v > energetski porabi danes leži v razvijajočih se državah in nekako nimam težav > predstavljati si, kako podobno kot na Zahodu njihova poraba doseže vrh, nato > pa zaradi učinkovitejših tehnologij počasi stagnira. > > V videu je tudi omenjeno, da naj bi "peak oil" dosegli že pred nekaj leti, > kar se je izkazalo za napačno. Z nekaj pomoči Googla sem hitro našel tudi > naslednjo stran: "Singularity Technology is Not Needed to Push Peak Oil Past > 2040" > http://nextbigfuture.com/2010/01/singularity-technology-is-not-needed-to.html > > Časa za prehod je torej še dovolj, tudi če se ne zanašamo na napredne > bio/nano/cogno tehnologije... > >>> ter pri tem ne bi uspeli razviti tehnologij, ki bi nam kot prvo >>> dovoljevale razširitev po vesolju ter kot drugo praktično neomejene >>> vire energije že na samem planetu. >> >> Kje so te tehnologije? Meni so se bolj oddaljene kot AI. Kaj energijo >> bodo proizvajale kar iz nica? Potovali bomo po vesolju brez da bomo za >> to potrebovali energijo? Dvomim, da lahko potujemo po vesolju in pridemo >> nazaj in smo v plusu z energijo, ki smo jo za vse to porabili. > > Em... ne vem no, ampak meni se te stvari zdijo precej očitne. Že danes imamo > recimo na voljo jedrske reaktorje, ki lahko rešijo naše energetske potrebe > vse do daljne prihodnosti, v razvoju pa so tudi novejši, 'breeder' reaktorji > (http://en.wikipedia.org/wiki/Generation_IV_reactor), katerih goriva ne bo > zmanjkalo praktično nikoli. > > Pri klasični, termonuklearni fuziji kakršno raziskujejo v Franciji, stvari > niso tako obetavne, ker je težko videti, kako bi bila zadeva lahko kdaj > ekonomsko upravičena, vendar obstajajo tudi druge oblike fuzije, ki bodo > morda kdaj delovale... in ne, ne bodo prizvajale energije kar iz nič. E = > mc^2 še vedno velja. ;) > > Potem imamo tudi biotehnologijo: ravno pred kratkim je svet obkrožila novica > o umetno ustvarjenem genomu, ki so ga vstavili v neko bakterijo. Ideja je v > tem, da bi na takšen način sprogramirali mikoorganizme z namenom, da nam > proizvajajo energijo. Kot je omenil Craig Venter (vodja ekipe, ki ji je > uspelo omenjeno) imajo že sedaj pogodbo z neko naftno družbo v vrednosti 600 > milijonov $, da ustvarijo takšne bakterije. > > Področje nanotehnologije bo tekom naslednjih desetletij lahko proizvedlo > izjemno poceni sončne celice, ki bi jih tako lahko vgrajevali (kot neke > oblike barvo, če me spomin ne vara) kar v samo kritino in fasade stavb (bi > moral poiskati link, kjer so te stvari opisane, samo se mi trenutno odkrito > rečeno ne da). Sicer pa že sedaj cene teh celic stalno padajo, medtem ko > učinkovitost novejših modelov, ki jih stalno razvijajo, seveda raste... > > O transportu energije skozi vesolje: lahko uporabimo recimo laser in na > takšen način zelo učinkovito prenašamo energijo, kar je bil mimogrede tudi > eden izmed predlaganih načinov za prenos energije med ogromnimi polji > sončnih celic v Zemljini orbiti in njenim površjem (še ena možnost za > rešitev naših energetskih potreb). > > Na teh problemih se res ogromno dela in našlo se je tudi že mnogo rešitev, > proces iskanja katerih pa bo še mnogo hitrejši, ko nam uspe dvigniti nivo > naše inteligence (kar pa je področje, ki me osebno mnogo bolj zanima :)). > >>> če le pomislim na sredstva, ki jih potrebujemo za to, da sprožimo >>> eksplozijo inteligence: nekaj malega elektrike, da poganja naše >>> mlinčke, ter solato in oreščke, da nahranimo programerje. ;) Nič kaj >>> takšnega, kar bi nam lahko zmanjkalo kot posledica energetske krize. > >> No, za eksplozijo inteligence mogoce potrebujemo le to malo. Ampak za >> to, da nam bo zmanjkalo surovin in da bomo prenaseljeni, pa ne >> potrebujemo nic. V resnici ce ne bomo nic naredili, da bo to zgodilo. Ce >> bomo samo cakali, se bo to zgodilo. Pri AI moramo vsaj nekaj se narediti. > > Če ne bomo nič naredili, do prenaseljenosti ne bo prišlo, kot sem omenil že > višje. Za rešitev energetskih problemov pa res moramo malo pljuniti v roke. > :) > > Vendar je to 'beside the point'. Če nam uspe sprožiti ekplozijo inteligence > v centru katere je Friendly AI, so vsi ti problemi povsem postranski - > prijazna superinteligenca na naši strani jih zlahka reši. Torej, tudi če se > na nek način znajdemo v stanju hude energetske krize, se iz njega še vedno > lahko izvijemo vsaj na omenjeni način. > >>> Sez who? [da smo že sedaj preobsežni na tem planetu] >> >> Poglej video. >> Sicer pa je meni dovolj pogledati okoli sebe. ;-) Torej koliko smetimo, >> koliko onesnazujemo, koliko energije porabljamo, glede na to, koliko nas >> je. > > Mislim, da so pred kake pol stoletja, ko nas je bilo okoli 3 milijarde, > mnogi govorili enako in najbrž tudi že mnogo prej, ko nas je bilo krepko pod > miljardo. Kot pa vidimo danes, pri skoraj 7 miljardah ljudi svet še vedno > stoji in ljudje živijo v povprečju bolje kot v preteklosti. Bi me pa > zanimalo, koliko bi nas moralo biti, da bi se prof. z videa strinjal s tem, > da nas je ravno prav - milijarda? 100 milijonov? Toliko, kolikor nas je bilo > pred 100 tisoč leti, na samih začetkih naše vrste? > > Se pa strinjam, da je potrebno še zmanjšati onesnaževanje in povečati > energetsko učinkovitost in kolikor vem, se z menoj strinja vsaj še 250 tisoč > ljudi, s katerimi smo nedavno čistili naš košček Zemlje. :) > >>> Če pustim ob strani vprašanje kaj misliš s svobodno voljo (*), bi me >>> zanimalo ali tvoj zaključek izvira iz ideje, da bolj zaupaš >>> (superinteligentni oz. supermoralni?) AI, da je poiskala pravilen >>> odgovor na vprašanje "kaj je prav?", kot vsem ljudem, ki si ne želijo >>> umreti? >> >> Kje pa sem napisal, da bo njihov odgovor pravilen? Oziroma pravilen >> glede na katera merila? Jaz pravim, da bo tudi to legitimna moznost. >> Tako kot je tudi nasa, ko se pobijamo med seboj. Si je verjetno nihce ne >> zeli, ampak ce imas svobodno voljo, imas tudi to moznost. Mi si jo >> pripisujemo. Zakaj si je ne bi tudi oni? > > Kar se tiče metaetičnih stališč sam spadam med kognitiviste: zame imajo > vprašanja o tem, "kaj je dobro"/"kaj je prav", pravilne in napačne odgovore. > Merila, po katerih sodimo odgovore, so vsebovana že v samem vprašanju. Ko > omenjaš, kako se pobijamo med seboj, bi tako rekel, da so skoraj vedno naše > odločitve, ki vodijo k takšnim dejanjem, (reflektivno gledano) zmotne - če > bi bili pametnejši, modrejši itn., tega ne bi počeli. > > Kakorkoli že, AI seveda lahko ima svobodno voljo ter lahko na podoben način > kot mi sprejme v mojem pogledu slabo/zmotno odločitev, da nas iztrebi (če > ima motivacijski/moralni sistem izomorfen našemu), oziroma lahko sprejme to > odločitev kot podcilj svojega končnega cilja razrešiti kak obskuren > matematični problem (njen motivacijski sistem se tule močno razlikuje od > človeškega). Vendar takšne AI si menda ne želimo ustvariti, mar ne? > > Odkrito rečeno mi ni čisto jasno kaj želiš povedati s tem, da bi bilo čisto > legitimno, če nas AI želi iztrebiti. Edina dobrohotna interpretacija, ki sem > jo poskušal najti, je očitno napačna... kaj torej? Da se ti zdi pač ok, če > se AI tako odloči!? Da bi bilo njeno željo treba upoštevati? > >> Jaz zelo dvomim, da nekaj tako kompleksnega, kot je AI, je lahko >> zasnovano. Ampak v redu. > > Imaš kako drugačno idejo kako ustvariti AI? ;) > >>> mislim da bi upravičeno pomislil, da smo enostavno naredili neko >>> napako pri zasnovi sistema. >> >> Ne razumem tocno, zakaj bi to upraviceno mislili? Kaj pa ce je to res >> najboljse za clovesko vrsto, ce gledas vse faktorje? Koliko ljudi trpi, >> koliko unicujemo naravo okoli, koliko drugih zivali pobijamo in >> iztrebljamo ... Mogoce se lahko res izracuna, da bi najvec prispevali, >> ce nas ne bi bilo. > > Glede na to, da sem transhumanist, težko rečem kaj drugega, kot da se mi zdi > to skrajno malo verjetno. Vsi ti problemi, ki jih omenjaš, so rešljivi brez > da bi bilo za to potrebno izbrisati človeštvo z obličja Zemlje. Morda nam za > to manjka inteligence in modrosti, vendar je tudi to mogoče popraviti - samo > spet ne tako, da enostavno izginemo. > >>> Še vedno namreč bolj zaupam svojemu moralnemu razmisleku, da dobre >>> prihodnosti vsebujejo ljudi oz. tisto, v kar bi se razvili (občasno >>> se uporablja izraz 'postčloveštvo'), kot pa da enostavno vsi skupaj >>> umremo. >> >> Ker je tvoja pozicija antropocentricna. Ne gledas moralno nevtralno, >> ampak moralo vezes le na doloceno vrsto bitij. S tem je tezko govoriti o >> moralnosti taksnih odlocitev. Enako so delali tudi belci napram crncem, >> kjer so jim pac odvzeli clovecnost in s tem potesili svojo moralo. >> >> Moralo ne mores vezati le na eno skupino bitij, se posebej ne, ce >> govorimo o samozavedajocih se bitjih oziroma bitjih z zavestjo. > > Sem že omenil, da sem transhumanist? :) To pomeni, da objekti moje morale > niso le ljudje, temveč samo-zavedajoča se bitja v splošnem (nekatere živali, > računalniški programi ipd.) in ker se imam tudi za preferenčnega > utilitarista, poskušam v svoji presoji upoštevati tudi želje drugih takšnih > bitij. Je pa iz te skupine vseeno izvzeta večina optimizacijskih procesov - > nikakršnega namena nimam npr. pomagati hipotetičnemu optimizatorju št. sponk > za papir (http://wiki.lesswrong.com/wiki/Paperclip_maximizer), ki nas želi > iztrebiti - le zakaj bi mu!? Ali pa upoštevati preference virusov ebole - > sicer nimajo svobodne volje, vendar ne vidim bistvene razlike med njimi in > AI, ki v vsej svoji svobodi sklene, da je čas za naše izumrtje. Podobno tudi > ne mislim ugoditi želji t.i. kultov smrti, ki delajo v smeri našega > izginotja, kljub temu da gre za soljudi - enostavno se motijo in čas bi že > bil, da odrastejo. > >>> Preprostejša interpretacija tvojih besed pa je, da smo preprosto >>> ustvarili AI, katere moralne vrednote se ne skladajo z našimi >> >> Glede na to, da se bo po mojem taksen AI moral uciti iz neke druzbe, se >> bo vsaj na zacetku ucil iz nase. Zato malo dvomim, da ne bo delil tako >> dobrih kot slabih nasih znacilnosti. > > Ko bi bile stvari vsaj tako preproste... > > Če AI nima že vgrajenega motiva za to, da prevzame naše družbene norme in > vrednote, jih jasno tudi ne bo. Spoznal bi delovanje našega sveta in ga nato > poskušal usmerjati v smeri svojih ciljev, ki pa bi bili praktično zagotovo > sila drugačnih od tega kar mi poimenujemo 'dobro'. > >>> Bojim se, da je v tehle besedah mnogo preveč antropomorfizma. >> >> Ne. Le izvira iz tega, da se mi zdi, da ponavadi ljudje uspemo pri >> tistih stvareh, kjer prvo posnemamo naravo. Torej bomo pri AI (na >> zacetku) posnemali cloveka in bo zato podoben cloveku. > > Če imaš s tem v mislih projekt 'uploadanja' človeških možganov, pri katerem > dejansko ustvarimo njihovo emulacijo in rezultirajoči sistem dobi pač vse > človeške lastnosti, bi se s tvojim sklepanjem še strinjal. Vkolikor pa gre > za 'de novo' AI, pa mislim, da se sploh ne zavedaš kako izjemno težko bi > bilo sprogramirati AI, ki bi se obnašala kot človeški otrok. Če imaš čas, ti > predlagam, da si prebereš kako delo evolucijske psihologije za obris > fantastične kompleksnosti adaptacij, ki nas delajo to kar smo. Ker je cilj > raziskovalcev ustvariti nekaj inteligentnega in ne ravno ustvariti še enega > otroka (čeprav bi bil ta digitalen), bi marsikatero izmed teh adaptacij, ki > so nastale kot posledica našega dolgega lovsko-nabiralniškega življenja, > lahko izpustili ali implementirali v poenostavljeni obliki, samo rezultat > tega potem ne bi bila več inteligenca s človeškimi lastnostmi... > > Poleg tega dvomim, da bomo ustvarili AI kot rezultat posnemanja ljudi. > Podobno kot pri 'umetnem letu' moramo razumeti principe inteligence in jih > nato prenesti v drugačno obliko. Tako kot letala nimajo peres, tudi AI ne bo > poznal lenobe. > >>> V nasprotju s človeškim otrokom AI dejansko je nepopisan list: >> >> Glede na to, da se nimamo ravno delujocih sistemov, je tezko govoriti >> kaksen je AI. Mogoce ugotovimo, da ne "deluje", ce ni vsaj malo popisan, >> z recimo nekimi osnovnimi lastnostmi, ki bi ustrezale nasemu >> temperamentu in podobnim lastnostim. > > Kot prvo, prostor vseh inteligentnih sistemov je ogromen in kakšne so > možnosti za to, da so neke posebnosti človeške inteligence - za katere poleg > vsega vsaj približno vemo kakšne evolucijske sile so jih oblikovale - nujna > sestavina vsake inteligence? Sila, sila majhne. > > In kot drugo, če pri snovanju AI izpustimo le eno izmed lastnosti, ki je > univerzalno prisotna pri zdravih ljudeh, hitro zaidemo v področja, ko je > sistem hudo drugačen od ljudi. Morda bi ga lahko označili za psihopatskega, > čeprav mislim, da enostavno nimamo pravih besed, da bi ga opisali kaj dosti > drugače kot da je preprosto čuden. > > Poleg tega ne potrebujemo nujno delujočih AI sistemov, da bi lahko govorili > o njihovih lastnostih. Analogija z letalom ponovno pride prav tule: še > preden je poletelo prvo letalo, so bili opravljeni določeni izračuni in > ugotovljenega je bilo mnogo o njihovi obliki in drugih njihovih lastnostih - > vse brez da bi imeli pred očmi delujoče letalo. Z dobrim poznavanjem teorije > je mogoče predvideti marsikaj... sicer tega tudi ne moreš zgraditi. > >>> se v njem ne bodo po nekem čudežu spontano pojavile kar same od sebe. >> >> Si preprican? Po mojem to izhaja iz precej osnovne zdruzitve >> samoohranitvenega nagona in moznosti vzivetja v drugo osebo. Ko to >> posplosis, prides do zlatega pravila. > > Če si človek, ja, za veliko večino AI sistemo pa to ne velja. Zavedel te je > antropomorfizem. :) > > Drugače so določene lastnosti res univerzalne, npr. kovergentni podcilji med > katerimi se nahaja tudi samoohranitev: > http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ > > Možnost vživetja v drugega (t.j. empatija), ki lahko sproža tudi čustva in > vpliva na moralo, pa je naša posebnost. Evolucija je uspela najti dokaj > preprosto rešitev problema predikcije obnašanja drugih bitij in sicer tako, > da v neke oblike notranji simulaciji uporabljamo kognitivne 'organe', ki so > sicer izvor naših lastnih odločitev in dejanj, z 'vhodnimi podatki' dejstev, > ki jih poznamo o nekem bitju... Takšen proces deluje, ker običajno poskušamo > razumeti le druge ljudi, ki imajo identično kognitivno arhitekturo naši - ko > pa želimo predvideti delovanje AI sistemov, pa takšna strategija ne deluje, > kar vodi v omenjeno antropomorfično pristranost, katere žrtev si v mojih > očeh tudi ti. :) > > Bistveno je razumeti za kakšen namen in v kakšnem kontekstu je zevoluirala > neka naša kognitivna sposobnost in ko nam to uspe, postane očitno, da > običajno ne gre za univerzalno potrebno sestavino vseh inteligenc, temveč le > za neko našo posebnost. > >> Naslednje vprasanje se postavlja, zakaj mislis, da so te stvari pri >> ljudeh prirojene in ne pridobljene iz druzbe? > > Ah, 'nature vs. nurture' debata. Da lahko ljudje pridobimo sploh karkoli iz > družbe, moramo imeti prirojene mehanizme, ki nam to tudi omogočajo. :) > > Od kod recimo izhaja dejstvo '2+3=5', ki ga hrani večina naših možganov? > Evolucija je v nas zapustila adaptacije, ki nam omogočajo, da se naučimo > takšnih reči, poleg tega pa imamo vgrajene tudi precej 'matematične > intuicije', s pomočjo katere jih lahko pričenjamo razumeti. V tem, > natančnejšem smislu, je torej to dejstvo pridobljeno. Kaj pa npr. čustva? Ta > pa so delčki kognitivne vsebine, morda bi bilo dobro reči kar skripte, ki > jih je napisala evolucija. > > Ideja, relevantna za razumevanje AI, je tule sledeča: brez nekih > (eksplicitno ali implicitno) vgrajenih motivacijskih mehanizmov bo AI samo > stala tam in ne bo naredila prav ničesar - v njenem miselnem procesu se ne > bo spontano pojavila niti želja po modeliranju sveta, kaj šele po učenju in > prevzemanju moralne kulture iz svoje okolice. Da bi AI sprejela naše > vrednote, si mora tega že v sami osnovi želeti, mora biti zgrajena tako, kar > pa je ena izmed poenostavljenih formulacij FAI problema. > >> Splosen AI po mojem najverjetneje bo [zasnovan enako kot človeška >> inteligenca]. >> Ampak to bomo videli. Je oboje le spekulacija. > > Če se emulacije naših možganov (uploadi) pojavijo pred AI, potem to drži, > sicer pa se motiš. > >> Sploh se mi zdi to taksna super nedeljska tema: polno moznosti za >> spekulacije, polno moznosti za tako imenovano znanstveno argumentiranje, >> ki pa bolj meji na znanstveno fantastiko. Ampak ljudje imamo veliko >> razlicnih hobijev. Pac eni filozofi radi filozofirajo o enih "kaj ce", >> drugi pa pac o drugih "kaj ce". Moram priznati, da je tudi meni kdaj >> prijetno malo o tem klepetati. > > Špekulacija, ki je osnovana na kopici vsaj deloma relevantne znanosti in > najboljše filozofije, je, če nič drugega, vsaj dobra špekulacija. Poleg tega > vedi, da nekateri ne jemljemo teh stvari kot zabavni filozofski hobi. > Obstajajo kar dobre možnosti za to, da bo precizno razumevanje inteligence > eden izmed odločujočih faktorjev v prihodnjih desetletjih pri tem, ali bo > človeštvo preživelo to stoletje ali ne. Poskusi dobrih špekulacij pa so > začetek takšnega razumevanja... > > Mimogrede, si že prebral "Artificial Intelligence as a Positive and Negative > Factor in Global Risk"? > http://singinst.org/upload/artificial-intelligence-risk.pdf > > >>> Ni si težko predstavljati, da kako večje podjetje zgradi svoj AI recimo >>> za namen trgovanja z vrednostnimi papirji in ga pri tem načrtuje tako >>> splošno, da lahko vsrka vase in razume ogromne količine informacij z >>> interneta, vse z namenom čim natančnejšega napovedovanja in vplivanja na >>> borzne krivulje. Kognitivna dinamika takšnega sistema ne vsebuje nobenih >>> čustev, senzorne modalnosti se le slabo ujemajo s človeškimi, teorija >>> uma je pri njem le prediktivno orodje brez kake možnosti preko empatije >>> vplivati na moralne razsodbe, ki pa jih tako ali tako ne izvaja, saj >>> sledi le enemu samemu cilju - povečanju dobička z igranjem z >>> vrednostnimi papirji ter kasneje, če njena inteligenca dovolj naraste, >>> tudi z "realnejšim svetom". Gre za sistem s kognitivno arhitekturo, ki >>> se močno razlikuje od človeške, in pri njem nam samoumevna recipročna >>> logika "če se bom lepo obnašal do njega, se bo tudi on do mene" nima >>> nikakršne veljave. >> >> Si prevec gledal Terminatorja. > > Brez skrbi, mi je dobro poznana logična napaka posplošitve na osnovi > izmišljenih dokazov. ;) > http://lesswrong.com/lw/k9/the_logical_fallacy_of_generalization_from/ > >> Zal mi je, ampak jaz zelo zel dvomim, da >> se lahko nekaj kar tako zgodi, brez da bi pred tem bilo veliko neuspehov >> in prez da bi pred tem opazali, da se stvari dogajajo. Torej taksen >> scenarij se bo zgodil le, ce bo ta korporacija to dopustila in na tem >> intenzivno delala (recimo z dograjevanjem opreme in placevanjem vedno >> vecjega racuna za elektriko, bolj bo ta sistem rastel). > > Sem morda zg. trdil kaj drugega? ;) > > Poskušal sem vsaj v grobem orisati nek sistem, ki se močno razlikuje od > ljudi, vendar je vseeno zelo inteligenten, nisem pa rekel ničesar o tem, > kako bi takšen sistem zgradili. > > Mimogrede, drugače bi zagovarjal idejo, da v določenem trenutku kognitivnega > razvoja sistema pridemo do točke, ko je ta sposoben rekurzivne > samo-izboljšave in njegova sposobnost brez posredovanja programerjev izjemno > naraste vse do meja superinteligence. > >>> Em... bi lahko pojasnil, kaj je zavest, t.j. kakšni kognitivni algoritmi >>> so potrebni da nek sistem ima zavest? Ker sem precej prepričan, da tega >>> ne zmoreš - saj je, kolikor mi je znano, to še nerešen problem - bi me >>> zanimalo, od kod prepričanje, da AGI ne more delovati brez te neznane >>> mešanice algoritmov? >> >> Hm. Definiraj "delovati"? > > Well, naturalistična definicija inteligence gre nekako v slogu učinkovite > preko-domenske optimizacije > (http://lesswrong.com/lw/vb/efficient_crossdomain_optimization/), tako da > AGI 'deluje' pač tedaj, ko je zmožen takšne optimizacije. Če je njegova > optimizacijska moč že dovolj velika, bi nam lahko rešil kak težji problem, > recimo kar problem staranja, ki ga tako lahko uporabimo kot enega izmed > testov za transhumano inteligenco. Ko pa je njegova inteligenca pod oz. > okoli človeškega nivoja, pa so stvari malo bolj zapletene, ampak vseeno ne > tako zelo: uporabimo kup raznih testov, od igranja računalniških in drugih > iger do kakšne kompresije podatkov ipd. > >> Mogoce pa jaz narobe razumem definicijo AGI. V >> vsakem primeru: ne, ne morem ti se pojasniti vse te algoritme, ker jih >> se pisem. Mogoce kdaj drugic. > > Te bom čez čas spomnil. ;) > >> In moje vera pac izvira iz mojih preliminarnih poskusov na tem podrocju. >> Je pa predvsem "stava". Pac jaz stavim na to obliko in da je to >> potrebno. Mogoce kaj uspem, mogoce ne. Verjetno kdo drug, ki to >> raziskuje, pa stavi na kaj drugega. > > Ne bi bilo bolje vložiti nekaj časa v temeljitejši racionalni razmislek (ki > bi ti pokazal, da je tvoja 'stava' slaba)? > > Se pa sprašujem, če in v kakšnem razmerju bi bil pripravljen staviti , da je > tisto kar imenujemo 'zavest' nujno potrebna sestavina vsake inteligence, > torej tudi AI. Meni se čisto poštena stava zdi že mojih 100 EURO proti tvojemu > 1 EURO (če zmagaš torej dobiš 100 EURO, sicer pa izgubiš enega samega). > >>> Sklepanje pri katerem premetavaš neke nerazumljene črne škatle je sicer >>> popularno med mnogimi filozofi, vendar vse preprogosto vodi v popolnoma >>> zgrešene zaključke in žal se mi zdi, da gre pri tebi ravno za to. >>> Must be more careful. :) >> >> Jaz ne vlecem nobenih zakljuckov. Tako da zato pri meni ne gre za to. :-) > > Malo višje si zapisal, da "staviš na to, da je zavest potrebna za > inteligenco" - v kakšnem smislu tule ne gre za nek zaključek, na katerem > baziraš svoja dejanja!? > >> Ti vleces zakljucke na podlagi spekulacij. > > Verjamem, da dajem takšen vtis. Vendar zavedaj se, da so nekateri ljudje, > katerih dela prebiram, vložili ogromen trud v to, da so preštudirali > prosvetljenske širjave znanosti in se posvetili celo razvoju boljših > epistemoloških temeljev in praks, vse z namenom poiskati dobre odgovore na > nekatera izmed vprašanj o katerih tule govoriva ter v končni fazi, za > rešitev FAI problema. Niti malo ne zamerim, če poimenuješ moje bežne > komentarje za špekulacije, saj je velika večina sklepanja, ki jih podpira, > pač skrita, ne zdi pa se mi pošteno, da enak status pripisuješ tudi temu > sklepanju, ki pa ga na žalost res očitno še ne poznaš... > >> Jaz se vecinoma zavedam, da >> ne morem z gotovostjo (niti veliko verjetnostjo) trditi niti enega niti >> drugega. Edino kar lahko trenutno z gotovostjo (oziroma veliko >> verjetnostjo) o prihodnosti trdim je, da nam bo zmanjkalo virov >> energije, kar se bo se bolj poznalo zaradi velike populacije ljudi. To >> lahko govorim zaradi omejene kolicine teh virov in zaradi stalne rasti >> porabe teh virov. >> >> Zato je zame to veliko bolj konkretna nevarnost. > > Tudi tule se (z visoko verjetnostjo) motiš. > > Se pa sprašujem, če ob teh svojih besedah sploh pomisliš na posledice in > verjetnosti, ki vodijo do njih ter oboje združiš v pričakovano korist (EU - > expected utility). Konsekvencialistično razmišljanje ti gotovo ni tuje, tako > da se res čudim, kako ne vidiš tega, da celo dokaj majhna možnost, da recimo > unFriendly AI privede do eksistenčne katastrofe, ni nekaj, kar je potrebno > nujno preprečiti - oz. v bolj pozitivni luči, kako FAI lahko prinese rešitev > vseh rešljivih problemov in s tem dejansko prihodnost svetlejšo od naše > domišljije. Celo majhna možnost, da nam uspe ustvariti FAI bi potemtakem > morala biti razlog za to, da moramo nujno poskusiti - celo že pozabimo > nevarnosti uFAI, ki se vali nad nas v prihodnjih desetletjih in nas sili k > temu, da moram ta problem enostavno rešiti. > > Virov energije nam po drugi strani skoraj gotovo ne bo zmanjkalo, saj nam v > sili razmer še vedno ostaja jedrska energija, sploh pa se danes že velik del > sveta vrti okoli alternativnih virov energije in vlaga vanje ogromna > sredstva. Po drugi strani se s FAI problemom ukvarja le peščica ljudi in > tudi to je razlog, da bi mu moral (osebno) nameniti več pozornosti, saj na > tem področju lahko opraviš več marginalne koristi. Kjer milijon rok koplje > umetno jezero bodo tvoje roke naredile le malo dodatne koristi, če pa > pristopiš k problemu, s katerim se ukvarja le peterica, bo tvoj prispevek > mnogo večji. > > Uf, rekordno dolg mejl. Če prideš do konca, te mogoče povabim na pijačo (p ~ > 0.5). ;) > > Rok > >
