Živjo, > ... da bi imeli od svojih > poskusov sploh kako korist, mora obstajati informacijski kanal ...
Ja, ampak lahko je enosmerni (od AI k tebi). Kar se tiče AI, lebdi v vesolju, in razen nje same ni ničesar več. Ti pa bereš podatke, in čakaš na trigger - AI se je reprogramirala v Zlodeja - in takrat, seveda ustaviš in zalaufaš debugger. > Če imaš v takšnem clusterju zaprto superinteligenco, lahko ta izkoristi že > samo > dejstvo, da je implementirana kot fizikalni proces ... Tukaj si predpostavil da ima AI dejansko precizno vedenje o fizikalnih značilnostih našega sveta (še bolj precizno, očitno, kot ga imamo mi sami), vedenje o tem kaj se dogaja okrog njenega clusterja (in to brez da bi imela kakršenkoli input iz okolice). Od kje ji to vedenje? Ni namreč treba, da ji ga damo, še vedno je lahko inteligentna, samo na fiziko se ne spozna. > Poleg očitnega zagotavljanja, kako zelo je Friendly (kar ji programer seveda > ne verjame), lahko zagrozi s tem, da bo zgradila podrobno simulacijo tisočev > programerjev in jih mučila, če je ne bo spustil na prostost. Ob tem ne > pozabi dodati, da je pričakovana korist tega dejanja še vedno močno > pozitivna, saj bi v zunanjem svetu lahko nato storila mnogo dobrega, kar bi > odtehtalo to (ne tako) malo zlo. Zdaj so stvari seveda odvisne od teorije > odločanja, ki jo uporablja programer ter njegovih filozofskih prepričanj, ki > zadevajo vprašanja o tem, ali se bo njegova simulacija zavedala sebe. Vseeno > pa obstaja kar dobra možnost, da bi marsikdo ob tem popustil pod pritiskom > in tako spustil Zlodeja s ketne. ;) Si kdaj pomislil da bi bil scenarist romantičnih komedij? To bo še večji hit kot Twilight: programer se zaljubi v zlobno AI, in jo izpusti; nevedoč, da ga bo takoj za tem pokončala division by zero napaka na njegovem mobilnem telefonu. Spet veliko predpostavk, ki so nam samoumevne, za AI pa zelo tuje. AI "živi" v svojem svetu, njeni edini vhodni signali so signali, ki ji jih je programer namenil. Recimo da je to: - dostop do pomnilnika - dostop do audio/video signala iz okolice (vem, če bi bil jaz programer, bi hotel da me vidi, svojega kreatorja) - In to je to. Nič več ne rabi, če je inteligentna, se lahko že s tem veliko nauči. Mogoče to res ni končni recept za superinteligenco, ampak mi pa izgleda dober vmesni korak. Jure
