Re: [Talk-ee] Eesti kaart ei tööta
Neil skriptidel on see probleem, et keegi peab nad valmis kirjutamine (ja läbitestimine), ja see on kordades suurem töö kui käsitsi käsud läbi käia. Ka netis olevatel skriptidel/juhenditel on paha komme kiirelt vananeda. Ikka tahaks viimast Postgre versiooni kasutada, mitte paari aasta vanust. Õnneks on tänapäeval olemas nelja-käsu skipt http://www.mail-archive.com/talk@openstreetmap.org/msg40128.html mod_tile tileserveri jaoks, ja mapserveri ülespanek on üks installikäsk ja siis ka konfifailide (apache, kujundus jms) tegemise teema. Kindlasti tuleb teha korralik backup, sest eelmine kord konfifailide nüansside uuesti leiutamine ja käsitsi modimine oli üsna piinarikas. Jaak On 07.11.2011, at 12:08, Margus Väli wrote: > Jõuame selle pilvedemagoogiani, et näpuga ei tehta > midagi vaid masinad tulevad ikka skriptidega nullist ise > üles kui on vaja parki üles skaleerida või katastroofist > väljuda. > > Mis puudutab minu ressurssi siis seda on vbl ainult Mapniku > vms. asja uurimisel ja sedagi suht olematus mahus nagu elu > on näidanud viimasel paaril nädalal. RAID on selline asi mida > ma pm-lt väldiks hajusate duplitseeritud blade-serveri lahenduste > kasuks, aga ega ma nendest ka suurt midagi ei tea :) > > mv > > Ühel kenal päeval, E, 07.11.2011 kell 11:43, kirjutas Jaak Laineste > (Nutiteq): >> >> Üks asi mida ma praegu ei teeks on masina järjekordne >> ümberinstallimine. Selle OSM jaoks vajaliku tarkvarastäki kokkupanek >> on võtnud mul ikka mitmeid unetuid öid ja seda olen juba mitu korda >> uuesti teinud. Kui jätta teised toimivad kettad nagu nad on, ja >> baaskonf on rahuldav, siis ei ole see vist hädavajalik? > > > ___ > Talk-ee mailing list > Talk-ee@openstreetmap.org > http://lists.openstreetmap.org/listinfo/talk-ee ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Jõuame selle pilvedemagoogiani, et näpuga ei tehta midagi vaid masinad tulevad ikka skriptidega nullist ise üles kui on vaja parki üles skaleerida või katastroofist väljuda. Mis puudutab minu ressurssi siis seda on vbl ainult Mapniku vms. asja uurimisel ja sedagi suht olematus mahus nagu elu on näidanud viimasel paaril nädalal. RAID on selline asi mida ma pm-lt väldiks hajusate duplitseeritud blade-serveri lahenduste kasuks, aga ega ma nendest ka suurt midagi ei tea :) mv Ühel kenal päeval, E, 07.11.2011 kell 11:43, kirjutas Jaak Laineste (Nutiteq): > > Üks asi mida ma praegu ei teeks on masina järjekordne > ümberinstallimine. Selle OSM jaoks vajaliku tarkvarastäki kokkupanek > on võtnud mul ikka mitmeid unetuid öid ja seda olen juba mitu korda > uuesti teinud. Kui jätta teised toimivad kettad nagu nad on, ja > baaskonf on rahuldav, siis ei ole see vist hädavajalik? ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Väga vinge. Üks asi mida ma praegu ei teeks on masina järjekordne ümberinstallimine. Selle OSM jaoks vajaliku tarkvarastäki kokkupanek on võtnud mul ikka mitmeid unetuid öid ja seda olen juba mitu korda uuesti teinud. Kui jätta teised toimivad kettad nagu nad on, ja baaskonf on rahuldav, siis ei ole see vist hädavajalik? Maksimum võiks olla 11.10-le Ubuntu distro uuendus dist-upgradena, see kergendab OSM tarkvara-pinu kompileerimist sest seal on Boost jms olulised sõltuvused juba piisavalt uute versioonide peal. Jaak Kuupäeval 7. november 2011 11:25 kirjutas Margus Värton : > Hoi, > >> : >>> >>> Kontroller ei ole riistvaraline ... tarkvara kontroller md raid >> >> Tarkvaralist olen hallanud, suhtleme. > > See ketaste jama ei ole mingi uudis ning selle juurikas võib olla emaplaadil > olevas kettakontrolleris. Emaplaat on AMD prosede ja chipsetiga ning ehkki > see on väga äge server, tunduvad sellel olevad mingid ühilduvusprobleemid > Ubuntu kerneliga. > > Ma julgen arvata, et nii Jaak, Andres kui mina võime RAIDi tasemete kohta > ka ise loenguid pidada. On tõsi, et andmeliiasus on vajalik, kuid me peame > vaatama ka eelarveid. Kui keegi tunnneb, et tal on kiireid SAS kettaid üle > ning tahab neid meile annetada, siis võtame need rõõmuga vastu. Seni aga on > kasutusel kaks straibitud 15k SAS ketast andmebaasiks ning see on tõesti > jubekiire ja stabiilne kah. SAS ketastega ei ole mingeid jamasid olnud, > nendega on elu lill. SATA kettaid on neli, minu mäletamist mööda > terabaidised. Need on mõeldud tileseti jaoks ning need on need kettad, mis > käntsavad ning viivad masina enesega kaasa. Kõik kettad on ühendatud > emaplaadil oleva kontrolleri külge ning nagu öeldud, on RAID tarkvaraline. > Praegu ei ole põhjust arvata, et surnud oleksid kettad ise - see avalduks > enne mingi kernelipaanikana, mitte paukse kokkukukkumisena. > > Praegu on plaan selline - kolmapäeval kl 12 tuleb serveri juurde Mees Kellel > On Kontroller. See kontroller (LSI2108) paigaldub serverisse ning kogu > masinale tehakse uus install, nullist. Oleks VÄGA hea, kui selle installi > viiks läbi keegi, kes selle serveri hoolduses tulevikus osaleb - Andres, > Margus Väli? Seejärel tehakse uus import ning kui masin jääb stabiilseks, > väljastab Mees Kellel On Kontroller meile või meie sponsorile arve ning meil > ongi server, mis riistvaraliselt rahuldab meid hulk aastaid. SSD võib > järgmisse aastasse plaani võtta, aga siis on vaja taas üks ring müts peos > ringi käia. Seni kuni vesi Taimaal ei alane, ei ole põhjust mitte mingit > salvestuspinda juurde soetada, see on lihtsalt arutult kallis. Pealegi on > äärmiselt tõenäoline, et Linuxisse tekib mõni toimiv deduppiv failisüsteem > ning see võimaldaks kettamahtu mitmekordistada, mis kaotaks igasuguse > vajaduse lisapinna järele. > > Minu ettepanek on esimeses lähenduses teha imposm + Mapserver + mapproxy > install ning käivitada teenused WMS põhjal. Kui imposm areneb sellise hooga > nagu seni, on peatselt loota diffide tuge ning üks põhjus Mapniku baasil > tilesetti genereerida kaob ära. Seega pole mõtet Mapniku sõltuvustega ega > osm2pgsql aeglusega enese pead vaevata. Seni teeme iganädalase impordi. Kui > tahame enese loodetavasti äärmiselt stabiilset rauda mingil viisil > koormata, siis võib Mapniku ja osm2pgsql millaski juurde panna, kuid alles > pärast põhjalikku testimist testserveris. > > Edu, > > - M - > > ___ > Talk-ee mailing list > Talk-ee@openstreetmap.org > http://lists.openstreetmap.org/listinfo/talk-ee > -- Jaak Laineste ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Hoi, : Kontroller ei ole riistvaraline ... tarkvara kontroller md raid Tarkvaralist olen hallanud, suhtleme. See ketaste jama ei ole mingi uudis ning selle juurikas võib olla emaplaadil olevas kettakontrolleris. Emaplaat on AMD prosede ja chipsetiga ning ehkki see on väga äge server, tunduvad sellel olevad mingid ühilduvusprobleemid Ubuntu kerneliga. Ma julgen arvata, et nii Jaak, Andres kui mina võime RAIDi tasemete kohta ka ise loenguid pidada. On tõsi, et andmeliiasus on vajalik, kuid me peame vaatama ka eelarveid. Kui keegi tunnneb, et tal on kiireid SAS kettaid üle ning tahab neid meile annetada, siis võtame need rõõmuga vastu. Seni aga on kasutusel kaks straibitud 15k SAS ketast andmebaasiks ning see on tõesti jubekiire ja stabiilne kah. SAS ketastega ei ole mingeid jamasid olnud, nendega on elu lill. SATA kettaid on neli, minu mäletamist mööda terabaidised. Need on mõeldud tileseti jaoks ning need on need kettad, mis käntsavad ning viivad masina enesega kaasa. Kõik kettad on ühendatud emaplaadil oleva kontrolleri külge ning nagu öeldud, on RAID tarkvaraline. Praegu ei ole põhjust arvata, et surnud oleksid kettad ise - see avalduks enne mingi kernelipaanikana, mitte paukse kokkukukkumisena. Praegu on plaan selline - kolmapäeval kl 12 tuleb serveri juurde Mees Kellel On Kontroller. See kontroller (LSI2108) paigaldub serverisse ning kogu masinale tehakse uus install, nullist. Oleks VÄGA hea, kui selle installi viiks läbi keegi, kes selle serveri hoolduses tulevikus osaleb - Andres, Margus Väli? Seejärel tehakse uus import ning kui masin jääb stabiilseks, väljastab Mees Kellel On Kontroller meile või meie sponsorile arve ning meil ongi server, mis riistvaraliselt rahuldab meid hulk aastaid. SSD võib järgmisse aastasse plaani võtta, aga siis on vaja taas üks ring müts peos ringi käia. Seni kuni vesi Taimaal ei alane, ei ole põhjust mitte mingit salvestuspinda juurde soetada, see on lihtsalt arutult kallis. Pealegi on äärmiselt tõenäoline, et Linuxisse tekib mõni toimiv deduppiv failisüsteem ning see võimaldaks kettamahtu mitmekordistada, mis kaotaks igasuguse vajaduse lisapinna järele. Minu ettepanek on esimeses lähenduses teha imposm + Mapserver + mapproxy install ning käivitada teenused WMS põhjal. Kui imposm areneb sellise hooga nagu seni, on peatselt loota diffide tuge ning üks põhjus Mapniku baasil tilesetti genereerida kaob ära. Seega pole mõtet Mapniku sõltuvustega ega osm2pgsql aeglusega enese pead vaevata. Seni teeme iganädalase impordi. Kui tahame enese loodetavasti äärmiselt stabiilset rauda mingil viisil koormata, siis võib Mapniku ja osm2pgsql millaski juurde panna, kuid alles pärast põhjalikku testimist testserveris. Edu, - M - ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Kuupäeval 7. november 2011 11:37 kirjutas Andres Kaaber : > Kontroller ei ole riistvaraline ... tarkvara kontroller md raid Tarkvaralist olen hallanud, suhtleme. -- Joosep-Georg ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Kontroller ei ole riistvaraline ... tarkvara kontroller md raid Kuupäeval 7. november 2011 11:19 kirjutas Joosep-Georg Järvemaa : > Kuupäeval 6. november 2011 22:54 kirjutas Jaak Laineste : >> >> postgres@AMS-live:/storage/suur/data$ du -hs >> du: `./pg_stat_tmp/pgstat.stat' ei saa kasutada: Input/output error > [..] > > Selle pealt küll midagi ei ütle. > > Kontroller, ma saan aru, on riistvaraline? Siis peaks tolle > admin-liidesest vaatama, mis häda on. > > Ja paljalt kontrollerist andmete kaitseks ei piisa - peab olema ka > teatav paralleelsus: > > Raid-0 - 1+n kettast moodustatakse 1 suur, ükskõik millise ketta > riknemisel võib eeldada kõikide andmete riknemist > Raid-1 - 2*n ketast on "peeglis" - andmemaht S=0,5*s*n (pool ketaste > kogumahust, väikseimate poolte järgi, kuna andmed topelt) -- kiire > lugemine, aeglane kirjutamine > Raid-2 - (polevat kasutusel) 4 ketast andmetega, 3 ketast "vigade paranduseks" > Raid-3 - (haruldane) 3 ketast andmetega, 1 ketas paarsuskontrolliks -- > baidi tasemel, üsna aeglane > Raid-4 - (haruldane) 3 ketast andmetega, 1 ketas paarsuskontrolliks -- > bloki tasemel, aeglane > Raid-5 - 2+n ketast, paarsusinfo jagatud ketaste vahel, andmemaht > S=s*(n-1) -- ketastel ühtlane koormus > Raid-6 - 2+n ketast, paarsusinfo dubleeritud, andmemaht S=s*(n-2) -- > turvalisem kui arvukate ketastega raid-5 > > > Seega, kui andmed pole taastamatud ja nende taastamine on vaid > tülikas, soovitan kasutada raid-5'te, mis annab minimaalse 3 ketta > puhul andmemahuks 2 ketta mahu. Andmete taastamine muu allika põhjal > on sel juhul vajalik rohkem kui 1 ketta riknemisel. > > Kui aga andmed on unikaalsed, võiks kasutada raid-6'te, mis annab aga > ketaste kokkuhoiuefekti alates 5 kettast, ent andmed lähevad > taastamatult kaotsi alles vähemalt 2 ketta samaaegsel riknemisel. > > > > Eks teadjamad parandagu mind, > -- > Joosep-Georg > > ___ > Talk-ee mailing list > Talk-ee@openstreetmap.org > http://lists.openstreetmap.org/listinfo/talk-ee > -- A. Kaaber ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Kuupäeval 6. november 2011 22:54 kirjutas Jaak Laineste : > > postgres@AMS-live:/storage/suur/data$ du -hs > du: `./pg_stat_tmp/pgstat.stat' ei saa kasutada: Input/output error [..] Selle pealt küll midagi ei ütle. Kontroller, ma saan aru, on riistvaraline? Siis peaks tolle admin-liidesest vaatama, mis häda on. Ja paljalt kontrollerist andmete kaitseks ei piisa - peab olema ka teatav paralleelsus: Raid-0 - 1+n kettast moodustatakse 1 suur, ükskõik millise ketta riknemisel võib eeldada kõikide andmete riknemist Raid-1 - 2*n ketast on "peeglis" - andmemaht S=0,5*s*n (pool ketaste kogumahust, väikseimate poolte järgi, kuna andmed topelt) -- kiire lugemine, aeglane kirjutamine Raid-2 - (polevat kasutusel) 4 ketast andmetega, 3 ketast "vigade paranduseks" Raid-3 - (haruldane) 3 ketast andmetega, 1 ketas paarsuskontrolliks -- baidi tasemel, üsna aeglane Raid-4 - (haruldane) 3 ketast andmetega, 1 ketas paarsuskontrolliks -- bloki tasemel, aeglane Raid-5 - 2+n ketast, paarsusinfo jagatud ketaste vahel, andmemaht S=s*(n-1) -- ketastel ühtlane koormus Raid-6 - 2+n ketast, paarsusinfo dubleeritud, andmemaht S=s*(n-2) -- turvalisem kui arvukate ketastega raid-5 Seega, kui andmed pole taastamatud ja nende taastamine on vaid tülikas, soovitan kasutada raid-5'te, mis annab minimaalse 3 ketta puhul andmemahuks 2 ketta mahu. Andmete taastamine muu allika põhjal on sel juhul vajalik rohkem kui 1 ketta riknemisel. Kui aga andmed on unikaalsed, võiks kasutada raid-6'te, mis annab aga ketaste kokkuhoiuefekti alates 5 kettast, ent andmed lähevad taastamatult kaotsi alles vähemalt 2 ketta samaaegsel riknemisel. Eks teadjamad parandagu mind, -- Joosep-Georg ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
