Re: [Talk-se] PostgreSQL på openstreetmap.se

2016-11-03 tråd Fredrik Ramsberg 
Vacuum full *ska* skriva om hela innehållet i en tabell till en ny plats,
utan något onödigt tomrum, och sedan släppa det gamla utrymmet tillbaka
till OS:et. Så en vacuum full ska vara lika effektiv som att exportera allt
data, sätta upp en ny databas och importera allt.

Behovet av vacuum kommer bara av update- och delete-operationer. Så fort
något ändras i en rad, eller en rad tas bort, skapas en ny kopia av raden,
och den gamla blir dött utrymme. En korrekt konfigurerad auto-vacuum ska
göra att vacuum körs så ofta att det döda utrymmet i databasen inte växer
med tiden, med följden att man aldrig behöver köra vacuum full. En viss
mängd dött utrymme måste man räkna med, men egentligen bara så mycket som
hinner skapas mellan två körningar av vacuum. Och auto-vacuum anpassar sig
efter hur mycket databasen uppdateras, så i uppdateringsintensiva perioder
kör den oftare. Och alla andra operationer kan accessa tabellerna som
vanligt medan den kör vacuum (En vanlig vacuum låser inte tabellen, som
vacuum full).

För mig låter det som att vanlig vacuum körs för sällan, och vacuum full
aldrig, och det är i så fall orsaken till situationen. Med rätt konfad
auto-vacuum, eller möjligen en lagom tätt körande vanlig vacuum, ska man
komma till rätta med problemet, utan att behöva köra vacuum full.

/Fredrik




2016-11-03 19:04 GMT+01:00 Karl Wettin :

> Precis det görs lite då och då. Kanske en gång i månaden. Ingen auto
> vaccuum.
>
> On 03 Nov 2016, at 18:18, Fredrik Ramsberg 
> wrote:
>
> Nja, kungen är jag väl inte.
>
> På vissa tabeller (beroende på access-mönster) behöver man göra VACUUM
> FULL ANALYZE ibland. Det innebär i princip att tabellen blir otillgänglig
> under en tid (definitivt för skrivning, osäker på hur det är med läsning).
> Tillfälligt använder den mycket diskutrymme. Görs det idag?
>
> /Fredrik
>
> Den 3 nov. 2016 5:50 PM skrev "Karl Wettin" :
>
> Är du kungen på att konfigurera PostgreSQL?
>
> openstreetmap.se har en databas som uppdateras varje minut med massor av
> små förändringar, en spegling av OSMs hela världsdatabas. En snapshot tar
> ca 200GB på disken, men laddar man in den med uppdateringar så blir den på
> ett år ungefär 1TB. Så en gång om året måste den blåsas om. Det är
> ohållbart ur underhållsynpunkt, det hade varit bra om man slapp bry sig
> även om det bara är en gång om året.
>
> Har du några bra tips på vad anledningen till detta kan vara? Den kör
> vaccuum lite då och då, men uppenbarligen är inte det nog.
>
>
>
> kalle
>
> ___
> Talk-se mailing list
> Talk-se@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-se
>
>
> ___
> Talk-se mailing list
> Talk-se@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-se
>
>
>
> ___
> Talk-se mailing list
> Talk-se@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-se
>
>
___
Talk-se mailing list
Talk-se@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-se

Re: [Talk-se] PostgreSQL på openstreetmap.se

2016-11-03 tråd Karl Wettin 
Precis det görs lite då och då. Kanske en gång i månaden. Ingen auto vaccuum.

> On 03 Nov 2016, at 18:18, Fredrik Ramsberg  wrote:
> 
> Nja, kungen är jag väl inte.
> 
> På vissa tabeller (beroende på access-mönster) behöver man göra VACUUM FULL 
> ANALYZE ibland. Det innebär i princip att tabellen blir otillgänglig under en 
> tid (definitivt för skrivning, osäker på hur det är med läsning). Tillfälligt 
> använder den mycket diskutrymme. Görs det idag?
> 
> /Fredrik
> 
> Den 3 nov. 2016 5:50 PM skrev "Karl Wettin"  >:
> Är du kungen på att konfigurera PostgreSQL?
> 
> openstreetmap.se  har en databas som uppdateras 
> varje minut med massor av små förändringar, en spegling av OSMs hela 
> världsdatabas. En snapshot tar ca 200GB på disken, men laddar man in den med 
> uppdateringar så blir den på ett år ungefär 1TB. Så en gång om året måste den 
> blåsas om. Det är ohållbart ur underhållsynpunkt, det hade varit bra om man 
> slapp bry sig även om det bara är en gång om året.
> 
> Har du några bra tips på vad anledningen till detta kan vara? Den kör vaccuum 
> lite då och då, men uppenbarligen är inte det nog.
> 
> 
> 
> kalle
> 
> ___
> Talk-se mailing list
> Talk-se@openstreetmap.org 
> https://lists.openstreetmap.org/listinfo/talk-se 
> 
> 
> 
> ___
> Talk-se mailing list
> Talk-se@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-se



signature.asc
Description: Message signed with OpenPGP using GPGMail
___
Talk-se mailing list
Talk-se@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-se

Re: [Talk-se] PostgreSQL på openstreetmap.se

2016-11-03 tråd Karl Wettin 
Problemet är enbart diskutrymme.

> On 03 Nov 2016, at 17:55, Bengt Bäverman  wrote:
> 
> Vad som problemet? Är det bara storleken eller går det också långsammare och 
> långsammare ju större databasen blir?
> 
> /Bengt
> 
>> 3 nov. 2016 kl. 17:49 skrev Karl Wettin :
>> 
>> Är du kungen på att konfigurera PostgreSQL?
>> 
>> openstreetmap.se har en databas som uppdateras varje minut med massor av små 
>> förändringar, en spegling av OSMs hela världsdatabas. En snapshot tar ca 
>> 200GB på disken, men laddar man in den med uppdateringar så blir den på ett 
>> år ungefär 1TB. Så en gång om året måste den blåsas om. Det är ohållbart ur 
>> underhållsynpunkt, det hade varit bra om man slapp bry sig även om det bara 
>> är en gång om året.
>> 
>> Har du några bra tips på vad anledningen till detta kan vara? Den kör 
>> vaccuum lite då och då, men uppenbarligen är inte det nog.
>> 
>> 
>> 
>>   kalle
>> ___
>> Talk-se mailing list
>> Talk-se@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-se
> 
> ___
> Talk-se mailing list
> Talk-se@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-se



signature.asc
Description: Message signed with OpenPGP using GPGMail
___
Talk-se mailing list
Talk-se@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-se

Re: [Talk-se] PostgreSQL på openstreetmap.se

2016-11-03 tråd Karl Wettin 
Precis så. Det är diskutrymmet som växer oproportionerligt. Write once och 
massor av små förändringar av existerande objekt i databasen är väl 
anledningen, gissar jag på.


kalle

> On 03 Nov 2016, at 17:57, Peter Neubauer  wrote:
> 
> Kalle,
> problemet är alltså att det blir för mycket disk som databasfilerna tar?
> 
> /peter
> 
> 2016-11-03 17:49 GMT+01:00 Karl Wettin  >:
> Är du kungen på att konfigurera PostgreSQL?
> 
> openstreetmap.se  har en databas som uppdateras 
> varje minut med massor av små förändringar, en spegling av OSMs hela 
> världsdatabas. En snapshot tar ca 200GB på disken, men laddar man in den med 
> uppdateringar så blir den på ett år ungefär 1TB. Så en gång om året måste den 
> blåsas om. Det är ohållbart ur underhållsynpunkt, det hade varit bra om man 
> slapp bry sig även om det bara är en gång om året.
> 
> Har du några bra tips på vad anledningen till detta kan vara? Den kör vaccuum 
> lite då och då, men uppenbarligen är inte det nog.
> 
> 
> 
> kalle
> 
> ___
> Talk-se mailing list
> Talk-se@openstreetmap.org 
> https://lists.openstreetmap.org/listinfo/talk-se 
> 
> 
> 
> ___
> Talk-se mailing list
> Talk-se@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-se



signature.asc
Description: Message signed with OpenPGP using GPGMail
___
Talk-se mailing list
Talk-se@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-se

Re: [Talk-se] PostgreSQL på openstreetmap.se

2016-11-03 tråd Fredrik Ramsberg 
Nja, kungen är jag väl inte.

På vissa tabeller (beroende på access-mönster) behöver man göra VACUUM FULL
ANALYZE ibland. Det innebär i princip att tabellen blir otillgänglig under
en tid (definitivt för skrivning, osäker på hur det är med läsning).
Tillfälligt använder den mycket diskutrymme. Görs det idag?

/Fredrik

Den 3 nov. 2016 5:50 PM skrev "Karl Wettin" :

> Är du kungen på att konfigurera PostgreSQL?
>
> openstreetmap.se har en databas som uppdateras varje minut med massor av
> små förändringar, en spegling av OSMs hela världsdatabas. En snapshot tar
> ca 200GB på disken, men laddar man in den med uppdateringar så blir den på
> ett år ungefär 1TB. Så en gång om året måste den blåsas om. Det är
> ohållbart ur underhållsynpunkt, det hade varit bra om man slapp bry sig
> även om det bara är en gång om året.
>
> Har du några bra tips på vad anledningen till detta kan vara? Den kör
> vaccuum lite då och då, men uppenbarligen är inte det nog.
>
>
>
> kalle
>
> ___
> Talk-se mailing list
> Talk-se@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-se
>
>
___
Talk-se mailing list
Talk-se@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-se

Re: [Talk-se] PostgreSQL på openstreetmap.se

2016-11-03 tråd Fredrik Ramsberg 
Nja, kungen är jag väl inte.

På vissa tabeller (beroende på access-mönster) behöver man göra VACUUM FULL
ANALYZE ibland. Det innebär i princip att tabellen blir otillgänglig under
en tid (definitivt för skrivning, osäker på hur det är med läsning).
Tillfälligt använder den mycket diskutrymme. Görs det idag?

/Fredrik

Den 3 nov. 2016 5:50 PM skrev "Karl Wettin" :

Är du kungen på att konfigurera PostgreSQL?

openstreetmap.se har en databas som uppdateras varje minut med massor av
små förändringar, en spegling av OSMs hela världsdatabas. En snapshot tar
ca 200GB på disken, men laddar man in den med uppdateringar så blir den på
ett år ungefär 1TB. Så en gång om året måste den blåsas om. Det är
ohållbart ur underhållsynpunkt, det hade varit bra om man slapp bry sig
även om det bara är en gång om året.

Har du några bra tips på vad anledningen till detta kan vara? Den kör
vaccuum lite då och då, men uppenbarligen är inte det nog.



kalle

___
Talk-se mailing list
Talk-se@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-se
___
Talk-se mailing list
Talk-se@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-se

Re: [Talk-se] PostgreSQL på openstreetmap.se

2016-11-03 tråd Peter Neubauer 
Kalle,
problemet är alltså att det blir för mycket disk som databasfilerna tar?

/peter

2016-11-03 17:49 GMT+01:00 Karl Wettin :

> Är du kungen på att konfigurera PostgreSQL?
>
> openstreetmap.se har en databas som uppdateras varje minut med massor av
> små förändringar, en spegling av OSMs hela världsdatabas. En snapshot tar
> ca 200GB på disken, men laddar man in den med uppdateringar så blir den på
> ett år ungefär 1TB. Så en gång om året måste den blåsas om. Det är
> ohållbart ur underhållsynpunkt, det hade varit bra om man slapp bry sig
> även om det bara är en gång om året.
>
> Har du några bra tips på vad anledningen till detta kan vara? Den kör
> vaccuum lite då och då, men uppenbarligen är inte det nog.
>
>
>
> kalle
>
> ___
> Talk-se mailing list
> Talk-se@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-se
>
>
___
Talk-se mailing list
Talk-se@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-se

Re: [Talk-se] PostgreSQL på openstreetmap.se

2016-11-03 tråd Bengt Bäverman 
Vad som problemet? Är det bara storleken eller går det också långsammare och 
långsammare ju större databasen blir?

/Bengt

> 3 nov. 2016 kl. 17:49 skrev Karl Wettin :
> 
> Är du kungen på att konfigurera PostgreSQL?
> 
> openstreetmap.se har en databas som uppdateras varje minut med massor av små 
> förändringar, en spegling av OSMs hela världsdatabas. En snapshot tar ca 
> 200GB på disken, men laddar man in den med uppdateringar så blir den på ett 
> år ungefär 1TB. Så en gång om året måste den blåsas om. Det är ohållbart ur 
> underhållsynpunkt, det hade varit bra om man slapp bry sig även om det bara 
> är en gång om året.
> 
> Har du några bra tips på vad anledningen till detta kan vara? Den kör vaccuum 
> lite då och då, men uppenbarligen är inte det nog.
> 
> 
> 
>kalle
> ___
> Talk-se mailing list
> Talk-se@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-se

___
Talk-se mailing list
Talk-se@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-se