Re: lv raidintegrity problem
Il 07/10/21 08:05, Diego Zuccato ha scritto: Il 06/10/2021 17:18, Piviul ha scritto: Comunque il raid di lvm a naso è più performante di mdadm, sembra davvero ben fatto e maturo e se lo si prova è insostituibile... solo che ho letto dell'integrità software del raid e di poter aggiungere la raidintegrity ma mi da quello strano problema che non attiva automaticamente i volumi logici con raid integrity al boot... errori nei logs non ne ho trovati. E' da parecchio che non valuto il RAID "nativo" di LVM. L'ultima volta che l'ho provato, però, era *molto* più limitante di mdadm, soprattutto a livello di utility per il recovery in caso di guai: se mi si guastano 2 dischi in un RAID5, con mdadm riesco a forzare la ripartenza del RAID e in qualche modo a tirar fuori gran parte dei dati. Con LVM non c'era ancora modo di farlo. Spero che la situazione sia cambiata, ma per sicurezza normalmente uso lvcreate /dev/md0 :) non so, non mi è mai capitato che su un raid5 con 3 dischi 2 contemporaneamente entrassero in fail e non pensavo nemmeno che si potessero recuperare dati in un raid5 con 3 dischi di cui 2 in fail... non vedo però come mdadm possa fare qualcosa in più rispetto alla gestione che lvm ha sul raid; tieni però conto che se il raid è gestito da lvm puoi al volo cambiare ogni singolo LV e decidere se debba essere o meno in raid e il tipo di raid. Anch'io all'inizio ero dubbioso e timoroso ma dopo averlo provato non si torna più indietro e come dicevo secondo me a naso le performance sono migliori. Per Proxmox, normalmente installo con la sua ISO così da lasciare il layout di default. Al momento ho in produzione un cluster di 6 nodi, ai quali se ne aggiungeranno altri 3 appena sistemo la nuova sala server (così ne tengo 3 per ogni sala, e le sale sono a più di 100m una dall'altra). beh io di sale server ne ho una sola con soli 3 nodi e pensavo di aggiungere 2 server dislocati altrove dove mettere i backup selle vm/ct ma che mi servono anche per altro... Vi terrò informati! Se riesci a fare un test, meglio tentare il recovery da situazioni veramente incasinate. Beh non tutti gli storage utilizzati da proxmox devono essere su uno dei nodi e devono memorizzare macchine virtuali. Se vuoi toglierti la curiosità quello è un server esterno che esporta in nfs una share per i backup proxmox Dai un'occhiata a PBS (Proxmox Backup Server): puoi installarlo anche su una Debian "liscia", e ti da' la possibilità di fare il restore del singolo file sulla VM. Oltre a fare i backup *molto* più velocemente. Quello che non mi piace è che fa deduplicazione molto spinta: risparmia molto spazio disco, ma se voglio tenere dei backup full (in copie multiple) l'unica possibilità è metterli su nastro. :( Altrimenti se per qualche motivo si corrompe la "base", si perdono tutti i backup da lì in poi. si, non ho ancora dato un'occhiata a Proxmox Backup Server, appena avrò un po' di tempo lo farò. Ciao e grazie Piviul
Re: lv raidintegrity problem
On Wed, Oct 06, 2021 at 05:18:14PM +0200, Piviul wrote: > Comunque il raid di lvm a naso è più performante di mdadm, questo tenderei ad escluderlo dati che i dev di lvm hanno abbandonato definitivamente l'idea di farsi un raid loro per utilizzare le librerie di mdraid molto più stabili e performanti, sono che non sono riusciti (almeno sembra fino ad ora) ad implementare tutte le opzioni ed i comandi di mdadm, per cui in caso di casini, mdadm vince si lvm-raid a mani basse, - per ora - e - per quanto ne so (poco) -. -- Saluton, Marco Ciampa
Re: lv raidintegrity problem
Il 06/10/2021 17:18, Piviul ha scritto: Comunque il raid di lvm a naso è più performante di mdadm, sembra davvero ben fatto e maturo e se lo si prova è insostituibile... solo che ho letto dell'integrità software del raid e di poter aggiungere la raidintegrity ma mi da quello strano problema che non attiva automaticamente i volumi logici con raid integrity al boot... errori nei logs non ne ho trovati. E' da parecchio che non valuto il RAID "nativo" di LVM. L'ultima volta che l'ho provato, però, era *molto* più limitante di mdadm, soprattutto a livello di utility per il recovery in caso di guai: se mi si guastano 2 dischi in un RAID5, con mdadm riesco a forzare la ripartenza del RAID e in qualche modo a tirar fuori gran parte dei dati. Con LVM non c'era ancora modo di farlo. Spero che la situazione sia cambiata, ma per sicurezza normalmente uso lvcreate /dev/md0 :) Per Proxmox, normalmente installo con la sua ISO così da lasciare il layout di default. Al momento ho in produzione un cluster di 6 nodi, ai quali se ne aggiungeranno altri 3 appena sistemo la nuova sala server (così ne tengo 3 per ogni sala, e le sale sono a più di 100m una dall'altra). Vi terrò informati! Se riesci a fare un test, meglio tentare il recovery da situazioni veramente incasinate. Beh non tutti gli storage utilizzati da proxmox devono essere su uno dei nodi e devono memorizzare macchine virtuali. Se vuoi toglierti la curiosità quello è un server esterno che esporta in nfs una share per i backup proxmoxDai un'occhiata a PBS (Proxmox Backup Server): puoi installarlo anche su una Debian "liscia", e ti da' la possibilità di fare il restore del singolo file sulla VM. Oltre a fare i backup *molto* più velocemente. Quello che non mi piace è che fa deduplicazione molto spinta: risparmia molto spazio disco, ma se voglio tenere dei backup full (in copie multiple) l'unica possibilità è metterli su nastro. :( Altrimenti se per qualche motivo si corrompe la "base", si perdono tutti i backup da lì in poi. -- Diego Zuccato DIFA - Dip. di Fisica e Astronomia Servizi Informatici Alma Mater Studiorum - Università di Bologna V.le Berti-Pichat 6/2 - 40127 Bologna - Italy tel.: +39 051 20 95786
Re: lv raidintegrity problem
Il 05/10/21 17:06, Marco Ciampa ha scritto: Devo ancora "giocarci" con il raid di LVM. Ho come l'impressione che sia un prodotto ancora un po' immaturo o forse la documentazione non è esaustiva / aggiornata. Cosa dice in proposito? E cosa sono questi attributi? infatti... come suggeritomi da non ricordo chi in lista poco tempo fa la documentazione di redhat è fatta molto bene ma non ho trovato riscontro sui miei dubbi... il man di lvs invece mostra l'elenco degli attributi e praticamente dice che root è in mirrored e proxmox-store invece è in raid. Solo che il raid l'ho creato con l'opzione -m1 -type raid1 che da quel che so è un mirror... e credo (non ricordo ma non saprei che altri parametri utilizzare) di avere utilizzato gli stessi parametri anche quando ho creato root... bah! Comunque il raid di lvm a naso è più performante di mdadm, sembra davvero ben fatto e maturo e se lo si prova è insostituibile... solo che ho letto dell'integrità software del raid e di poter aggiungere la raidintegrity ma mi da quello strano problema che non attiva automaticamente i volumi logici con raid integrity al boot... errori nei logs non ne ho trovati. Vi terrò informati! E... ma hai messo Proxmox in RAID SW LVM? Che coraggio! Ma mi sa che le prestazioni siano sotto le scarpe... lo avevo fatto con mdadm ma avevo abbandonato proprio per questione di prestazioni... meglio una scheda RAID con cache tamponata... Beh non tutti gli storage utilizzati da proxmox devono essere su uno dei nodi e devono memorizzare macchine virtuali. Se vuoi toglierti la curiosità quello è un server esterno che esporta in nfs una share per i backup proxmox Ciao e grazie Piviul
Re: lv raidintegrity problem
On Tue, Oct 05, 2021 at 03:30:25PM +0200, Piviul wrote: > > Il 05/10/21 13:12, Marco Ciampa ha scritto: > > On Mon, Oct 04, 2021 at 09:28:27AM +0200, Piviul wrote: > > > Ciao a tutti, in un volume logico in raid 1 vorrei attivare la > > > raidintegrity. Se la attivo però al reboot la partizione non viene trovata > > > perché il volume non è attivato; per risolvere basta attivare il volume > > > con > > > lvchange; se rimuovo la raidintegrity tutto torna a funzionare > > > correttamente... > > > > > > qualcuno ha qualche suggerimento? > > Non usare LVM ma mdadm? Scherzo ma non troppo, attivare il raid in lvm al > > boot mi pare sfidare la sorte... > > non ho provato ancora a mettere la raidintegrity nel LV di root; se non ho > capito male però la raidintegrity serve quando in lettura le 2 copie non > collimano, una sorta di codice di parità per capire quale delle 2 copie sia > quella corretta. Comunque il problema non riguarda il LV di root ma altre > partizioni in raid a cui avrei voluto aggiungere la raidintegrity ma se > tutte le volte devo renderle attive a manina... strano però no? > > Poi c'è un altra cosa che non capisco: > > > # lvs -a > > LV VG Attr LSize Pool > > Origin Data% Meta% Move Log Cpy%Sync Convert > > [...] > > proxmox-store backup-server-vg rwi-aor--- 1.30t > > 100.00 > > [proxmox-store_rimage_0] backup-server-vg iwi-aor--- 1.30t > > [proxmox-store_rimage_1] backup-server-vg iwi-aor--- 1.30t > > [proxmox-store_rmeta_0] backup-server-vg ewi-aor--- 4.00m > > [proxmox-store_rmeta_1] backup-server-vg ewi-aor--- 4.00m > > root backup-server-vg mwi-aom--- > > 8.00g [root_mlog] 100.00 > > [root_mimage_0] backup-server-vg iwi-aom--- 8.00g > > [root_mimage_1] backup-server-vg iwi-aom--- 8.00g > > [root_mlog] backup-server-vg lwi-aom--- 4.00m > perché i 2 volumi logici root e proxmox-store pur essendo entrambi in mirror > e generati direi allo stesso modo hanno attributi diversi? > > bah... > > Non so, ci penso su un po', quasi apro un bug report a lvm... ma a voi non > fa così? se aggiungete la raid integrity ad un volume logico in raid 1 poi > riavviando il pc si autoattiva il volume si autoattiva? > > Piviul Devo ancora "giocarci" con il raid di LVM. Ho come l'impressione che sia un prodotto ancora un po' immaturo o forse la documentazione non è esaustiva / aggiornata. Cosa dice in proposito? E cosa sono questi attributi? E... ma hai messo Proxmox in RAID SW LVM? Che coraggio! Ma mi sa che le prestazioni siano sotto le scarpe... lo avevo fatto con mdadm ma avevo abbandonato proprio per questione di prestazioni... meglio una scheda RAID con cache tamponata... -- Saluton, Marco Ciampa
Re: lv raidintegrity problem
Il 05/10/21 13:12, Marco Ciampa ha scritto: On Mon, Oct 04, 2021 at 09:28:27AM +0200, Piviul wrote: Ciao a tutti, in un volume logico in raid 1 vorrei attivare la raidintegrity. Se la attivo però al reboot la partizione non viene trovata perché il volume non è attivato; per risolvere basta attivare il volume con lvchange; se rimuovo la raidintegrity tutto torna a funzionare correttamente... qualcuno ha qualche suggerimento? Non usare LVM ma mdadm? Scherzo ma non troppo, attivare il raid in lvm al boot mi pare sfidare la sorte... non ho provato ancora a mettere la raidintegrity nel LV di root; se non ho capito male però la raidintegrity serve quando in lettura le 2 copie non collimano, una sorta di codice di parità per capire quale delle 2 copie sia quella corretta. Comunque il problema non riguarda il LV di root ma altre partizioni in raid a cui avrei voluto aggiungere la raidintegrity ma se tutte le volte devo renderle attive a manina... strano però no? Poi c'è un altra cosa che non capisco: # lvs -a LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert [...] proxmox-store backup-server-vg rwi-aor--- 1.30t 100.00 [proxmox-store_rimage_0] backup-server-vg iwi-aor--- 1.30t [proxmox-store_rimage_1] backup-server-vg iwi-aor--- 1.30t [proxmox-store_rmeta_0] backup-server-vg ewi-aor--- 4.00m [proxmox-store_rmeta_1] backup-server-vg ewi-aor--- 4.00m root backup-server-vg mwi-aom--- 8.00g [root_mlog] 100.00 [root_mimage_0] backup-server-vg iwi-aom--- 8.00g [root_mimage_1] backup-server-vg iwi-aom--- 8.00g [root_mlog] backup-server-vg lwi-aom--- 4.00m perché i 2 volumi logici root e proxmox-store pur essendo entrambi in mirror e generati direi allo stesso modo hanno attributi diversi? bah... Non so, ci penso su un po', quasi apro un bug report a lvm... ma a voi non fa così? se aggiungete la raid integrity ad un volume logico in raid 1 poi riavviando il pc si autoattiva il volume si autoattiva? Piviul
Re: lv raidintegrity problem
On Mon, Oct 04, 2021 at 09:28:27AM +0200, Piviul wrote: > Ciao a tutti, in un volume logico in raid 1 vorrei attivare la > raidintegrity. Se la attivo però al reboot la partizione non viene trovata > perché il volume non è attivato; per risolvere basta attivare il volume con > lvchange; se rimuovo la raidintegrity tutto torna a funzionare > correttamente... > > qualcuno ha qualche suggerimento? Non usare LVM ma mdadm? Scherzo ma non troppo, attivare il raid in lvm al boot mi pare sfidare la sorte... Comunque se risolvi postalo che mi interessa... -- Saluton, Marco Ciampa
