Hi,

The same situation with Ceph 18.2.7:

# lsblk
NAME                                                                            
                      MAJ:MIN RM  SIZE RO TYPE MOUNTPOINTS
sdb                                                                             
                        8:16   0  605G  0 disk
├─ceph--2e6edbc5--08b5--4112--b019--00eb77d37be7-osd--db--92f3aa68--5ea9--45f0--9736--1e940e32a694
    252:9    0  100G  0 lvm
├─ceph--2e6edbc5--08b5--4112--b019--00eb77d37be7-osd--db--05597602--be0a--4bef--ba6f--00f1fd6a00f8
    252:11   0  100G  0 lvm
└─ceph--2e6edbc5--08b5--4112--b019--00eb77d37be7-osd--db--cd611225--b826--446d--ac9c--8fbea4c77cce
    252:13   0  100G  0 lvm
sdc                                                                             
                        8:32   0  605G  0 disk
├─ceph--1f1e5a91--6030--4f23--a6c0--793863682798-osd--db--3dbf6581--ddbf--4b97--9bd7--2f3d2e2b4370
    252:5    0  100G  0 lvm
└─ceph--1f1e5a91--6030--4f23--a6c0--793863682798-osd--db--3930da0a--479f--4e2d--a58a--3404a8add512
    252:7    0  100G  0 lvm
sdd                                                                             
                        8:48   0  2.2T  0 disk
sde                                                                             
                        8:64   0  2.2T  0 disk
sdf                                                                             
                        8:80   0   18T  0 disk
sdg                                                                             
                        8:96   0   18T  0 disk
└─ceph--77e27c98--c003--4050--ba1f--2c6b4b3209c6-osd--block--dbd1d26c--72be--4632--82a7--5aabce5f17aa
 252:4    0   18T  0 lvm
sdh                                                                             
                        8:112  0   18T  0 disk
└─ceph--a2de7aa4--9ee6--4f2b--ab67--fb0e021c1e86-osd--block--acced776--dec8--4fa6--b946--b9cd8d264f40
 252:6    0   18T  0 lvm
sdi                                                                             
                        8:128  0   18T  0 disk
└─ceph--0332a3d4--eeb6--47a4--8fd3--60cb362b2eae-osd--block--25c23ee7--51a8--4113--9c64--5e46a71acc69
 252:8    0   18T  0 lvm
sdj                                                                             
                        8:144  0   18T  0 disk
└─ceph--35a572b9--618b--411a--95a5--ffcbcc6909fd-osd--block--d6339590--f5d0--4db8--8f1a--c9fa884f8a05
 252:10   0   18T  0 lvm
sdk                                                                             
                        8:160  0   18T  0 disk
└─ceph--d8226699--19af--4845--b0c4--01888eda4f0c-osd--block--cdbb54d3--790e--47eb--b3ee--5a743c820d5a
 252:12   0   18T  0 lvm

# ceph orch set-managed osd.hdd2025
Set unmanaged to False for service osd.hdd2025

# lsblk
NAME                                                                            
                      MAJ:MIN RM  SIZE RO TYPE MOUNTPOINTS
sdb                                                                             
                        8:16   0  605G  0 disk
├─ceph--2e6edbc5--08b5--4112--b019--00eb77d37be7-osd--db--92f3aa68--5ea9--45f0--9736--1e940e32a694
    252:9    0  100G  0 lvm
├─ceph--2e6edbc5--08b5--4112--b019--00eb77d37be7-osd--db--05597602--be0a--4bef--ba6f--00f1fd6a00f8
    252:11   0  100G  0 lvm
└─ceph--2e6edbc5--08b5--4112--b019--00eb77d37be7-osd--db--cd611225--b826--446d--ac9c--8fbea4c77cce
    252:13   0  100G  0 lvm
sdc                                                                             
                        8:32   0  605G  0 disk
├─ceph--1f1e5a91--6030--4f23--a6c0--793863682798-osd--db--9fe6e4c3--5b3c--4d4f--b889--e18e1667d1f3
    252:3    0  100G  0 lvm
├─ceph--1f1e5a91--6030--4f23--a6c0--793863682798-osd--db--3dbf6581--ddbf--4b97--9bd7--2f3d2e2b4370
    252:5    0  100G  0 lvm
└─ceph--1f1e5a91--6030--4f23--a6c0--793863682798-osd--db--3930da0a--479f--4e2d--a58a--3404a8add512
    252:7    0  100G  0 lvm
sdd                                                                             
                        8:48   0  2.2T  0 disk
sde                                                                             
                        8:64   0  2.2T  0 disk
sdf                                                                             
                        8:80   0   18T  0 disk
└─ceph--da0dacf6--f310--4713--a998--73869949bd07-osd--block--725f73c2--9b15--434e--876a--954823a33373
 252:2    0   18T  0 lvm
sdg                                                                             
                        8:96   0   18T  0 disk
└─ceph--77e27c98--c003--4050--ba1f--2c6b4b3209c6-osd--block--dbd1d26c--72be--4632--82a7--5aabce5f17aa
 252:4    0   18T  0 lvm
sdh                                                                             
                        8:112  0   18T  0 disk
└─ceph--a2de7aa4--9ee6--4f2b--ab67--fb0e021c1e86-osd--block--acced776--dec8--4fa6--b946--b9cd8d264f40
 252:6    0   18T  0 lvm
sdi                                                                             
                        8:128  0   18T  0 disk
└─ceph--0332a3d4--eeb6--47a4--8fd3--60cb362b2eae-osd--block--25c23ee7--51a8--4113--9c64--5e46a71acc69
 252:8    0   18T  0 lvm
sdj                                                                             
                        8:144  0   18T  0 disk
└─ceph--35a572b9--618b--411a--95a5--ffcbcc6909fd-osd--block--d6339590--f5d0--4db8--8f1a--c9fa884f8a05
 252:10   0   18T  0 lvm
sdk                                                                             
                        8:160  0   18T  0 disk
└─ceph--d8226699--19af--4845--b0c4--01888eda4f0c-osd--block--cdbb54d3--790e--47eb--b3ee--5a743c820d5a
 252:12   0   18T  0 lvm

As can be seen a third DB volume has been added to sdc
and the OSD uses all of the 18TB of sdf.

When adding a completely new disk a fourth DB volume gets created on sdb
and the new OSD on sdl uses all of the 18TB.

Something must have been changed between reef and squid, not for the better.

Regards
--
Robert Sander
Linux Consultant

Heinlein Consulting GmbH
Schwedter Str. 8/9b, 10119 Berlin

https://www.heinlein-support.de

Tel: +49 30 405051 - 0
Fax: +49 30 405051 - 19

Amtsgericht Berlin-Charlottenburg - HRB 220009 B
Geschäftsführer: Peer Heinlein - Sitz: Berlin
_______________________________________________
ceph-users mailing list -- ceph-users@ceph.io
To unsubscribe send an email to ceph-users-le...@ceph.io

Reply via email to