Salut, inainte de toate, eu personal consider ca storage in K8s e o problema care se poate rezolva doar cu costuri (scale) mari si daca vrei sa o faci cu 3 servere si 3 disk-uri pe server sa nu te astepti la performanta.
On Tue, 7 Nov 2023 at 12:18, Petru Rațiu via RLUG <rlug@lists.lug.ro> wrote: > On Wed, Nov 1, 2023 at 12:23 PM linux.oprit via RLUG <rlug@lists.lug.ro> > wrote: > > > Salut, > > > > Ce iti recomand este sa nu folosesti ceph :). > > > > Chiar asa, ca tot se mentiona de flame pe rlug si ca nu se mai fac ca pe > vremuri, hai sa incerc sa o resuscitez pe asta. > > Ma mananca lately sa pun ceph pentru persistenta in k8s (am reusit sa > ocolesc 4 ani de zile sa fac totul stateless, da' incepe sa ma manance). > Toata documentatia gasita e f ok, cu click click now you try, insa nu prea > gasesc horror stories. > mai exista si OpenEBS si Longhorn (de la rancher) dar o sa te lovesti la toate cam de aceeasi chestie: un write pe PV se "traduce" in vreo mult mai multe api calls si writes si network communication decat daca ai avea storage local. Cred ca cea mai buna recomandare e sa ai multi-tier storage: NVME SSD, SATA SSD, Magnetic si sa ai mai multe storageclass ca sa dai la fiecare aplicatie exact ce ii trebuie: DB: nvme. backup: magnetic, etc. Tine cont si ca sunt destui "consumatori" de storage care formeaza un cluster (elasticsearch, cassandra, etc) si care rezista la un nod/volum sa dispara si pentru care mult mai performant ar fi host storage decat cluster storage. Postul de mai devreme s-a oprit la "trebuie sa te pricepi" da' as vrea ceva > mai cu gory details. > > Cazul meu e ca am infrastructura pe vm-uri dintr-un vmware > (vcloud/fusion/esxi/whatever) servit de orange despre care nu stiu prea > multe ca tenant, doar ca device-urile sunt de maxim 2TB pentru ca motive si > am ocazional probleme de performanta care nu stiu daca sunt cauzate de iops > sau ca mai flutura retelele si device-urile pe sub toate layerele de > virtualizare. > poate mai bine ar fi sa monitorizezi IOPS, device IO queue, device read/write block sizes, latenta, etc ca sa poti sa vezi exact de unde e. Cam peste tot un block device are totusi un minimum de SLA: IOPS, Bandwidth, latenta, etc. > Nu cred ca o sa fiu vreodata atat de inconstient sa pun mysql pe el, dar > tot se iteste nevoia de "un nfs" pt shared storage si ma gandesc ca ar > putea fi o alternativa mai ok pt s3 api decat minio, care mi-a scos peri > albi. > Niste detalii de horror stories cu minio ? Eu sunt la inceput dar m-am lovit de una/alta. > > Mersic, > > -- > P. > _______________________________________________ > RLUG mailing list > RLUG@lists.lug.ro > http://lists.lug.ro/mailman/listinfo/rlug_lists.lug.ro > _______________________________________________ RLUG mailing list RLUG@lists.lug.ro http://lists.lug.ro/mailman/listinfo/rlug_lists.lug.ro
