Re: Escriure a USB amorra l'ordinador

[Josep Lladonosa]

On Fri, 10 May 2019 at 19:22, Narcis Garcia  wrote:

> Està documentat en algun lloc el comportament del «bs» per a blocs
> incomplets?
>

El "man dd" diu que llegeix i escriu fins a BYTES alhora:

  bs=BYTES
  read and write up to BYTES bytes at a time

interpreto que només escriu la part del darrer bloc que realment s'ha
llegit de l'origen.


A banda, com que el fil s'ha obert per tema de bloqueig d'ordinador durant
aquesta operació d'entrada-sortida, no sé si heu provat el modificador
"nonblock" del dd.

Font:
https://www.gnu.org/software/coreutils/manual/html_node/dd-invocation.html



>
>
>
>
> __
> I'm using this express-made address because personal addresses aren't
> masked enough at this mail public archive. Public archive administrator
> should fix this against automated addresses collectors.
> El 10/5/19 a les 11:09, Pedro ha escrit:
> > Probablement consisteix a que copia en blocs de 1M per exemple, i
> > l'últim tram és un bloc més petit que 1M. El cas és que el rendiment
> > és molt superior tal i com diu en l'enllaç. Prova això a veure si
> > millora la transferència al usb en qüestió. I em sona que amb algun
> > tipus de usb m'ha passat això, i que amb altres no
> >
>
>

-- 
--
Salutacions...Josep
--

Re: Escriure a USB amorra l'ordinador

[Narcis Garcia]

Està documentat en algun lloc el comportament del «bs» per a blocs
incomplets?




__
I'm using this express-made address because personal addresses aren't
masked enough at this mail public archive. Public archive administrator
should fix this against automated addresses collectors.
El 10/5/19 a les 11:09, Pedro ha escrit:
> Probablement consisteix a que copia en blocs de 1M per exemple, i
> l'últim tram és un bloc més petit que 1M. El cas és que el rendiment
> és molt superior tal i com diu en l'enllaç. Prova això a veure si
> millora la transferència al usb en qüestió. I em sona que amb algun
> tipus de usb m'ha passat això, i que amb altres no
> 

Re: Escriure a USB amorra l'ordinador

[Narcis Garcia]

__
I'm using this express-made address because personal addresses aren't
masked enough at this mail public archive. Public archive administrator
should fix this against automated addresses collectors.
El 8/5/19 a les 20:14, Eduard Selma ha escrit:
> El 8/5/19 a les 17:08, Narcis Garcia ha escrit:
>> Hola Joan, aquest problema el trobo des de fa anys, i tant amb unes
>> plaques base anteriors com amb l'actual que utilitzo (també en el
>> moment de muntar-la nova, Asus B250-PLUS).
> ...
> 
>>
>> Tu quan per exemple fas això:
>> $ sudo dd if=debian-9.9.0-amd64-DVD-1.iso of=/dev/sdX
>> i mentrestant treballes amb altres coses, no notes un alentiment a
>> batzegades? I si fas tasques més intensives, com de video o algun joc?
>>
>> És què jo no entenc perquè una tasca intensiva per USB alenteix altres
>> tasques del processador.
> 
> - Recordo que en un moment determinat, volia saber les diferències entre
> les connexions USB ràpides i l'estàndard IEEE1394 (també anomenat iLink)
> per a transferències de vídeo. En aquell moment, a més de comparar la
> velocitat de transferència màxima d'una i altra, la font on ho vaig
> consultar deia que la transferència USB feia ús intensiu de la CPU,
> mentre que la IEEE 1394 no, usant en el seu lloc una mena de DMA (Accés
> Directe a Memòria). Per aquest motiu, en aquell moment es preferia la
> connexió IEEE per a enregistrament de so en viu, per exemple.
> 
> No serà potser la causa determinant en aquest moment (USB 3), però és un
> factor més.
> 
> En qualsevol cas, és una llàstima que les connexions IEEE 1394 hagin
> passat a la història.
> 
> Els meus cinc cèntims.
> 

A mi també algú fa anys em va comparar las interfícies USB de Apple amb
les de PC dient que les plaques base del primer porten controladores USB
que fan tota la feina i per això van més ràpides, en canvi els PC x86
tradicionals ho carreguen tot al programari o la CPU.
Caldria veure si hi ha targetes de ports USB que resolguin aquest tema.

Re: Escriure a USB amorra l'ordinador

[Pedro]

Entenc que passa el mateix amb diferents USB.

Vaig a discutir una mica la part de software:

també s'ha de dir que el dd sense bs (blocksize) és especialment lent.

I know when I'm copying hard disks I get a faster rate by specifying
bs=1M than by using bs=4k or the default. I'm talking speed
improvements of 30 to 300 percent.  =>
https://serverfault.com/questions/650086/does-the-bs-option-in-dd-really-improve-the-speed

i per exemple, per copiar una iso de debian n'hi ha prou amb `cp`.
També em va agradar llegir això:

This section is about using rsync to transfer a copy of the entire /
tree, excluding a few selected folders. This approach is considered to
be better than disk cloning with dd since it allows for a different
size, partition table and filesystem to be used, and better than
copying with cp -a as well, because it allows greater control over
file permissions, attributes, Access Control Lists and extended
attributes.

src https://wiki.archlinux.org/index.php/rsync

On Wed, May 8, 2019 at 8:32 PM Eduard Selma  wrote:
>
> El 8/5/19 a les 17:08, Narcis Garcia ha escrit:
> > Hola Joan, aquest problema el trobo des de fa anys, i tant amb unes
> > plaques base anteriors com amb l'actual que utilitzo (també en el
> > moment de muntar-la nova, Asus B250-PLUS).
> ...
> >
> > Tu quan per exemple fas això:
> > $ sudo dd if=debian-9.9.0-amd64-DVD-1.iso of=/dev/sdX
> > i mentrestant treballes amb altres coses, no notes un alentiment a
> > batzegades? I si fas tasques més intensives, com de video o algun joc?
> >
> > És què jo no entenc perquè una tasca intensiva per USB alenteix altres
> > tasques del processador.
>
> - Recordo que en un moment determinat, volia saber les diferències entre
> les connexions USB ràpides i l'estàndard IEEE1394 (també anomenat iLink)
> per a transferències de vídeo. En aquell moment, a més de comparar la
> velocitat de transferència màxima d'una i altra, la font on ho vaig
> consultar deia que la transferència USB feia ús intensiu de la CPU,
> mentre que la IEEE 1394 no, usant en el seu lloc una mena de DMA (Accés
> Directe a Memòria). Per aquest motiu, en aquell moment es preferia la
> connexió IEEE per a enregistrament de so en viu, per exemple.
>
> No serà potser la causa determinant en aquest moment (USB 3), però és un
> factor més.
>
> En qualsevol cas, és una llàstima que les connexions IEEE 1394 hagin
> passat a la història.
>
> Els meus cinc cèntims.
>
> --
> Eduard Selma
>

Re: Escriure a USB amorra l'ordinador

[Eduard Selma]

El 8/5/19 a les 17:08, Narcis Garcia ha escrit:

Hola Joan, aquest problema el trobo des de fa anys, i tant amb unes
plaques base anteriors com amb l'actual que utilitzo (també en el
moment de muntar-la nova, Asus B250-PLUS).

...


Tu quan per exemple fas això:
$ sudo dd if=debian-9.9.0-amd64-DVD-1.iso of=/dev/sdX
i mentrestant treballes amb altres coses, no notes un alentiment a
batzegades? I si fas tasques més intensives, com de video o algun joc?

És què jo no entenc perquè una tasca intensiva per USB alenteix altres
tasques del processador.


- Recordo que en un moment determinat, volia saber les diferències entre 
les connexions USB ràpides i l'estàndard IEEE1394 (també anomenat iLink) 
per a transferències de vídeo. En aquell moment, a més de comparar la 
velocitat de transferència màxima d'una i altra, la font on ho vaig 
consultar deia que la transferència USB feia ús intensiu de la CPU, 
mentre que la IEEE 1394 no, usant en el seu lloc una mena de DMA (Accés 
Directe a Memòria). Per aquest motiu, en aquell moment es preferia la 
connexió IEEE per a enregistrament de so en viu, per exemple.


No serà potser la causa determinant en aquest moment (USB 3), però és un 
factor més.


En qualsevol cas, és una llàstima que les connexions IEEE 1394 hagin 
passat a la història.


Els meus cinc cèntims.

--
Eduard Selma

Re: Escriure a USB amorra l'ordinador

[Narcis Garcia]

Hola Joan, aquest problema el trobo des de fa anys, i tant amb unes
plaquest base anteriors com amb l'actual que utilitzo (també en el
moment de muntar-la nova, Asus B250-PLUS).

$ lspci | grep -ie usb
00:14.0 USB controller: Intel Corporation Device a2af
04:00.0 USB controller: VIA Technologies, Inc. VT82xx/62xx UHCI USB 1.1
Controller (rev 62)
04:00.1 USB controller: VIA Technologies, Inc. VT82xx/62xx UHCI USB 1.1
Controller (rev 62)
04:00.2 USB controller: VIA Technologies, Inc. USB 2.0 (rev 65)

Tu quan per exemple fas això:
$ sudo dd if=debian-9.9.0-amd64-DVD-1.iso of=/dev/sdX
i mentrestant treballes amb altres coses, no notes un alentiment a
batzegades? I si fas tasques més intensives, com de video o algun joc?

És què jo no entenc perquè una tasca intensiva per USB alenteix altres
tasques del processador.

__
I'm using this express-made address because personal addresses aren't
masked enough at this mail public archive. Public archive administrator
should fix this against automated addresses collectors.

El 8/5/19 a les 16:23, Joan Baptista ha escrit:
> Hola, Narcís.
> 
> Crec que dones força informació útil, però no la suficient per a mi per
> estar 100% segur de quin es el problema i la solució.
> 
> Jo fa mes de 2 anys que faig aquestes coses amb memòries USB, amb
> distribucions Debian i derivades (Ubuntu i altres) i no recordo haver
> notat mai que cap dels meus PC's "s'encallés" mes del normal al fer
> això. Et suggeriria provar amb el mateix maquinari i algun altre sistema
> operatiu radicalment diferent si tu creus que es problema de programari
> / software / sistema operatiu, però jo crec que es mes fàcil que sigui
> problema de hardware / maquinari, per tant, segurament, et funcionarà
> igual o pitjor amb un Red Hat / CentOS, (open)Suse, Mac o pitjor encara,
> Windows.
> 
> No dones detalls del hardware / maquinari que fas servir, però jo et puc
> dir que des del meu primer pc al 1987 fins als que tinc ara, i des de la
> meva primera memòria USB al ... 1999? (... aprox ...) fins a les
> memòries USB que tinc ara, tant el maquinari mes bo que he tingut com el
> mes econòmic, TOTS els dispositius d'emmagatzematge (també SSD, targetes
> SD i memòries USB 3.1 ultraràpides d'última generació) com mes hores de
> utilització tenen, van perdent velocitat de lectura i d'escriptura.
> 
> Per tant, mes aviat et recomanaria de provar a fer un "LOW LEVEL FORMAT"
> (... formateig a baix nivell, en català?) tant del teu disc dur com de
> la teva memòria USB i tornar a provar, o si no vols o no pots, provar
> amb maquinari "novet i potent".
> 
> Estic segur que així no et decebrà ni Debian, ni Ubuntu i "veuràs la
> llum" sobre la pèrdua de velocitat de qualsevol unitat d'emmagetzematge
> amb el temps, especialment en tasques com les que tu i jo fem, que
> impliquen un desgast extra (formateig) d'aquestes unitats.
> 
> Reconec que jo he tardat mooolts anys a notar, creure i després
> veure la gran velocitat que perden els discs durs, SD, USB i SSD de tota
> mena, amb uns pocs milers d'hores d'us o uns pocs formatejos i unes
> quantes hores d'us, per tant, espero haver-te estalviat els anys de
> tossuderia que jo vaig passar, dient "que va! la perdua de velocitat
> serà pel programari, per la ram, per la cpu, per Rita La Cantadora, per
> ... etc però DE CAP MANERA culparé als meus estimats i sagrats
> dispositius d'emmagatzematge"! .
> 
> :-(
> 
> P.D.: Algú em pot recomanar un paquet .deb equivalent al "HDD Low Level
> Format"? No es que no em funcioni, però la versió shareware es mes lenta
> que el cavall del dolent a les pelis de cowboys, va contra la meva
> religió pagar per programari i de fa anys que només faig servir win i
> mac quan m'obliguen a la feina, per amor a la meva parella, o perquè
> (cada cop menys) no ho trobo per ".deb" :-)
> 
> 
> Per cert ... no em consta que aquesta llista tingui limitació de
> caràcters i si es així, espero que se'm informi i se'm disculpi, ja que
> la meva intenció ha sigut ajudar i no "fotre el rotllo" :-)
> 
> "Lo bueno, si es breve ...
> ... me sabe a poco!" ja ja ja
> 
> 
> Joan Baptista
> joanbapti...@gmail.com 
> Tel. 665 245 561
> 
> 
> Missatge de Narcis Garcia  > del dia dc., 8 de maig 2019 a les 14:42:
> 
> Ho he provat amb Ubuntu i amb Debian:
> Mentre escric dades molt voluminoses a una memòria USB, l'ordinador
> s'encalla intermitentment, i costa molt utilitzar les aplicacions
> d'escriptori.
> També passa quan volco una imatge de disc:
> sudo dd if=imatge.iso of=/dev/sdX
> 
> He provat a incrementar la «cache de disc» sense èxit.
> (vm.dirty_background_ratio
> vm.dirty_ratio
> vm.dirty_expire_centisecs
> vm.dirty_writeback_centisecs)
> 
> Algú sap un remei?
> Gràcies.
> 
> -- 
> 
> 
> __
> I'm using this express-made address because personal addresses aren't
> masked enough at this mail public archive. 

Escriure a USB amorra l'ordinador

[Narcis Garcia]

Ho he provat amb Ubuntu i amb Debian:
Mentre escric dades molt voluminoses a una memòria USB, l'ordinador
s'encalla intermitentment, i costa molt utilitzar les aplicacions
d'escriptori.
També passa quan volco una imatge de disc:
sudo dd if=imatge.iso of=/dev/sdX

He provat a incrementar la «cache de disc» sense èxit.
(vm.dirty_background_ratio
vm.dirty_ratio
vm.dirty_expire_centisecs
vm.dirty_writeback_centisecs)

Algú sap un remei?
Gràcies.

-- 


__
I'm using this express-made address because personal addresses aren't
masked enough at this mail public archive. Public archive administrator
should fix this against automated addresses collectors.