Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Reco]

Hi.

On Wed, Jun 17, 2020 at 05:54:51PM -0400, Michael Stone wrote:
> On Wed, Jun 17, 2020 at 11:45:53PM +0300, Reco wrote:
> > Long story short, if you need a primitive I/O benchmark, you're better
> > with both dsync and nocache.
> 
> Not unless that's your actual workload, IMO. Almost nothing does sync i/o;

Almost everything does (see my previous e-mails). No everything does it
with O_DSYNC, that's true.  Although if it uses sqlite - chances are it
does it with O_DSYNC.


> simply using conv=fdatasync to make sure that the cache is flushed before 
> exiting
> is going to be more representative.

If you're answering the question "how fast is my programs are going to
write there" - sure. If you're answering the question "how fast my
drive(s) actually is(are)" - nope, you need O_DSYNC.

Reco

Re: Fw: Grub cannot see my new hard drive

[deloptes]

Matthew Campbell wrote:

> My computer cannot see a GPT partition table. I've had to use a dos MBR
> partition table on my USB flash drives. I mount my file systems as
> read-only first so I can check them after booting before remounting them
> read-write.

I am sorry to say it, but you are not able to understand.

Re: Captation flux audio ET vidéo

[G2PC]

Le 17/06/2020 à 22:20, Yannick a écrit :
> Bonsoir,
>
> Je suis amener à faire une intervention lors d'un salon virtuel en ligne.
> Je cherche un outil graphique qui me permette de récupérer le signal
> vidéo et le son que je vais émettre.
> J'utiliserais une plateforme Jitsi pour faire la conférence.
>
> Le but est d'avoir une copie de cette intervention. On me propose de
> passer par FB mais bon j'en suis parti ce n'est pas pour y revenir.
>
> Amitiés

J'ai testé OBS mais est ce que ça répond à tes besoins, je ne sais pas ?

https://wiki.visionduweb.fr/index.php?title=Sommaire_des_tutoriels_pour_multimedia#Applications_vid.C3.A9o

Re: Disabling recommends - was [Re: bash-completion pros/cons]

[Brian]

On Wed 17 Jun 2020 at 06:31:16 -0500, Richard Owlett wrote:

> On 06/17/2020 06:12 AM, to...@tuxteam.de wrote:
> > On Wed, Jun 17, 2020 at 04:53:45AM -0500, Richard Owlett wrote:
> > > On 06/17/2020 03:34 AM, to...@tuxteam.de wrote:
> > > > [snip]
> > > > 
> > > > A couple of those led me to disable recommends completely. It seems
> > > > I'm a freak monster or sometning ;-@
> > > > 
> > > 
> > > Is there a way to totally disable recommends when installing Debian?
> > > I wish to set up a machine for experimenting to find out what I
> > > really want. Long long term I am considering using debootstrap to
> > > install a extremely customized system.
> > 
> > I have this in the file /etc/apt/apt.conf.d/95no-recommends:
> > 
> >APT::Install-Recommends no:
> > 
> 
> If I understand correctly, I need to add
>  /etc/apt/apt.conf.d/95no-recommends to the ISO of the installer's DVD1.

No you don't. A user preseeds with

  recommends=false

But you know for a fact that this doesn't work. Therefore, an answer to
your enquiry

  > Is there a way to totally disable recommends when installing Debian?

is "no".

-- 
Brian.

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Andy Smith]

Hello,

On Wed, Jun 17, 2020 at 12:17:58PM +0200, Albretch Mueller wrote:
>  also, if in order to use RAID 10 you need 4 drives

Linux mdadm can do RAID-10 with 2 or more devices (also doesn't have
to be an even number).

> (but the dollar per Gb is approaching $0.02) and you get 1.5
> faster performance, what is the economy of "bying more RAM" if it
> is so much more expensive?

RAM and storage devices are completely different things, are used
for different things, and your question is unanswerable without a
better description of your workload and probably some benchmarking.

Also, even main system RAM is vastly faster than 3x HDD.

https://gist.github.com/jboner/2841832

like, 80 times faster.

>  Any comparison on HDD, SSD and RAM including pros and cons which is
> worth reading?

It's not possible to provide you with anything but the most basic
comparison unless you describe exactly what you are trying to do.

Cheers,
Andy

-- 
https://bitfolk.com/ -- No-nonsense VPS hosting

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Michael Stone]

On Wed, Jun 17, 2020 at 11:45:53PM +0300, Reco wrote:

Long story short, if you need a primitive I/O benchmark, you're better
with both dsync and nocache.


Not unless that's your actual workload, IMO. Almost nothing does sync 
i/o; simply using conv=fdatasync to make sure that the cache is flushed 
before exiting is going to be more representative.

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Reco]

On Wed, Jun 17, 2020 at 11:02:14PM +0200, to...@tuxteam.de wrote:
> On Wed, Jun 17, 2020 at 11:45:53PM +0300, Reco wrote:
> 
> [...]
> 
> > Long story short, if you need a primitive I/O benchmark, you're better
> > with both dsync and nocache.
> 
> Thanks for actually looking over dd's shoulder :-)

You're welcome. strace(1), dear list readers, it's strace(1).
Have it, love it, use it.

Reco

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Reco]

On Wed, Jun 17, 2020 at 01:23:41PM -0700, David Christensen wrote:
> On 2020-06-17 12:26, Reco wrote:
> 
> > On Wed, Jun 17, 2020 at 12:10:51PM -0700, David Christensen wrote:
> > > 2.  AIUI dd(1) uses asynchronous (buffered) I/O unless told otherwise.
> > 
> > You seem to confuse asynchronous and cached I/O too.
> > 
> > > From Linux kernel POV, *asynchronous* I/O is a pair of
> > io_submit/io_getevents syscalls, and dd does not do these regardless of
> > the options that are provided.
> > What dd does is a *synchronous* I/O (read/write syscalls or
> > pread64/pwrite64 for older kernels).
> > 
> > Whenever the I/O is cached (an output file is opened without
> > O_DIRECT|O_DSYNC flags) or not is orthogonal to whenever it's sync or
> > async.
> 
> It would not surprise me if there are a dozen layers of chip registers, 
> caches, buffers, memory, etc., between a CPU register and whatever device 
> implements
> data storage in a recent to modern x86_64 computer. And, I can only wonder if 
> reading /dev/zero even comes from a CPU register -- it would not surprise me 
> if
> an MMU feature does.
> 
> 
> I was referring to the 'fdatasync', 'fsync', 'dsync', 'sync', and 'nocache' 
> options to dd(1).

You did. These all deal with the various caching aspects.
Several years ago I saw some patches to dd that implemented async I/O,
but AFAIK they were never accepted upstream. May have something with the
fact that the patches in question were written by Oracle employees.


> Given the terse manual page, and a unwillingness to crawl the dd(1)
> and/or kernel code, I can only guess at my understanding of what is
> happening.

There's strace for the lazy ones like you and me ;) One of my favorite
troubleshooting tools for many years.


> But, all of those options seem to imply some opposite of
> asynchronous or buffered I/O as I know it.

No, it's just the wording.

"sync" - you are blocked on each read/write syscall, and there's no way
around it.

"async" - you're not, if you're doing io_submit. You are if you're doing
io_getevents, but life's unfair.

"direct" - you're telling the kernel that you do not consider a write
completed unless it has landed at a persistent storage. You're asking a
kernel to read for you regardless of the state of the kernel's current
page cache.

"cached" - you don't care whenever your write lands to the persistent
storage. Likewise, you don't care if the read comes from the page cache
or the persistent storage.

Most of the I/O your everyday programs do is "cached sync". There are
exceptions to this rule, like apt (dsync writes), or firefox (dsync
writes for sqlite). But to have an async I/O, one usually have to link
against libaio, like mysql or postgres do.


> "The devil is in the details."

Totally agree.

Reco

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[tomas]

On Wed, Jun 17, 2020 at 11:45:53PM +0300, Reco wrote:

[...]

> Long story short, if you need a primitive I/O benchmark, you're better
> with both dsync and nocache.

Thanks for actually looking over dd's shoulder :-)

Cheers
-- t


signature.asc
Description: Digital signature

Re: [OT] Regular DKIM issues on this ML (was: Re: why !oh why Debian and application list)

[Richard Hector]

On 18/06/20 8:08 am, Greg Wooledge wrote:
> On Thu, Jun 18, 2020 at 08:02:11AM +1200, Richard Hector wrote:
>> > See  for more details.
> 
>> I understand the phenomenon. I don't understand why modern software (eg
>> the list software) still does it.
> 
> Well, imagine you're a mailing list.  A dozen people are subscribing
> to you, and you have no way to know which MTA and mailbox formats each
> of your subscribers is using.
> 
> If you don't do the From mangling, and you send a message to
> subscriber #7 who happens to be using a traditional /var/spool/mail
> mbox format, the results could be undesirable -- #7 will see half a
> message followed by a broken message.

If subscriber #7 can't deal with lines with a leading From, then surely
they're going to see breakage with any such incoming mail, not just
those from the list. And so if needed, their own mail system (MTA or
MUA) will mangle the From lines.

How is a message from a list fundamentally different? It doesn't supply
me with an mbox file, it still sends a properly formatted email.

Richard

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Reco]

Hi.

On Wed, Jun 17, 2020 at 10:33:51PM +0200, to...@tuxteam.de wrote:
> So to test disk write speed, 'dsync' seems the way to go. When dumping
> to a device, there are no metadata (am I right there?), so probably
> again you want 'dsync'.
> 
> I don't know what 'nocache' would do for writing. For reading, it seems
> to make sense to avoid huge files (think a video) uselessly clobbering
> your cache (you're going to look at the blocks once, right?).

Ez.

Conventional dd:

$ strace dd if=/dev/zero of=/tmp/1 bs=1M count=1
openat(AT_FDCWD, "/dev/zero", O_RDONLY) = 3
...
openat(AT_FDCWD, "/tmp/1", O_WRONLY|O_CREAT|O_TRUNC, 0666) = 3



dsync dd (note O_DSYNC flag):

$ strace dd if=/dev/zero of=/tmp/1 bs=1M count=1 oflag=dsync
openat(AT_FDCWD, "/dev/zero", O_RDONLY) = 3
...
openat(AT_FDCWD, "/tmp/1", O_WRONLY|O_CREAT|O_TRUNC|O_DSYNC, 0666) = 3



nocache dd (note fadvise64 syscall and the lack of O_DSYNC flag):

$ strace dd if=/dev/zero of=/tmp/1 bs=1M count=1 oflag=nocache
openat(AT_FDCWD, "/dev/zero", O_RDONLY) = 3
...
openat(AT_FDCWD, "/tmp/1", O_WRONLY|O_CREAT|O_TRUNC, 0666) = 3
...

...
fadvise64(1, 0, 1048576, POSIX_FADV_DONTNEED) = 0


Basically by "dsync" you're telling "I want chunks of this file to be
written to the disk every time I finish waiting write(2) syscall, but
feel free to cache it for other readers anyway", and by "nocache" you're
telling "I need it to evict from the filesystem cache once I close the
file but feel free to cache it before then, and I don't need to wait for
the disk writes every time I call write(2)".

Long story short, if you need a primitive I/O benchmark, you're better
with both dsync and nocache.

Reco

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[tomas]

On Wed, Jun 17, 2020 at 01:23:41PM -0700, David Christensen wrote:

[...]

> I was referring to the 'fdatasync', 'fsync', 'dsync', 'sync', and
> 'nocache' options to dd(1).  Given the terse manual page, and a
> unwillingness to crawl the dd(1) and/or kernel code, I can only
> guess at my understanding of what is happening.  But, all of those
> options seem to imply some opposite of asynchronous or buffered I/O
> as I know it.

FWIW, the info file is more --uh-- informative on those. I copy
the bits which seem related to this thread. Elisions marked with
[...]:

‘oflag=FLAG[,FLAG]...’
 Access the output file using the flags specified by the FLAG
 argument(s).  (No spaces around any comma(s).)

 Here are the flags.  Not every flag is supported on every operating
 system.

 [...]

 ‘dsync’
  Use synchronized I/O for data.  For the output file, this
  forces a physical write of output data on each write.  For the
  input file, this flag can matter when reading from a remote
  file that has been written to synchronously by some other
  process.  Metadata (e.g., last-access and last-modified time)
  is not necessarily synchronized.

 ‘sync’
  Use synchronized I/O for both data and metadata.

 ‘nocache’
  Request to discard the system data cache for a file.  When
  count=0 all cached data for the file is specified, otherwise
  the cache is dropped for the processed portion of the file.
  Also when count=0, failure to discard the cache is diagnosed
  and reflected in the exit status.

  Note data that is not already persisted to storage will not be
  discarded from cache, so note the use of the “sync” options in
  the examples below, which are used to maximize the
  effectiveness of the ‘nocache’ flag.

  Here are some usage examples:

   # Advise to drop cache for whole file
   dd if=ifile iflag=nocache count=0

   # Ensure drop cache for the whole file
   dd of=ofile oflag=nocache conv=notrunc,fdatasync count=0

   # Advise to drop cache for part of file
   # Note the kernel will only consider complete and
   # already persisted pages.
   dd if=ifile iflag=nocache skip=10 count=10 of=/dev/null

   # Stream data using just the read-ahead cache.
   # See also the ‘direct’ flag.
   dd if=ifile of=ofile iflag=nocache oflag=nocache,sync


So to test disk write speed, 'dsync' seems the way to go. When dumping
to a device, there are no metadata (am I right there?), so probably
again you want 'dsync'.

I don't know what 'nocache' would do for writing. For reading, it seems
to make sense to avoid huge files (think a video) uselessly clobbering
your cache (you're going to look at the blocks once, right?).

Cheers
-- tomás


signature.asc
Description: Digital signature

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[David Christensen]

On 2020-06-17 12:26, Reco wrote:


On Wed, Jun 17, 2020 at 12:10:51PM -0700, David Christensen wrote:

2.  AIUI dd(1) uses asynchronous (buffered) I/O unless told otherwise.


You seem to confuse asynchronous and cached I/O too.


From Linux kernel POV, *asynchronous* I/O is a pair of

io_submit/io_getevents syscalls, and dd does not do these regardless of
the options that are provided.
What dd does is a *synchronous* I/O (read/write syscalls or
pread64/pwrite64 for older kernels).

Whenever the I/O is cached (an output file is opened without
O_DIRECT|O_DSYNC flags) or not is orthogonal to whenever it's sync or
async.


It would not surprise me if there are a dozen layers of chip registers, 
caches, buffers, memory, etc., between a CPU register and whatever 
device implements data storage in a recent to modern x86_64 computer. 
And, I can only wonder if reading /dev/zero even comes from a CPU 
register -- it would not surprise me if an MMU feature does.



I was referring to the 'fdatasync', 'fsync', 'dsync', 'sync', and 
'nocache' options to dd(1).  Given the terse manual page, and a 
unwillingness to crawl the dd(1) and/or kernel code, I can only guess at 
my understanding of what is happening.  But, all of those options seem 
to imply some opposite of asynchronous or buffered I/O as I know it.



"The devil is in the details."



For the true async I/O you'll need something like fio, not dd.


That looks like an interesting tool.


David

Captation flux audio ET vidéo

[Yannick]

Bonsoir,

Je suis amener à faire une intervention lors d'un salon virtuel en ligne.
Je cherche un outil graphique qui me permette de récupérer le signal
vidéo et le son que je vais émettre.
J'utiliserais une plateforme Jitsi pour faire la conférence.

Le but est d'avoir une copie de cette intervention. On me propose de
passer par FB mais bon j'en suis parti ce n'est pas pour y revenir.

Amitiés

-- 
Yannick VOYEAUD
Nul n'a droit au superflu tant que chacun n'a pas son nécessaire
(Camille JOUFFRAY 1841-1924, maire de Vienne)
http://www.voyeaud.org
Créateur CimGenWeb: http://www.francegenweb.org/cimgenweb/
Journées du Logiciel Libre: http://jdll.org
Généalogie en liberté avec Ancestris https://www.ancestris.org




signature.asc
Description: OpenPGP digital signature

Re: [OT] Regular DKIM issues on this ML (was: Re: why !oh why Debian and application list)

[Greg Wooledge]

On Thu, Jun 18, 2020 at 08:02:11AM +1200, Richard Hector wrote:
> > See  for more details.

> I understand the phenomenon. I don't understand why modern software (eg
> the list software) still does it.

Well, imagine you're a mailing list.  A dozen people are subscribing
to you, and you have no way to know which MTA and mailbox formats each
of your subscribers is using.

If you don't do the From mangling, and you send a message to
subscriber #7 who happens to be using a traditional /var/spool/mail
mbox format, the results could be undesirable -- #7 will see half a
message followed by a broken message.

The easy fix is to perform From mangling on every message that passes
through you.  That way, people won't see massively broken messages.
Occasionally, people will see a single broken line in a message, but
99% of the rest of your traffic will be OK.

It's a conservative strategy, and it works... mostly.  Close enough.

Re: [OT] Regular DKIM issues on this ML (was: Re: why !oh why Debian and application list)

[Richard Hector]

On 15/06/20 11:44 pm, Greg Wooledge wrote:
> On Sun, Jun 14, 2020 at 10:13:11AM -0500, David Wright wrote:
>> On Sat 13 Jun 2020 at 16:05:17 (+0200), l0f...@tuta.io wrote:
>> > However, this extra ">" should have been deleted upon viewing the email, 
>> > no?
>> 
>> How would the viewer's email client know whether the > in
>> >From had been added by some such scheme as above and should
>> be removed, or was a genuine occurrence in the original email?
> 
> Exactly.  It's a non-reversible mangling of the message body, prompted by
> an extremely well-known limitation of the mbox formats.
> 
> See  for more details.
> In particular, we're talking about the
>  section.
> 
> This same discussion seems to happen every month on this list, and it's
> still not clear to me WHY people can't understand it.  It's not a new
> phenomenon.  It's been this way forever.
> 

I understand the phenomenon. I don't understand why modern software (eg
the list software) still does it.

Richard

Re: X11 / KDE Plasma 5 periodically freezes when I use GUI app inside LXC container

[John Radek]

> On Wed, 17 Jun 2020 at 17:23, Marco Möller 
>  wrote:

> You will need to study the relevant documentation first. You then will
> find why two of the parameters are equal to "0" (it is because others
> are in use..., I mentioned already that there are more parameters
> present and I only mentioned some of them to provide you the key words
> for your research). I am sorry for not having time to explain everything
> here on the list, but I know that you will find a lot of information
> published and discussed already. This could be one of the many entry
> points into your studies:
> https://lonesysadmin.net/2013/12/22/better-linux-disk-caching-performance-vm-dirty_ratio/
> Sorry for not being able to answer in more detail, I am simply not
> having time for it right now. :-(  But at least you got some idea where
> you could search for a solution. I am not even sure if this will solve
> your problem, but at least you have this idea now on your list.
> Best wishes, and good luck! Maybe others can contribute more ideas
> and/or solutions!
> Marco.

Thank you very much Marco. After changing many things including filesystem and
disk the containers are running on... It’s not storage! ;-)

E-mail from Will about DNS timeouts let me think about network
timeouts in general.
My containers usually don’t have network access. They don’t even have network
interface which means if you run “ip link” inside of LXC container you
get just “1: lo:”.

BUT on host I have custom config in /etc/nftables.conf. I disconnected
the testing laptop from internet and I cleared ALL rules in /etc/nftables.conf
and after fresh reboot I tested GUI app in a container again. And NO ISSUES!

That means I managed to narrow down the issue. It’s firewall with
default policy DROP instead of REJECT. It also says something about Xorg doing
something on network I have no idea what

Of course I don’t want to disable firewall on my other laptops that are not
for testing only so I need to get logs from Nftables and make sure they’re
REJECTing and not DROPing and therefore they don’t cause timeouts. Or maybe
I can change Xorg behavior but I assume it’ll be easier
to reconfigure nftables...

Thank you both Marco and Will!

Kind regards,
JR

Re: Disabling recommends - was [Re: bash-completion pros/cons]

[Brian]

On Wed 17 Jun 2020 at 14:15:05 -0500, David Wright wrote:

> On Wed 17 Jun 2020 at 18:15:49 (+0100), Brian wrote:
> > > On Wed, Jun 17, 2020 at 06:51:18AM -0500, Richard Owlett wrote:
> 
> > > > Clarification of my immediate goal:
> > > > 
> > > > Using the ISO of DVD1 I wish to install Debian with "recommends"
> > > > disabled during the installation process.
> 
> > Section 5.3.2 of the Installation Guide has the preseed option
> > 
> >  recommends=false
> > 
> > as the way of disabling recommended packages:
> > 
> >   By setting this option to false, the package management system
> >   will be configured to not automatically install "Recommends",
> >   both during the installation and for the installed system.
> > 
> > My observations indicate that the first claim does not work for
> > installing the base system or additional software, but the second
> > configuration is carried out.
> 
> I presume that by "second configuration" you mean that the installer
> leaves the desired option in /target/etc/apt/ when it quits.

Indeed I do.

> What's visible from the installer's logs is that Recommends are
> sometimes installed, and sometime not, and that it's controlled
> by the commandline, overriding any configuration inserted into either
> of /target/etc/apt/ or /etc/apt/¹. Of course, I have no idea how the
> d-i constructs those commandlines.

AFAICT, it appears Recommends are *always* installed using the Installer,
irrespective of preseeding. Not *sometimes*.

> > It seems me that Richard's goal is unachievable.
> 
> To me, it would make a little more sense to examine the installed
> system at length and see what can be taken out. I think the "OP"
> already has received methods of determining "top-level" packages.

That is what I do. At the same time, we have the issue that

  recommends=false

is apparently ignored. That is the essential issue. Should he choose to,
Richard Owlett will confirm that this is the case.
 
> > > > The purpose is to determine if I want to do future installs debootstrap.
> > > > I attempted to use debootstrap a few years ago and understand it
> > > > will take some time/effort to learn it.
> 
> AFAICT, all installs run debootstrap, but under the hood. But having
> learnt it, perhaps you'll be able to unpick its logs better than I can.

debootstrap is only run during the installation of the base system. It
installs recommended packages. That is in contradiction to what the
Manual says.

> > Section 6.3.5 of the Installation Guide says:
> > 
> >   For technical reasons packages installed during the installation
> >   of the base system are installed without their "Recommends".
> > 
> > I observere this is not correct, irrespective of "recommends=false".
> 
> I don't know exactly what they mean by "base system". It's certainly
> true that one step is carried out with --no-install-recommends set:
> it's large (wrt number of packages), replaces the kernel that has just
> been installed previously (with its Recommends) and performs an upgrade.
> Perhaps that is all that's meant.

Base System is the set of important packages installed after partitioning
is carried out.

Re: [OT] Regular DKIM issues on this ML (was: Re: why !oh why Debian and application list)

[Reco]

Hi.

On Mon, Jun 15, 2020 at 02:06:08PM +0200, l0f...@tuta.io wrote:
> Hi,
> 
> 13 juin 2020 à 21:14 de recovery...@enotuniq.net:
> 
> > You're looking at the wrong header. It's X-Spam-Status and
> > X-Amavis-Spam-Status you should worry about. Authetication-Results is
> > set by your MTA receiving your own mail from the list.
> >
> > But yes, they are both OK for this and your previous e-mails.
> >
> Ok, thanks but still confusing...

Let's try it one more time. This particular phrase failed DKIM test in
another thread.

>From Linux kernel POV, *asynchronous* I/O is a pair of
io_submit/io_getevents syscalls, and dd does not do these regardless of
the options that are provided.

Reco

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Reco]

Hi.

On Wed, Jun 17, 2020 at 12:10:51PM -0700, David Christensen wrote:
> 2.  AIUI dd(1) uses asynchronous (buffered) I/O unless told otherwise.

You seem to confuse asynchronous and cached I/O too.

>From Linux kernel POV, *asynchronous* I/O is a pair of
io_submit/io_getevents syscalls, and dd does not do these regardless of
the options that are provided.
What dd does is a *synchronous* I/O (read/write syscalls or
pread64/pwrite64 for older kernels).

Whenever the I/O is cached (an output file is opened without
O_DIRECT|O_DSYNC flags) or not is orthogonal to whenever it's sync or
async. 

For the true async I/O you'll need something like fio, not dd.

Reco

Re: Disabling recommends - was [Re: bash-completion pros/cons]

[David Wright]

On Wed 17 Jun 2020 at 18:15:49 (+0100), Brian wrote:
> > On Wed, Jun 17, 2020 at 06:51:18AM -0500, Richard Owlett wrote:

> > > Clarification of my immediate goal:
> > > 
> > > Using the ISO of DVD1 I wish to install Debian with "recommends"
> > > disabled during the installation process.

> Section 5.3.2 of the Installation Guide has the preseed option
> 
>  recommends=false
> 
> as the way of disabling recommended packages:
> 
>   By setting this option to false, the package management system
>   will be configured to not automatically install "Recommends",
>   both during the installation and for the installed system.
> 
> My observations indicate that the first claim does not work for
> installing the base system or additional software, but the second
> configuration is carried out.

I presume that by "second configuration" you mean that the installer
leaves the desired option in /target/etc/apt/ when it quits.

What's visible from the installer's logs is that Recommends are
sometimes installed, and sometime not, and that it's controlled
by the commandline, overriding any configuration inserted into either
of /target/etc/apt/ or /etc/apt/¹. Of course, I have no idea how the
d-i constructs those commandlines.

> It seems me that Richard's goal is unachievable.

To me, it would make a little more sense to examine the installed
system at length and see what can be taken out. I think the "OP"
already has received methods of determining "top-level" packages.

> > > The purpose is to determine if I want to do future installs debootstrap.
> > > I attempted to use debootstrap a few years ago and understand it
> > > will take some time/effort to learn it.

AFAICT, all installs run debootstrap, but under the hood. But having
learnt it, perhaps you'll be able to unpick its logs better than I can.

> Section 6.3.5 of the Installation Guide says:
> 
>   For technical reasons packages installed during the installation
>   of the base system are installed without their "Recommends".
> 
> I observere this is not correct, irrespective of "recommends=false".

I don't know exactly what they mean by "base system". It's certainly
true that one step is carried out with --no-install-recommends set:
it's large (wrt number of packages), replaces the kernel that has just
been installed previously (with its Recommends) and performs an upgrade.
Perhaps that is all that's meant.

¹ I think the latter would only affect the d-i itself, and that system's
  configuration gets thrown away at exit.

Cheers,
David.

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[David Christensen]

On 2020-06-17 03:14, Albretch Mueller wrote:

  HDDs have their internal caching mechanism and I have heard that the
Linux kernel uses RAM very effitiently, but to my understanding RAM
being only 3-4 times faster doesn't make much sense, so I may be doing
or understanding something not entirely right.

  does dd actually hit the bare metal drive or is it just reaching the
disks cache

  This is what I am consistently getting from my code doing intesive IO
on the RAM drive:

// __ write speed test
#
# time dd if=/dev/zero of="${_RAM_MNT}"/zero bs=4k count=10
10+0 Datensätze ein
10+0 Datensätze aus
40960 Bytes (410 MB, 391 MiB) kopiert, 0,756943 s, 541 MB/s

real0m0,760s
user0m0,048s
sys 0m0,680s
#

// __ read speed test
#
# time dd if="${_RAM_MNT}"/zero of=/dev/null bs=4k count=10
10+0 Datensätze ein
10+0 Datensätze aus
40960 Bytes (410 MB, 391 MiB) kopiert, 0,36381 s, 1,1 GB/s

real0m0,368s
user0m0,016s
sys 0m0,344s
#

// __ my code reports while using a ramdisk:

...
// __ |0| files not found or empty!
// __ |8616768| bytes in |48| files offset processed (weighted and
checked) in |720057| (ms), |11| (bytes/ms)

real12m0,396s
user9m12,596s
sys 3m11,524s


For background information on asynchronous input/ output, see:

https://en.wikipedia.org/wiki/Asynchronous_I/O


As others have mentioned:

1.  dd(1) with an option of 'bs=4k' will give lower performance that 
dd(1) with a larger blocksize.  (I believe the Linux kernel uses 128 kiB 
blocks for I/O; this value should work well on any Linux computer.  But, 
I use 'bs=1M' to make calculations easier.)


2.  AIUI dd(1) uses asynchronous (buffered) I/O unless told otherwise. 
If the total amount of data written fits into RAM, dd(1) with 
asynchronous writes will give higher performance that dd(1) with 
synchronous writes.  If the total amount of data written is much larger 
than RAM, the differences are less pronounced.



You seem to be comparing apples and oranges:

1.  The dash(1) and bash(1) built-in 'time' reports "accumulated user 
and system times for the shell and for processes run from the shell".  I 
tend to focus on the first value ("wall clock time").


2. dd(1) reports the number of full and partial records in, the number 
of full and partial records out, bytes copied, Megabytes copied, 
Mibabytes copied, copy time, and throughput.


3.  The statistics reported by your code are different values, units, 
and/or format.  This makes it hard to make comparisons against the dd(1) 
statistics.  I suggest that you rework your code to collect and output 
statistics in the same format as dd(1).


4.  It is unclear if your dd(1) invocations are representative of the 
I/O performed by your code.  I suggest that you match block size, block 
count, and I/O mode for both dd(1) and your code.






$ 
_HDD_DIR="/home/lbrtchx/cmllpz/prjx/kd/java/IO/ffst_bytes/logs/ffst_diffs_files"
$
$ time dd if=/dev/zero of="${_HDD_DIR}"/zero bs=4k count=10
10+0 Datensätze ein
10+0 Datensätze aus
40960 Bytes (410 MB, 391 MiB) kopiert, 1,92086 s, 213 MB/s

real0m1,924s
user0m0,064s
sys 0m1,468s





$ time dd if="${_HDD_DIR}"/zero of=/dev/null bs=4k count=10
10+0 Datensätze ein
10+0 Datensätze aus
40960 Bytes (410 MB, 391 MiB) kopiert, 0,521688 s, 785 MB/s

real0m0,525s
user0m0,040s
sys 0m0,308s





# time dd if=/dev/zero of="${_HDD_DIR}"/zero bs=4k count=10
10+0 Datensätze ein
10+0 Datensätze aus
40960 Bytes (410 MB, 391 MiB) kopiert, 1,94642 s, 210 MB/s

real0m1,954s
user0m0,048s
sys 0m1,484s
#





# time dd if="${_HDD_DIR}"/zero of=/dev/null bs=4k count=10
10+0 Datensätze ein
10+0 Datensätze aus
40960 Bytes (410 MB, 391 MiB) kopiert, 0,735103 s, 557 MB/s

real0m0,744s
user0m0,036s
sys 0m0,324s
#

// __ my code reports while using a hdd access:

...

// __ |0| files not found or empty!
// __ |8616768| bytes in |48| files offset processed (weighted and
checked) in |2412518| (ms), |3| (bytes/ms)

real40m12,727s
user10m42,576s
sys 8m41,180s



Again, apples and oranges.  A minor point -- use one account for 
testing, not one user account and the root account.



Improving the efficiency and performance of software is both art and 
science.  I suggest that you look for a profiling tools for whatever 
programming language/ environment you are using (Java?).  Such tools can 
help you identify bottlenecks, evaluate alternatives, and make informed 
decisions.



David

Re: [HS] Cloner depuis Debian un disque Win10 Lenovo

[Haricophile]

Le mercredi 17 juin 2020 à 18:38 +0200, Olivier a écrit :
> 2. Avec l'image Win10, j'ai essayé de réparer mais le processus
> s'arrête sans explication utile. Pour la beauté du geste, je vais
> quand ré-essayer de réparer une fois avant de tout ré-installer.

Tiens, ça me rappelle que j'ai eu récemment un plantage avec une
explication... explication ? ... Une explicationdu genre :

Le processus machin a du s'arrêter parce qu'il dépend du processus truc
qui n'a pas pu démarrer pour la raison suivante : 
Opération menée avec succès.

Pourvu qu'ils ne fabriquent jamais de voiture...

apt-pinnig incoherente

[JAP Debian]

Buenas tardes.

Cada tanto, para combatir el aburrimiento, me pongo a hacer "cosas raras".
Ahora fue el turno de Firefox.
En "stable", firefox está en la versión 68; en "sid", en versión 77; en 
exploradores, es una enormidad.

Me puse a jugar con apt-pinning, e instalé el de "sid", sin problemas.
Pero, como siempre, me fijo en otras cosas.

Al hacer

# apt list --upgradable
Listando... Hecho
gcc-10-base/unstable 10.1.0-4 amd64 [actualizable desde: 10-20200324-1]
libc-bin/testing,unstable 2.30-8 amd64 [actualizable desde: 2.30-4]
libc-dev-bin/testing,unstable 2.30-8 amd64 [actualizable desde: 2.30-4]
libc-l10n/testing,unstable 2.30-8 all [actualizable desde: 2.30-4]
libc6-dbg/testing,unstable 2.30-8 amd64 [actualizable desde: 2.30-4]
libc6-dev-i386/testing,unstable 2.30-8 amd64 [actualizable desde: 2.30-4]
libc6-dev-x32/testing,unstable 2.30-8 amd64 [actualizable desde: 2.30-4]
libc6-dev/testing,unstable 2.30-8 amd64 [actualizable desde: 2.30-4]
libc6-i386/testing,unstable 2.30-8 amd64 [actualizable desde: 2.30-4]
libc6-x32/testing,unstable 2.30-8 amd64 [actualizable desde: 2.30-4]
libc6/testing,unstable 2.30-8 amd64 [actualizable desde: 2.30-4]
libgcc-s1/unstable 10.1.0-4 amd64 [actualizable desde: 10-20200324-1]
libllvm9/testing,unstable 1:9.0.1-12 amd64 [actualizable desde: 1:9.0.1-11]
libstdc++6/unstable 10.1.0-4 amd64 [actualizable desde: 10-20200324-1]
libz3-4/testing,unstable 4.8.8-1 amd64 [actualizable desde: 4.8.7-4]
locales/testing,unstable 2.30-8 all [actualizable desde: 2.30-4]
manpages-dev/testing,unstable 5.07-1 all [actualizable desde: 5.05-1]
onedrive/testing,unstable 2.4.2-1+b1 amd64 [actualizable desde: 2.4.0-1]

me aparecen VARIAS cosas actualizables; asumí que mi 
/etc/apt/preferences estaba mal armado, y lo he revisado; creo que está 
bien.
Me choca que intente actualizarse desde "testing" o "sid" cosas que no 
he tocado, sobre todo, gcc.


Viendo los detalles de gcc, me encuentro con esto:

# apt policy gcc-10-base
gcc-10-base:
  Instalados: 10-20200324-1
  Candidato:  10.1.0-4
  Tabla de versión:
 10.1.0-4 500
500 https://debian.unnoba.edu.ar/debian sid/main amd64 Packages
 10.1.0-3 90
 90 https://debian.unnoba.edu.ar/debian testing/main amd64 Packages
 *** 10-20200324-1 100
100 /var/lib/dpkg/status

Ahora bien, esa prioridad "500", no tengo idea de dónde la saca, ya que 
mi archivo preferences es


Package: network-manager*
Pin: release *
Pin-Priority: -1

Package: nvidia*
Pin: release *
Pin-Priority: -1

Package: apache*
Pin: release *
Pin-Priority: -1

Package: *
Pin: release a=buster
Pin-Priority: 900

Package: *
Pin: release a=buster-updates
Pin-Priority: 800

Package: *
Pin: release a=buster-proposed-updates
Pin-Priority: 780

Package: *
Pin: release a=buster-backports
Pin-Priority: 760

Package: *
Pin: release a=testing
Pin-Priority: 90

Package: *
Pin: release a=sid
Pin-Priority: 80

Package: *
Pin: release a=experimental
Pin-Priority: 60


Si alguien me puede indicar dónde leer algo al respecto, lo agradezco, 
ya que no encuentro nada de nada.
No veo por qué estos paquetes intentan actualizarse a "testing", cuando 
preferences no prevé que la prioridad de testing sobre stable.


Muchas gracias.

JAP

Re: dubtes XOrg

[Ernest Adrogué]

2020-06-17, 12:41 (+0200); Àlex escriu:
> Anant al gra ... He volgut modificar el fitxer xorg.conf però no l'he
> trobat. Al final he creat aquest fitxer ...
> 
> $  sudo nano /etc/X11/xorg.conf.d/90-monitor.conf
> 
>     Section "Monitor"
>         Identifier ""
>         DisplaySize    395 695    # In millimeters
>     EndSection
> 
> Però en reiniciar el sistema xranr encara hem diu que la meva pantalla
> és d'11 polzades, 160mm x 90 mm
>
> Teniu idea de què estic fent malament?

El que pots fer és deixar que el servidor X generi un fitxer xorg.conf
amb la configuració auto-detectada, i llavors editar la part del monitor
i deixar la resta com està.

Per fer això has d'aturar el servidor X.  Vol dir que has d'anar a una
consola Linux, aturar el servidor X amb el systemctl i llavors executes
l'ordre X -configure.  Això crea un fitxer xorg.conf en el directori on
siguis.  El copies a /etc/X11, fas els canvis que creguis convenients, i
tornes a iniciar X amb el systemctl.

Re: X11 / KDE Plasma 5 periodically freezes when I use GUI app inside LXC container

[Marco Möller]

On 16.06.20 12:59, John Radek wrote:

On Tue, 16 Jun 2020 at 09:41, Marco Möller  
wrote:
sudo sysctl vm.swappiness=
sudo sysctl vm.vfs_cache_pressure=
sudo sysctl vm.dirty_background_bytes=
sudo sysctl vm.dirty_bytes=


Thank you Marco.

I checked my current values

---
sudo sysctl vm.swappiness
# vm.swappiness = 60

sudo sysctl vm.vfs_cache_pressure
# vm.vfs_cache_pressure = 100

sudo sysctl vm.dirty_background_bytes
# vm.dirty_background_bytes = 0

sudo sysctl vm.dirty_bytes
# vm.dirty_bytes = 0
---

but I haven't changed anything yet. Will try to change something and
let's see what is going to happen.





On Tue, 16 Jun 2020 at 10:16, Will Mengarini  wrote:


30 s is suspicious for a DNS timeout, but I don't know
how to identify what's causing it.


Thank you Will. It's not exactly 30sec - sometime it's just 5-10sec,
sometime it is even longer than 30sec.

But that made me think since the container has no interfaces / no IPs
(except localhost).
In Ubuntu container I stopped and disabled systemd-resolvd and add a network
interface with static IP 10.33.44.55 and in /etc/resolv.conf I set the same IP.
Nothing it listening on 53 inside LXC so if a program requests DNS
the request should get immediately refused (no timeout).
But unfortunately that  didn't help. But thank you for trying!




Meanwhile I setup testing laptop. I have identical Debian Buster setup
on multiple laptops
(all have the same issue) so I'm connecting the testing laptop from
the main laptop over SSH.
On testing laptop I'm clicking inside VSCodium to trigger the freeze
and meanwhile I'm in LXC
container (lxc-attach over SSH) from main laptop. I can confirm that
when I'm attached
the system is responsive during the freeze so it's really just GUI,
not the system.

Kind regards,
JR

You will need to study the relevant documentation first. You then will 
find why two of the parameters are equal to "0" (it is because others 
are in use..., I mentioned already that there are more parameters 
present and I only mentioned some of them to provide you the key words 
for your research). I am sorry for not having time to explain everything 
here on the list, but I know that you will find a lot of information 
published and discussed already. This could be one of the many entry 
points into your studies:

https://lonesysadmin.net/2013/12/22/better-linux-disk-caching-performance-vm-dirty_ratio/
Sorry for not being able to answer in more detail, I am simply not 
having time for it right now. :-(  But at least you got some idea where 
you could search for a solution. I am not even sure if this will solve 
your problem, but at least you have this idea now on your list.
Best wishes, and good luck! Maybe others can contribute more ideas 
and/or solutions!

Marco.

Re: Disabling recommends - was [Re: bash-completion pros/cons]

[Brian]

On Wed 17 Jun 2020 at 14:26:31 +0200, to...@tuxteam.de wrote:

> On Wed, Jun 17, 2020 at 06:51:18AM -0500, Richard Owlett wrote:
> 
> [...]
> 
> > Clarification of my immediate goal:
> > 
> > Using the ISO of DVD1 I wish to install Debian with "recommends"
> > disabled during the installation process.
> 
> I can't give you an authoritative answer for this one, sorry.

Section 5.3.2 of the Installation Guide has the preseed option

 recommends=false

as the way of disabling recommended packages:

  By setting this option to false, the package management system
  will be configured to not automatically install "Recommends",
  both during the installation and for the installed system.

My observations indicate that the first claim does not work for
installing the base system or additional software, but the second
configuration is carried out.

It seems me that Richard's goal is unachievable.

> > The purpose is to determine if I want to do future installs debootstrap.
> > I attempted to use debootstrap a few years ago and understand it
> > will take some time/effort to learn it.
> 
> Once you actually start customizing your installs, a combo of debootstrap
> and an apt cache is unbeatable, Yes, there's some slope to take, but the
> view from up there is magnific :-)

Section 6.3.5 of the Installation Guide says:

  For technical reasons packages installed during the installation
  of the base system are installed without their "Recommends".

I observere this is not correct, irrespective of "recommends=false".

-- 
Brian.

NUEVO PROCESO DE ENTREVISTA

[Alma Cristina Garcia Andrade]

workshop
ENTREVISTAS DIGITALES
A DISTANCIA:
- Aplicaciones, Herramientas y Consejos Prácticos -
25 de Junio 2020 / Curso Online en Vivo

DESCARGAR FOLLETO DEL WORKSHOP

HACER RECLUTAMIENTO A DISTANCIA YA NO ES UNA ALTERNATIVA SINO UNA REALIDAD ANTE 
LA INMINENTE NUEVA NORMALIDAD LABORAL.

¡Conoce en este WORKSHOP nuevas aplicaciones, herramientas en tiempo real y 
metodologías para llevar a cabo entrevistas digitales a distancia!

Click para recibir mayor información a través de WhatsApp


O comuníquese directamente con alguno de nuestros ejecutivos al teléfono:

55 2450 6187
33 3632 8480
(Contamos con más de 12 líneas a su servicio)

 















 
Este boletín informativo tiene como objetivo generar valor en usted y en su 
Compañía. Para dejar de recibir este tipo de información favor de contestar con 
la palabra BAJAENTREVISTA700. O en su defecto haciendo click en el siguiente 
enlace: unsubscribe from this list

Re: dubtes XOrg

[Robert Marsellés]

Hola,

El 17/6/20 a les 12:41, Àlex ha escrit:
> Anant al gra ... He volgut modificar el fitxer xorg.conf però no l'he
> trobat. Al final he creat aquest fitxer ...
> 
> $  sudo nano /etc/X11/xorg.conf.d/90-monitor.conf
> 
>     Section "Monitor"
>         Identifier ""
>         DisplaySize    395 695    # In millimeters
>     EndSection
> 
> Però en reiniciar el sistema xranr encara hem diu que la meva pantalla
> és d'11 polzades, 160mm x 90 mm
> 
> Teniu idea de què estic fent malament?
> 

Jo també uso Testing amb targeta NVIDIA però en un portàtil.

Ja fa moltes versions que jo no trobo el fitxer "xorg.conf" al directori
on haurien de ser. Pel que jo sé (de memòria, no trobo els enllaços
ara), no és necessari tenir-lo excepte en casos especials:

- el sistema no funciona o
- es vol utilitzar configuracions fora de l'habitual (com tu suposo).

Podries buscar al wiki [1] que sembla que no està gaire desfasat (gener
2020).  Potser alguns dels enllaços et pot donar una pista a seguir. Tot
i que em fa vergonya dir-ho, al man xorg.conf(5) [2] potser hi podries
trobar algo interessant.

> 
> I ja posats, recomaneu controladors privatius nvidia sobre noveau?
> 
> Sempre he treballat amb nouveau, però al nucli 5.6 els sistemes amb
> targeta gràfica nvidia (controladors nouveau) vam perdre el so:
> 
>    https://bugzilla.kernel.org/show_bug.cgi?id=207223
> 
> I tot i que la solució està disponible fa temps, sembla que el pegat no
> entrarà ni al nucli 5.6 ni potser al 5.7, ja que és un problema menor
> que els usuaris de Linux no tinguin so. Qui necesita so? Qui necesita un
> escriptori? Vamos!
> 

Jo ho vaig intentar ja fa molt temps però vaig tenir molts problemes amb
el consum d'energia per part del controlador propietari. Al final, com
que "nouveau" no em dona cap problema i realment no necessito tanta
potència gràfica, continuo utilitzant el controlador lliure.

A la llista debian-user [2] hi ha hagut moltes discussions sobre el tema
i la millor manera d'instal·lar-los o eliminar-los. Podries fer-hi una
cerca.

Salut i peles,

robert

[1] https://wiki.debian.org/Xorg
[2] https://manpages.debian.org/buster/xserver-xorg-core/xorg.conf.5.en.html
[3] https://lists.debian.org/debian-user/

Re: [HS] Cloner depuis Debian un disque Win10 Lenovo

[Olivier]

1. De guerre lasse, j'ai interrogé le support de Lenovo qui m'a écrit que
le clonage ne suffisait pas et qu'il fallait tout ré-installer à partir
d'une image Win10.
2. Avec l'image Win10, j'ai essayé de réparer mais le processus s'arrête
sans explication utile. Pour la beauté du geste, je vais quand ré-essayer
de réparer une fois avant de tout ré-installer.

À suivre ...


Le mer. 17 juin 2020 à 16:16, Haricophile  a écrit :

> Le mercredi 17 juin 2020 à 09:58 +0200, Olivier a écrit :
> > Avec le nouveau disque sur le port SATA, sans aucun disque externe,
> > j'ai le message d'erreur:
> > "Your PC/Device needs to be repaired".
>
> Et tu ne peux pas le réparer avec l'outils de Windows ?
>
> >
> > Bien sûr, le nouveau disque est physiquement détecté par le BIOS,
> > donc correctement connecté.
> >
> > Que faire, sans ré-installer Win10, si possible ?
>
> Ben... justement... mais avec Win10 ça devrait être moins chiant car il
> est capable de réinitialiser, c'est à dire réinstaller par dessus sans
> tout perdre sinon des programmes a réinstaller.
>
> Mon expertise de dépannage de windows10 est limitée, mais il me semble
> que l'image de windows est téléchargeable en cas de besoin si tu n'a
> pas de support d'installation et permet de "réparer" ou "réinstaller
> sans perdre les données" depuis un DVD ou une clé mémoire USB. Le point
> critique étant le code de licence qui est incontournable.
>
> Pour l'anecdote, dans les années 2000 j'avais un cybercafé touristique.
> J'avais 4 Windows XP pour quelques joueurs, et je passais 50 fois plus
> de temps à maintenir ces Windows (nettoyage, déverminage, débuguage,
> défragmentation...) que je passais à maintenir la douzaine de Linux
> (quelque minutes par ci par là pour contrôler et faire les updates,
> quasi rien en fait).
>
> Les clients de toutes nationalités pensait que mon Windows était une
> version à la sauce cybercafé et étaient absolument ravi de trouver un
> truc qui marchait super rapidement sans aucune vermine, parfaitement
> sécurisé et clean, sans pub dans le navigateur etc. j'avais beaucoup de
> compliment là dessus, et il y avait plusieurs anglais qui venaient chez
> moi régulièrement pour leurs affaires financières.
>
> En fait c'était un KDE3 bien réglé avec un fond d'écran de prairie et
> aux couleurs de XP. En plus je pouvais leur fournir l'interface dans
> leur langue, ce qui n'était pas possible avec XP. La seule chose est
> que quelques uns s'acharnaient à vouloir installer mIRC même si je leur
> montrais une alternative.
>
> Bref, même sans des bug de Windows comme celui qui traîne depuis
> longtemps et qui peut écraser totalement le disque externe USB lors
> d'une mise à jour majeure, je me demande toujours comment dans les
> entreprises on peut encore avoir encore du Windows, il y a des trucs
> que je dois ignorer dans le déploiement/maintenance de Micro$oft, ou
> alors les aberrations que je vois très régulièrement dans le SI de
> l'entreprise de ma femme (un grand groupe) sont considéré comme
> normales...
>
> Tout ce bavardage hors propos pour en arriver à : Tu as vraiment besoin
> d'un windows ? Dans machine virtuelle qui résoud définitivement les
> problèmes de réinstallation et de changement de machine, ça ne suffit
> pas ?
>
> Amicalement
> --
> Jérôme
>
>
>

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Albretch Mueller]

> Your test dataset is too small and you aren't flushing the cache before 
> exiting dd, so you are largely seeing the time it takes to write to cache, 
> not to disk.
> But that gives the RAID10 system 220 IOPs, still nowhere near the 100,000 
> IOPs of a single SSD.
> I suggest that you google a bit on how to do fileystem benchmarks first, then 
> try it and report back if something is still odd.
> Your test dataset is too small and you aren't flushing the cache before 
> exiting dd, so you are largely seeing the time it takes to write to cache, 
> not to disk.
 . . .
 Oh, well, yes. I knew that I was "seeing" something that wasn't quite right.
 Your answers grounded me on such issues.
 Thank you und Entschuldigung!
 lbrtchx

On 6/17/20, Anders Andersson  wrote:
> On Wed, Jun 17, 2020 at 12:15 PM Albretch Mueller 
> wrote:
>>
>>  HDDs have their internal caching mechanism and I have heard that the
>> Linux kernel uses RAM very effitiently, but to my understanding RAM
>> being only 3-4 times faster doesn't make much sense, so I may be doing
>> or understanding something not entirely right.
>
> I suggest that you google a bit on how to do fileystem benchmarks
> first, then try it and report back if something is still odd. There
> are many ways but "dd" is not the way unless you really dig through
> the sync flags and understand what they do. I normally use "fio" but
> it's not very friendly (so it suits me).
>
> However, I just recently put a fast NVMe SSD in an older server with
> (lots) of DDR3 ECC RAM. The RAM bandwidth for one node/CPU is about
> 10-12 GB/s, and the SSD bandwidth is nearing 2 GB/s for most loads.
> That's getting close to your figures!
>
>

[Résolu] Liste des paquets installés sur mon ordi

[benoit]

Sent with ProtonMail Secure Email.

‐‐‐ Original Message ‐‐‐
Le mercredi 17 juin 2020 17:17, Erwan David  a écrit :

> Le 17/06/2020 à 14:41, benoit a écrit :
>
> > ‐‐‐ Original Message ‐‐‐
> > Le mercredi 17 juin 2020 14:32, steve dl...@bluewin.ch a écrit :
> >
> > > Salut,
> >
> > Salut
> >
> > > Quand tu dis « installer manuellement », ça veut dire quoi exactement ?
> > > Car tous les paquets ci-dessous sont dans les dépôts Debian officiels.
> >
> > Par exemple quand on donne en paramètre à apt, un paquet déjà installé par 
> > dépendance d'un autre.
> > apt répond que le paquet est déjà installé et passe en installé 
> > manuellement.
> > Ces paquets là je ne les voudraient pas dans ma liste puisqu'ils sont des 
> > dépendances.
>
> Bon je suis un peu en retard, mais pour les paquets installés en"manuel"
> (et donc pas en dépendance) je fais apt-mark showmanual

Encore plus simple et j'ai fais un diff pour comparer la sortie redirigée dans 
un fichier de
apt-mark showmanual > liste-paquets.txt
et
aptitude -F "%p" search ~i\!~M > paquets.list

Il n'y a pas de différence ! ;-)
Même ordre alphabétique et tout ! ;-)

Merci !

--
Benoit

Re: Liste des paquets installés sur mon ordi.

[Erwan David]

Le 17/06/2020 à 14:41, benoit a écrit :
> ‐‐‐ Original Message ‐‐‐
> Le mercredi 17 juin 2020 14:32, steve  a écrit :
> 
>> Salut,
>>
> Salut
> 
>>
>> Quand tu dis « installer manuellement », ça veut dire quoi exactement ?
>> Car tous les paquets ci-dessous sont dans les dépôts Debian officiels.
>>
> 
> Par exemple quand on donne en paramètre à apt, un paquet déjà installé par 
> dépendance d'un autre.
> 
> apt répond que le paquet est déjà installé et passe en installé manuellement.
> Ces paquets là je ne les voudraient pas dans ma liste puisqu'ils sont des 
> dépendances.

Bon je suis un peu en retard, mais pour les paquets installés en"manuel"
(et donc pas en dépendance) je fais apt-mark showmanual

[Résolu] Liste des paquets installés sur mon ordi.

[benoit]

‐‐‐ Original Message ‐‐‐
Le mercredi 17 juin 2020 14:35, Daniel Caillibaud  a 
écrit :

> Le 17/06/20 à 12:15, benoit benoit...@protonmail.ch a écrit :
>
> > Bonjour à tou·t·e·s
> > Pour réinstaller facilement d’un ordi à l’autre, je voudrais, demander à 
> > apt ou dpkg (ou
> > autre) :
>
> Je sais faire avec aptitude parce que je connais sa syntaxe, mais c'est 
> sûrement possible avec
> d'autre apt-*
>
> > (la liste des paquets installés manuellement) MOINS (ceux qui auraient été 
> > installés par
> > dépendance de l’un d’entre eux) ET (sans le n° de version de façon à 
> > pouvoir tout installer
> > en testing alors que certains paquets sont en stable).
>
> aptitude -F "%p" search '~i!~M' > paquets.list
> ou bien
> aptitude -F "%p" search ~i\!~M > paquets.list
> (faut échapper le ! que le shell interprête)
>
> pour réinstaller, copier le fichier paquets.list puis
> apt install $(
> Lors d'une montée de version de debian, il y a souvent des paquets qui 
> n'existent plus ou des
> pbs de dépendances qu'il faut régler manuellement (je les retire de la liste 
> et les traite
> ensuite au cas par cas)
>
> > L’opération MOINS serait bien utile, car il me semble avoir déjà constaté 
> > que d’une version à
> > l’autre de Debian, les dépendances pour un paquet donné ne sont pas 
> > toujours les mêmes.
>
> C'est le !~M qui retire les paquets installés automatiquement.
>
> -F '%p' pour avoir seulement le nom du paquet dans la sortie (ni version ni 
> état ni description)
> ~i pour les paquets installés
> ~M paquets installés automatiquement
> !~M sauf les paquets auto
> ~c pour avoir les paquets installés puis retirés mais non purgés

Un tout grand merci pour ces explications !
Ca le fait ! ;-)


>
> Il y a beaucoup d'autres critères possibles pour le search, cf la doc
>
> > Autre usage, voici une liste de paquets que j’ai installés manuellement 
> > pour compiler un
> > programme… Y a-t-il une commande permettant de supprimer de cette liste 
> > tous ceux qui
> > auraient été installés automatiquement, car dépendants d’un autre paquet de 
> > cette liste ?
> > cmake dh-exec dh-python libboost-date-time-dev libboost-dev 
> > libboost-filesystem-dev
> > libboost-graph-dev libboost-iostreams-dev libboost-program-options-dev 
> > libboost-regex-dev
> > libboost-serialization-dev libboost-signals-dev libboost-thread-dev 
> > libcoin-dev
> > libdouble-conversion-dev liblz4-dev libglew-dev libopencv-dev libeigen3-dev 
> > libgts-bin
> > libgts-dev libkdtree++-dev libmedc-dev libmetis-dev 
> > libocct-data-exchange-dev
> > libocct-ocaf-dev libocct-visualization-dev libproj-dev libpyside2-dev 
> > libqt5opengl5-dev
> > libqt5svg5-dev libqt5webkit5-dev libqt5x11extras5-dev 
> > libqt5xmlpatterns5-dev libshiboken2-dev
> > libspnav-dev libvtk7-dev libx11-dev libxerces-c-dev libzipios++-dev netgen 
> > netgen-headers
> > occt-draw pybind11-dev pyside2-tools python-requests python-ply 
> > python3-pyside2.qtcore
> > python3-pyside2.qtgui python3-pyside2.qtsvg python3-pyside2.qtuitools
> > python3-pyside2.qtwidgets python3-pyside2.qtxml python3-dev python3-ply 
> > qtbase5-dev
> > qttools5-dev swig doxygen python3-pivy
>
> aptitude -F '%p' search ~M|egrep 
> '^(cmake|dh-exec|dh-python|libboost-date-time-dev|…)$'
>

Ici ça ne retourne rien, vu que je les ai tous passés en paramètre à apt du 
coup, aucun n'est automatique, mais je comprend le principe et ça m'aide 
vraiment ! ;-)

Un tout grand merci.

--
Benoit

Re: Liste des paquets installés sur mon ordi.

[Erwan David]

Le 17/06/2020 à 16:39, hamster a écrit :
> Le 17/06/2020 à 14:35, Daniel Caillibaud a écrit :
>> pour réinstaller, copier le fichier paquets.list puis
>>   apt install $( 
> Je vois un chevron ouvrant avant "paquets.list" mais pas de fermant
> après. C'est bien comme ca ou y'a une faute de frappe ?
> 
> 

Oui c'est la syntaxe normale pour faire l'équivalent de
$(cat paquets.list)

Voit ça comme un genre de redirection.

Re: Liste des paquets installés sur mon ordi.

[hamster]

Le 17/06/2020 à 14:35, Daniel Caillibaud a écrit :
> pour réinstaller, copier le fichier paquets.list puis
>   apt install $(

Re: [HS] Cloner depuis Debian un disque Win10 Lenovo

[Haricophile]

Le mercredi 17 juin 2020 à 09:58 +0200, Olivier a écrit :
> Avec le nouveau disque sur le port SATA, sans aucun disque externe,
> j'ai le message d'erreur:
> "Your PC/Device needs to be repaired".

Et tu ne peux pas le réparer avec l'outils de Windows ?

> 
> Bien sûr, le nouveau disque est physiquement détecté par le BIOS,
> donc correctement connecté.
> 
> Que faire, sans ré-installer Win10, si possible ?

Ben... justement... mais avec Win10 ça devrait être moins chiant car il
est capable de réinitialiser, c'est à dire réinstaller par dessus sans
tout perdre sinon des programmes a réinstaller.

Mon expertise de dépannage de windows10 est limitée, mais il me semble
que l'image de windows est téléchargeable en cas de besoin si tu n'a
pas de support d'installation et permet de "réparer" ou "réinstaller
sans perdre les données" depuis un DVD ou une clé mémoire USB. Le point
critique étant le code de licence qui est incontournable. 

Pour l'anecdote, dans les années 2000 j'avais un cybercafé touristique.
J'avais 4 Windows XP pour quelques joueurs, et je passais 50 fois plus
de temps à maintenir ces Windows (nettoyage, déverminage, débuguage,
défragmentation...) que je passais à maintenir la douzaine de Linux
(quelque minutes par ci par là pour contrôler et faire les updates,
quasi rien en fait). 

Les clients de toutes nationalités pensait que mon Windows était une
version à la sauce cybercafé et étaient absolument ravi de trouver un
truc qui marchait super rapidement sans aucune vermine, parfaitement
sécurisé et clean, sans pub dans le navigateur etc. j'avais beaucoup de
compliment là dessus, et il y avait plusieurs anglais qui venaient chez
moi régulièrement pour leurs affaires financières.

En fait c'était un KDE3 bien réglé avec un fond d'écran de prairie et
aux couleurs de XP. En plus je pouvais leur fournir l'interface dans
leur langue, ce qui n'était pas possible avec XP. La seule chose est
que quelques uns s'acharnaient à vouloir installer mIRC même si je leur
montrais une alternative.

Bref, même sans des bug de Windows comme celui qui traîne depuis
longtemps et qui peut écraser totalement le disque externe USB lors
d'une mise à jour majeure, je me demande toujours comment dans les
entreprises on peut encore avoir encore du Windows, il y a des trucs
que je dois ignorer dans le déploiement/maintenance de Micro$oft, ou
alors les aberrations que je vois très régulièrement dans le SI de
l'entreprise de ma femme (un grand groupe) sont considéré comme
normales...

Tout ce bavardage hors propos pour en arriver à : Tu as vraiment besoin
d'un windows ? Dans machine virtuelle qui résoud définitivement les
problèmes de réinstallation et de changement de machine, ça ne suffit
pas ?

Amicalement
-- 
Jérôme

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Anders Andersson]

On Wed, Jun 17, 2020 at 12:15 PM Albretch Mueller  wrote:
>
>  HDDs have their internal caching mechanism and I have heard that the
> Linux kernel uses RAM very effitiently, but to my understanding RAM
> being only 3-4 times faster doesn't make much sense, so I may be doing
> or understanding something not entirely right.

I suggest that you google a bit on how to do fileystem benchmarks
first, then try it and report back if something is still odd. There
are many ways but "dd" is not the way unless you really dig through
the sync flags and understand what they do. I normally use "fio" but
it's not very friendly (so it suits me).

However, I just recently put a fast NVMe SSD in an older server with
(lots) of DDR3 ECC RAM. The RAM bandwidth for one node/CPU is about
10-12 GB/s, and the SSD bandwidth is nearing 2 GB/s for most loads.
That's getting close to your figures!

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Dan Ritter]

Albretch Mueller wrote: 
>  also, if in order to use RAID 10 you need 4 drives (but the dollar
> per Gb is approaching $0.02) and you get 1.5 faster performance, what
> is the economy of "bying more RAM" if it is so much more expensive?
> 
>  Any comparison on HDD, SSD and RAM including pros and cons which is
> worth reading?

First, your measurements were leading you to the wrong
intuition.

Second:

https://www.prowesscorp.com/computer-latency-at-a-human-scale/

excerpt:

System EventActual Latency  Scaled Latency
One CPU cycle   0.4 ns  1 s
Level 1 cache access0.9 ns  2 s
Level 2 cache access2.8 ns  7 s
Level 3 cache access28 ns   1 min
Main memory access (DDR DIMM)   ~100 ns 4 min
NVMe SSD I/O~25 us  17 hrs
SSD I/O 50-150 us   1.5-4 days
Rotational disk I/O 1-10 ms 1-9 months
Internet call: San Francisco to New York City
65 ms   5 years
Internet call: San Francisco to Hong Kong
141 ms 11 years

The scale sets one CPU operation -- doing a math operation,
perhaps -- at one second of human time. The latency is the
amount of time that elapses between the CPU issuing a request
and the answer coming back.

Now, let's talk about operations per second. RAM can accept
requests perhaps once every 40 clock ticks at a clock speed
of 4000MHz, which is to say 100 million requests per second.

https://en.wikipedia.org/wiki/Memory_timings

A high end NVMe SSD might manage 1 million requests per second.
More common is 300,000 or so.

A good consumer SSD can handle 100,000 to 150,000 requests per
second.

A good spinning disk might manage 110 requests per second. Not
110,000, just 110.

https://en.wikipedia.org/wiki/IOPS

Now, let's say you take 4 spinning disks and connect them in 
RAID10. That's four disks, A1, A2, B1, B2, where A2 gets a copy
of every write to A1 and B2 gets a copy of every write to B1.
The computer will split writes across the A and B stacks, so 
a write will complete in half the time it would to just a single
disk. But for reads, the computer can ask both the 1 and 2 disks
in each stack, so it can handle twice as many reads as a single
disk could in a given chunk of time.

But that gives the RAID10 system 220 IOPs, still nowhere near
the 100,000 IOPs of a single SSD.

Does that all help?

-dsr-

Re: [HS] Cloner depuis Debian un disque Win10 Lenovo

[Olivier]

Le mer. 17 juin 2020 à 11:58, steve  a écrit :

>
> Je ne peux qu'abonder dans ce sens. Toute l'administration des systèmes
> Windows sont un vrai chemin de croix et je ne comprends toujours pas que
> ça n'ait pas plus d'importance que ça dans le choix d'un OS. (My take
> sur ça, c'est que les gens sont simplement incultes en matière d'OS et
> croit que la manière Windows est la seule et donc normale… )
>
>
Je trouve moi aussi que l'administration d'un PC sous Windows 10 reste
pénible.

Outre les problèmes de licence déjà cités, les interfaces d'administration
à mon sens, cachent beaucoup d'informations.
Autant sur un écran de téléphone de taille réduite, on peut comprendre
qu'il soit nécessaire de ne pas afficher certains détails, autant sur un
PC, en panne qui plus est ...

J'ajouterai que les travaux de l'éditeur et du constructeur (ici Microsoft
et Lenovo) me semblent pas assez complémentaires.
Pourquoi n'y a-t-il pas de programme pour "upgrader" son disque en une
seule passe alors qu'il semble y en avoir plusieurs, concurrents et
visiblement pas très efficaces, pour sauvegarder/restaurer ?

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Dan Ritter]

Albretch Mueller wrote: 
>  HDDs have their internal caching mechanism and I have heard that the
> Linux kernel uses RAM very effitiently, but to my understanding RAM
> being only 3-4 times faster doesn't make much sense, so I may be doing
> or understanding something not entirely right.
> 
>  does dd actually hit the bare metal drive or is it just reaching the
> disks cache
> 
>  This is what I am consistently getting from my code doing intesive IO
> on the RAM drive:

You're testing cache.

Install the fio package and use that for testing.

-dsr-

Re: Liste des paquets installés sur mon ordi.

[benoit]

Sent with ProtonMail Secure Email.

‐‐‐ Original Message ‐‐‐
Le mercredi 17 juin 2020 15:04, fabricer  a écrit :

> salut,
>
> > Je me demande qu'il se passe par exemple, si la machine cible n'a pas
> > buster dans son source.list, alors que la machine source l'avait.
>
> je lis que le source.list de la cible est réécrit à partir du fichier clone.
> https://omgfoss.com/apt-clone-to-backup/
>
> a+
>
> f.

En effet.

«This command will overwrite your existing /etc/apt/sources.list»

Ca m'embête un peu... Mais c'est une bonne piste.

--
Benoit

oplossing (soort van) (was: exim, spfquery, antwoord is altijd "none" (met lange uittro))

[Gijs Hillenius]

Nou, dan praat ik wel met mezelf ;-)

Dit is een soort van oplossing, maak expliciet dat je versie 1 van
spfquery wilt. En pas dan tegelijk even de syntax aan. Met die "-v 1"
optie komt het goede antwoord op de warn regel.

Nog beter zou zijn als ik die syntax aan versie 2 aanpas. Dat volgt, wellicht.


condition = ${run{/usr/bin/spfquery -v 1 --ip \"$sender_host_address\" -s 
\"$sender_address\" --helo-id \"$sender_helo_name\"}\
 {no}{${if eq {$runrc}{1}{yes}{no



On 17 June 2020 09:57 Gijs Hillenius, wrote:

> Goedenmorgen
>
> Is er hier iemand die Debian's Exim macro's kan spellen?
>
> Al jaren terug stelde ik de standaard regeltjes voor SPF in, maar het
> val me nu pas op dat de check altijd "none" oplevert.
>
> Kan iemand die regel met me meelezen? Is het omdat de query meer
> teruggeeft dan 1 woord? De query geeft 4 regels terug, maar de eerste
> regel is het "gezochte" antwoord.
>
> Hier het blok in exim4.conf.template
>
>
>   # Use spfquery to perform a pair of SPF checks
>   # This is quite costly in terms of DNS lookups (~6 lookups per mail).  Do 
> not
>   # enable if that's an issue.
>   # required:
>   # apt install spf-tools-perl
>   # and (for monolithic conf file, set CHECK_RCPT_SPF=true in 
> exim4.conf.localmacros
>   .ifdef CHECK_RCPT_SPF
>   deny
> message = [SPF] $sender_host_address is not allowed to send mail from 
> ${if def:sender_address_domain {$sender_address_domain}{$sender_helo_name}}.  
> \
>   Please check your SPF set-up
> log_message = SPF check failed.
> condition = ${run{/usr/bin/spfquery --ip \"$sender_host_address\" 
> --mail-from \"$sender_address\" --helo \"$sender_helo_name\"}\
>  {no}{${if eq {$runrc}{1}{yes}{no
>
>   defer
> message = Temporary DNS error while checking SPF record.  Try again later.
> condition = ${if eq {$runrc}{5}{yes}{no}}
>
>   warn
> condition = ${if <={$runrc}{6}{yes}{no}}
> message = :at_start:Received-SPF: ${if eq {$runrc}{0}{pass}\
>{${if eq {$runrc}{2}{softfail}\
>{${if eq {$runrc}{3}{neutral}\
>{${if eq {$runrc}{4}{unknown}\
>{${if eq {$runrc}{6}{none}{error}\
>} client-ip=$sender_host_address; \
> ${if def:sender_address_domain \
>{envelope-from=${sender_address}; }{}}\
> helo=$sender_helo_name
>
>   warn
> log_message = Unexpected error in SPF check.
> condition = ${if >{$runrc}{6}{yes}{no}}
>   .endif
>
>
>
>
> En dan nog dit: Ik ben mijn SPF regeltjes aan het bijschaven.
>
> De afgelopen dagen geleerd dat Debian's versie van Exim nog geen SPF
> ondersteuning meelevert, maar Ubuntu wel. En ook dat Debian's Exim macro
> verwijst naar een externe tool die niet meer in Debian zit
> (libmail-spf-query-per ipv spf-tools-perl). Dit is al aangepast in de
> Wiki, gelukkig.
>
> Dat de standaard filter (uit spec.text.gz) verwijst naar
> http://www.openspf.org/Why?scope= ... die website is nu ongeveer 1,5
> jaar terug uit de lucht.
>
> Het commentaar hierboven verwijst daarom niet meer naar die SPF site; en
> da's ook verwijderd uit de deny regel.
>
> Ik voegde een :at_start: toe aan de warn regel, en ook een berichtje om
> te testen dat deze header echt het resultaat is van die warn check. Maar
> de if 0 if 2 if 3 levert altijd none als antwoord. Als ik de spfguery
> nakijk, voor bijvoorbeeld gmail, is het antwoord "pass".
>

-- 
It's amazing how many people you could be friends with if only they'd
make the first approach.

Re: Effacer les fichiers qui ne sont contenus dans aucun paquet

[benoit]

Sent with ProtonMail Secure Email.

‐‐‐ Original Message ‐‐‐
Le mercredi 10 juin 2020 14:11, BERTRAND Joël  a 
écrit :

> Bonjour à tous,
>
>
> À la suite d'un nouveau dysfonctionnement de systemd (et qu'on ne me
> dise surtout pas que ce n'est pas systemd le fautif, le même bug est
> visible sur d'autres distributions sur systemd 245 et il y a plein de
> gens qui râlent fort en ce moment ;-) ), les interfaces réseaux de mon
> serveur principal, tant qu'à faire à 500 bornes de chez moi, ont été
> sauvagement renommées. Les règles udev ne servaient plus à rien. En
> soit, c'est déjà ennuyeux. Mais pire que cela, il y avait un script qui
> s'appuyait sur un nom d'interface et qui s'est mis à faire n'importe
> quoi. Au lieu de virer les fichiers plus vieux que 7 jours d'une
> arborescence de /var, il a commencé à faire la même chose dans /bin
> (erreur de typo dans le script en question).
>
> Comme il n'y a pas de répertoire rescue (contrairement à NetBSD)
> contenant les utilitaires liés statiquement, j'ai copié à la hussarde
> /bin, /lib/x86..., /usr/bin et /usr/lib/x86... depuis une installation
> fraîche parce que, comme d'habitude, c'est toujours quand on a besoin
> d'une sauvegarde qu'on s'aperçoit que la dernière a merdé !...
>
> J'ai réussi à faire redémarrer le système, mais je me retrouve
> maintenant avec des fichiers surnuméraires. Existe-t-il un moyen
> d'effacer tous les fichiers d'un répertoire qui ne sont pas dans l'un
> des paquets installé sur le système (autre que l'algo trivial qui doit
> être en n² consistant à chercher pour tous les fichiers du répertoire
> s'ils apparaissent dans l'une des sorties de dpkg-query -L xx) ?
>
> Bien cordialement,
>
> JKB

Bonjour,
Je me permets un petit rappel au cas où... Sans avoir de solution :
Vu que je me suis déjà bien pris la tête sur cette question en utilisant pip 
parallèlement à apt pour installer des paquets python. Et que, d’une version de 
python à l’autre pip laisse les fichiers. Comme c’est un serveur, vous 
n’utilisez pas le gestionnaire de paquet de texlive (c’est déjà ça). ;-)
Ce sont des difficultés à ne pas négliger.
Mais vu que vous ne citez pas /usr/local/* dans votre recherche de solution, ça 
ne devrait pas vous poser de problème.

Mon commentaire à deux cent...

--
Benoit

Re: Liste des paquets installés sur mon ordi.

[fabricer]

salut,

Je me demande qu'il se passe par exemple, si la machine cible n'a pas 
buster dans son source.list, alors que la machine source l'avait.

je lis que le source.list de la cible est réécrit à partir du fichier clone.
https://omgfoss.com/apt-clone-to-backup/

a+

f.

Re: Liste des paquets installés sur mon ordi.

[benoit]

Sent with [ProtonMail](https://protonmail.com) Secure Email.

‐‐‐ Original Message ‐‐‐
Le mercredi 17 juin 2020 14:44, NoSpam  a écrit :

> Bonjour
>
> J'utilise apt-clone clone `uname -n` sur la machine source et apt-clone 
> restore original-machine-name.apt-clone.tar.gz sur la destinataire

Bonjour;

Merci pour cette solution, je vais aller lire le man afin de voir comment il 
serait possible de cloner un stable/testing/sid vers une installation 
testing/sid.

Je me demande qu'il se passe par exemple, si la machine cible n'a pas buster 
dans son source.list, alors que la machine source l'avait.

--
Benoit

Re: [HS] Cloner depuis Debian un disque Win10 Lenovo

[MERLIN Philippe]

Bonjour,
J'espère que tu n'es pas victime d'une whitelist insérée dans le Bios  de ton 
PC Lenovo qui ne tolère que certains matériels inclus dans cette liste. 
C'est pour notre Bien !!! HI ! HI!
Philippe Merlin



Le mercredi 17 juin 2020, 09:58:07 CEST Olivier a écrit :
> Hello,
> 
> J'ai cloné les 7 partitions (EFI, Microsoft reserved, Windows, Lenovo, ...)
> sur le nouveau disque en prenant soin de respecter les drapeaux (pour la
> 7ème partition, j'ai les drapeaux Hidden et Msftdata sur le nouveau disque
> alors que j'ai simplement Hidden sur l'ancien).
> J'ai désactivé le Secure Boot.
> 
> Avec l'ancien disque dans le port SATA et le nouveau sur un port USB,
> j'arrive à démarrer sur le nouveau (ie en le désignant avec le menu du
> BIOS).
> 
> Avec le nouveau disque sur le port SATA, sans aucun disque externe, j'ai le
> message d'erreur:
> "Your PC/Device needs to be repaired".
> 
> Bien sûr, le nouveau disque est physiquement détecté par le BIOS, donc
> correctement connecté.
> 
> Que faire, sans ré-installer Win10, si possible ?
> 
> 
> Le mer. 27 mai 2020 à 13:51, Erwann Le Bras  a
> 
> écrit :
> > Le 25/05/2020 à 18:31, Olivier a écrit :
> > > Bonjour,
> > > 
> > > Je souhaite remplacer une disque rotatif de 1 To par un SSD de 512 Go.
> > > Le disque appartient à un PC portable Lenovo sous Windows 10 (ça
> > > existe, malheureusement).
> > > 
> > > J'ai démonté le disque d'origine et l'ai installé dans un double
> > > lecteur SATA sur port USB.
> > > J'ai aussi installé le disque cible sur ce double lecteur SATA sur
> > > port USB.
> > 
> > bonjour
> > 
> > J'ai fait la même opération sur un portable Lenovo (Yoda 300), en
> > changeant le disque 512G par un  SSD de 256Go
> > 
> > Tu peux facilement copier chaque partition dans l'ordre avec GParted, en
> > redimensionnant les partitions (ici surtout "WINDOWS" pour que tout
> > rentre sur le SSD.
> > 
> > Pour que GParted puisse accéder et réduire les partitions NTFS, les
> > utilisateurs doivent être déconnectés, Windows arrêtés et les disques
> > défragmentés. Tu peux faire réduire les partitions principales par le
> > gestionnaire de disque de Windows, la tâche de GParted n'en sera que
> > plus facile.
> > 
> > Assure-toi que les partitions sont dans le même ordre, ont gardé le même
> > ID et remets les drapeaux corrects (HIDDEN, BOOT, DATA).
> > 
> > De mémoire l'une des partitions bizzares a occasionné un échec sous
> > GParted mais c'est passé inaperçu ensuite.
> > 
> > Tu peux ensuite remettre le disque en place.
> > 
> > Ya une manip ensuite à appliquer pour que le boot UEFI démarre sur la
> > bonne partition (partition LENOVO de mémoire). Elle nécessite un disque
> > de réparation Windows 10.  Les deux se trouvent facilement sur Internet.
> > 
> > Me concernant, l'opération a été un succès, le PC a redémarré
> > normalement à la fin. Il se peut que Windows trouve le disque en bazar
> > et applique une réparation, mais tout s'est bien terminé.
> > 
> > Pense à sauvegarder les données avant sur un disque externe.
> > 
> > bon courage
> > 
> > Erwann

Re: Liste des paquets installés sur mon ordi.

[NoSpam]

Bonjour

Le 17/06/2020 à 14:15, benoit a écrit :


Bonjour à tou·t·e·s

Pour réinstaller facilement d’un ordi à l’autre, je voudrais, demander 
à apt ou dpkg (ou autre) :


(la liste des paquets installés manuellement) MOINS (ceux qui auraient 
été installés par dépendance de l’un d’entre eux) ET (sans le n° de 
version de façon à pouvoir tout installer en testing alors que 
certains paquets sont en stable).


L’opération MOINS serait bien utile, car il me semble avoir déjà 
constaté que d’une version à l’autre de Debian, les dépendances pour 
un paquet donné ne sont pas toujours les mêmes.


J'utilise apt-clone clone `uname -n` sur la machine source et apt-clone 
restore original-machine-name.apt-clone.tar.gz sur la destinataire


Autre usage, voici une liste de paquets que j’ai installés 
manuellement pour compiler un programme… Y a-t-il une commande 
permettant de supprimer de cette liste tous ceux qui auraient été 
installés automatiquement, car dépendants d’un autre paquet de cette 
liste ?


cmake dh-exec dh-python libboost-date-time-dev libboost-dev 
libboost-filesystem-dev libboost-graph-dev libboost-iostreams-dev 
libboost-program-options-dev libboost-regex-dev 
libboost-serialization-dev libboost-signals-dev libboost-thread-dev 
libcoin-dev libdouble-conversion-dev liblz4-dev libglew-dev 
libopencv-dev libeigen3-dev libgts-bin libgts-dev libkdtree++-dev 
libmedc-dev libmetis-dev libocct-data-exchange-dev libocct-ocaf-dev 
libocct-visualization-dev libproj-dev libpyside2-dev libqt5opengl5-dev 
libqt5svg5-dev libqt5webkit5-dev libqt5x11extras5-dev 
libqt5xmlpatterns5-dev libshiboken2-dev libspnav-dev libvtk7-dev 
libx11-dev libxerces-c-dev libzipios++-dev netgen netgen-headers 
occt-draw pybind11-dev pyside2-tools python-requests python-ply 
python3-pyside2.qtcore python3-pyside2.qtgui python3-pyside2.qtsvg 
python3-pyside2.qtuitools python3-pyside2.qtwidgets 
python3-pyside2.qtxml python3-dev python3-ply qtbase5-dev qttools5-dev 
swig doxygen python3-pivy



Merci d’avance.

–

Benoit



Sent with ProtonMail  Secure Email.

Re: Liste des paquets installés sur mon ordi.

[benoit]

‐‐‐ Original Message ‐‐‐
Le mercredi 17 juin 2020 14:32, steve  a écrit :

> Salut,
>
Salut

>
> Quand tu dis « installer manuellement », ça veut dire quoi exactement ?
> Car tous les paquets ci-dessous sont dans les dépôts Debian officiels.
>

Par exemple quand on donne en paramètre à apt, un paquet déjà installé par 
dépendance d'un autre.

apt répond que le paquet est déjà installé et passe en installé manuellement.
Ces paquets là je ne les voudraient pas dans ma liste puisqu'ils sont des 
dépendances.

>
> J'espère avoir pu donner quelques pistes.
>

Je m'empresse de les explorer ! ;-)

Merci

--
Benoit

Re: Disabling recommends - was [Re: bash-completion pros/cons]

[Richard Owlett]

On 06/17/2020 07:26 AM, to...@tuxteam.de wrote:

On Wed, Jun 17, 2020 at 06:51:18AM -0500, Richard Owlett wrote:

[...]


Clarification of my immediate goal:

Using the ISO of DVD1 I wish to install Debian with "recommends"
disabled during the installation process.


I can't give you an authoritative answer for this one, sorry.


The purpose is to determine if I want to do future installs debootstrap.
I attempted to use debootstrap a few years ago and understand it
will take some time/effort to learn it.


Once you actually start customizing your installs, a combo of debootstrap
and an apt cache is unbeatable, Yes, there's some slope to take, but the
view from up there is magnific :-)

Cheers
-- t



Thank you.

Re: Liste des paquets installés sur mon ordi.

[Daniel Caillibaud]

Le 17/06/20 à 12:15, benoit  a écrit :
> Bonjour à tou·t·e·s
> 
> Pour réinstaller facilement d’un ordi à l’autre, je voudrais, demander à apt 
> ou dpkg (ou
> autre) :

Je sais faire avec aptitude parce que je connais sa syntaxe, mais c'est 
sûrement possible avec
d'autre apt-*

> (la liste des paquets installés manuellement) MOINS (ceux qui auraient été 
> installés par
> dépendance de l’un d’entre eux) ET (sans le n° de version de façon à pouvoir 
> tout installer
> en testing alors que certains paquets sont en stable).

  aptitude -F "%p" search '~i!~M' > paquets.list
ou bien
  aptitude -F "%p" search ~i\!~M > paquets.list
(faut échapper le ! que le shell interprête)

pour réinstaller, copier le fichier paquets.list puis
  apt install $( L’opération MOINS serait bien utile, car il me semble avoir déjà constaté que 
> d’une version à
> l’autre de Debian, les dépendances pour un paquet donné ne sont pas toujours 
> les mêmes.

C'est le !~M qui retire les paquets installés automatiquement.

-F '%p' pour avoir seulement le nom du paquet dans la sortie (ni version ni 
état ni description)
~i  pour les paquets installés
~M  paquets installés automatiquement
!~M sauf les paquets auto
~c pour avoir les paquets installés puis retirés mais non purgés

Il y a beaucoup d'autres critères possibles pour le search, cf la doc

> Autre usage, voici une liste de paquets que j’ai installés manuellement pour 
> compiler un
> programme… Y a-t-il une commande permettant de supprimer de cette liste tous 
> ceux qui
> auraient été installés automatiquement, car dépendants d’un autre paquet de 
> cette liste ?
> 
> cmake dh-exec dh-python libboost-date-time-dev libboost-dev 
> libboost-filesystem-dev
> libboost-graph-dev libboost-iostreams-dev libboost-program-options-dev 
> libboost-regex-dev
> libboost-serialization-dev libboost-signals-dev libboost-thread-dev 
> libcoin-dev
> libdouble-conversion-dev liblz4-dev libglew-dev libopencv-dev libeigen3-dev 
> libgts-bin
> libgts-dev libkdtree++-dev libmedc-dev libmetis-dev libocct-data-exchange-dev
> libocct-ocaf-dev libocct-visualization-dev libproj-dev libpyside2-dev 
> libqt5opengl5-dev
> libqt5svg5-dev libqt5webkit5-dev libqt5x11extras5-dev libqt5xmlpatterns5-dev 
> libshiboken2-dev
> libspnav-dev libvtk7-dev libx11-dev libxerces-c-dev libzipios++-dev netgen 
> netgen-headers
> occt-draw pybind11-dev pyside2-tools python-requests python-ply 
> python3-pyside2.qtcore
> python3-pyside2.qtgui python3-pyside2.qtsvg python3-pyside2.qtuitools
> python3-pyside2.qtwidgets python3-pyside2.qtxml python3-dev python3-ply 
> qtbase5-dev
> qttools5-dev swig doxygen python3-pivy

aptitude -F '%p' search ~M|egrep 
'^(cmake|dh-exec|dh-python|libboost-date-time-dev|…)$'

-- 
Daniel

Les hommes naissent libres et égaux en droits,
ensuite ils se mettent à boire.
Cavanna

Re: Liste des paquets installés sur mon ordi.

[steve]

Salut,


Le 17-06-2020, à 12:15:36 +, benoit a écrit :


  Bonjour à tou·t·e·s

  Pour réinstaller facilement d’un ordi à l’autre, je voudrais, demander
  à apt ou dpkg (ou autre) :


dpkg --get-selections >> mes_fichiers.txt

liste tous les paquets installés sur un système S1. Ensuite sur un
système S2, tu fais

dpkg --set-selections < mes_fichiers.txt

et ton système S2 aura (presque) tous les paquets que S1 (modulo ceux
que tu as compilés toi-même).


  (la liste des paquets installés manuellement)


peut-être que

aptitude search ~o

le fait.


MOINS (ceux qui auraient
  été installés par dépendance de l’un d’entre eux) ET (sans le n° de
  version de façon à pouvoir tout installer en testing alors que certains
  paquets sont en stable).


Là ça devient plus compliqué. Peut-être qu'en utilisant les motifs de
recherche d'aptitude
(https://www.debian.org/doc/manuals/aptitude/ch02s04s05.fr.html#tableSearchTermQuickGuide),
tu pourras créer deux fichiers dont un diff te donnerait ton résultat.


  L’opération MOINS serait bien utile, car il me semble avoir déjà
  constaté que d’une version à l’autre de Debian, les dépendances pour un
  paquet donné ne sont pas toujours les mêmes.


Mais ce n'est pas vraiment un problème me semble-t-il avec dpkg
--get-selections


  Autre usage, voici une liste de paquets que j’ai installés manuellement
  pour compiler un programme… Y a-t-il une commande permettant de
  supprimer de cette liste tous ceux qui auraient été installés
  automatiquement, car dépendants d’un autre paquet de cette liste ?


Quand tu dis « installer manuellement », ça veut dire quoi exactement ?
Car tous les paquets ci-dessous sont dans les dépôts Debian officiels.


  cmake dh-exec dh-python libboost-date-time-dev libboost-dev
  libboost-filesystem-dev libboost-graph-dev libboost-iostreams-dev
  libboost-program-options-dev libboost-regex-dev
  libboost-serialization-dev libboost-signals-dev libboost-thread-dev
  libcoin-dev libdouble-conversion-dev liblz4-dev libglew-dev
  libopencv-dev libeigen3-dev libgts-bin libgts-dev libkdtree++-dev
  libmedc-dev libmetis-dev libocct-data-exchange-dev libocct-ocaf-dev
  libocct-visualization-dev libproj-dev libpyside2-dev libqt5opengl5-dev
  libqt5svg5-dev libqt5webkit5-dev libqt5x11extras5-dev
  libqt5xmlpatterns5-dev libshiboken2-dev libspnav-dev libvtk7-dev
  libx11-dev libxerces-c-dev libzipios++-dev netgen netgen-headers
  occt-draw pybind11-dev pyside2-tools python-requests python-ply
  python3-pyside2.qtcore python3-pyside2.qtgui python3-pyside2.qtsvg
  python3-pyside2.qtuitools python3-pyside2.qtwidgets
  python3-pyside2.qtxml python3-dev python3-ply qtbase5-dev qttools5-dev
  swig doxygen python3-pivy

  Merci d’avance.


J'espère avoir pu donner quelques pistes.

Steve

Re: Disabling recommends - was [Re: bash-completion pros/cons]

[tomas]

On Wed, Jun 17, 2020 at 06:51:18AM -0500, Richard Owlett wrote:

[...]

> Clarification of my immediate goal:
> 
> Using the ISO of DVD1 I wish to install Debian with "recommends"
> disabled during the installation process.

I can't give you an authoritative answer for this one, sorry.

> The purpose is to determine if I want to do future installs debootstrap.
> I attempted to use debootstrap a few years ago and understand it
> will take some time/effort to learn it.

Once you actually start customizing your installs, a combo of debootstrap
and an apt cache is unbeatable, Yes, there's some slope to take, but the
view from up there is magnific :-)

Cheers
-- t


signature.asc
Description: Digital signature

Liste des paquets installés sur mon ordi.

[benoit]

Bonjour à tou·t·e·s

Pour réinstaller facilement d’un ordi à l’autre, je voudrais, demander à apt ou 
dpkg (ou autre) :

(la liste des paquets installés manuellement) MOINS (ceux qui auraient été 
installés par dépendance de l’un d’entre eux) ET (sans le n° de version de 
façon à pouvoir tout installer en testing alors que certains paquets sont en 
stable).

L’opération MOINS serait bien utile, car il me semble avoir déjà constaté que 
d’une version à l’autre de Debian, les dépendances pour un paquet donné ne sont 
pas toujours les mêmes.

Autre usage, voici une liste de paquets que j’ai installés manuellement pour 
compiler un programme… Y a-t-il une commande permettant de supprimer de cette 
liste tous ceux qui auraient été installés automatiquement, car dépendants d’un 
autre paquet de cette liste ?

cmake dh-exec dh-python libboost-date-time-dev libboost-dev 
libboost-filesystem-dev libboost-graph-dev libboost-iostreams-dev 
libboost-program-options-dev libboost-regex-dev libboost-serialization-dev 
libboost-signals-dev libboost-thread-dev libcoin-dev libdouble-conversion-dev 
liblz4-dev libglew-dev libopencv-dev libeigen3-dev libgts-bin libgts-dev 
libkdtree++-dev libmedc-dev libmetis-dev libocct-data-exchange-dev 
libocct-ocaf-dev libocct-visualization-dev libproj-dev libpyside2-dev 
libqt5opengl5-dev libqt5svg5-dev libqt5webkit5-dev libqt5x11extras5-dev 
libqt5xmlpatterns5-dev libshiboken2-dev libspnav-dev libvtk7-dev libx11-dev 
libxerces-c-dev libzipios++-dev netgen netgen-headers occt-draw pybind11-dev 
pyside2-tools python-requests python-ply python3-pyside2.qtcore 
python3-pyside2.qtgui python3-pyside2.qtsvg python3-pyside2.qtuitools 
python3-pyside2.qtwidgets python3-pyside2.qtxml python3-dev python3-ply 
qtbase5-dev qttools5-dev swig doxygen python3-pivy

Merci d’avance.

–

Benoit

Sent with [ProtonMail](https://protonmail.com) Secure Email.

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Michael Stone]

On Wed, Jun 17, 2020 at 12:14:55PM +0200, Albretch Mueller wrote:

HDDs have their internal caching mechanism and I have heard that the
Linux kernel uses RAM very effitiently, but to my understanding RAM
being only 3-4 times faster doesn't make much sense, so I may be doing
or understanding something not entirely right.


Basically, yeah. Your "disk" numbers are unrealistically high. Your test 
dataset is too small and you aren't flushing the cache before exiting 
dd, so you are largely seeing the time it takes to write to cache, not 
to disk.


(adding the times is just making this harder to read)


# time dd if=/dev/zero of="${_RAM_MNT}"/zero bs=4k count=10
40960 Bytes (410 MB, 391 MiB) kopiert, 0,756943 s, 541 MB/s



# time dd if="${_RAM_MNT}"/zero of=/dev/null bs=4k count=10
40960 Bytes (410 MB, 391 MiB) kopiert, 0,36381 s, 1,1 GB/s

$ time dd if=/dev/zero of="${_HDD_DIR}"/zero bs=4k count=10
40960 Bytes (410 MB, 391 MiB) kopiert, 1,92086 s, 213 MB/s



$ time dd if="${_HDD_DIR}"/zero of=/dev/null bs=4k count=10
40960 Bytes (410 MB, 391 MiB) kopiert, 0,521688 s, 785 MB/s


Try adding conv=fdatasync to your dd command line, that causes dd to 
wait until the cache has actually flushed to disk before reporting & 
exiting. For the read tests, you need to either drop all the system 
cache or simply use test files that are larger than the system memory. 
As others have mentioned, even your RAM times are slow, is this possibly 
a low power CPU? The 4k bs is also going to limit performance, try at 
least 64k and maybe 1M for this application. If the CPU (or RAM) isn't 
the bottleneck, after those changes I'd expect hard disk speeds to be 
more on the order of 100MByte/s and ram disk speeds more on the order of 
a few GByte/s.

Re: "NVIDIA GeForce 7600 GT"

[Greg Wooledge]

On Wed, Jun 17, 2020 at 01:13:57AM +0200, Seeds Notoneofmy wrote:
> Just to help others help me, here's lspci output on the card:
> 
> 05:00.0 VGA compatible controller: NVIDIA Corporation G73 [GeForce 7600
> GT] (rev a1)
> 
> It did not give the Device PCI ID

Because you didn't use "lspci -nn".

See also https://bugs.debian.org/929984

Re: Disabling recommends - was [Re: bash-completion pros/cons]

[Richard Owlett]

On 06/17/2020 06:36 AM, to...@tuxteam.de wrote:

On Wed, Jun 17, 2020 at 06:31:16AM -0500, Richard Owlett wrote:

On 06/17/2020 06:12 AM, to...@tuxteam.de wrote:

On Wed, Jun 17, 2020 at 04:53:45AM -0500, Richard Owlett wrote:

On 06/17/2020 03:34 AM, to...@tuxteam.de wrote:

[snip]

A couple of those led me to disable recommends completely. It seems
I'm a freak monster or sometning ;-@



Is there a way to totally disable recommends when installing Debian?
I wish to set up a machine for experimenting to find out what I
really want. Long long term I am considering using debootstrap to
install a extremely customized system.


I have this in the file /etc/apt/apt.conf.d/95no-recommends:

   APT::Install-Recommends no:



If I understand correctly, I need to add
  /etc/apt/apt.conf.d/95no-recommends to the ISO of the installer's DVD1.


When doing debootstrap, I usually tweak /etc/apt after having set up the
base system and before installing packages (other things which go there
are, e.g. the setup of an apt proxy/cache). Either manually, when tinkering
or via a script.



Clarification of my immediate goal:

Using the ISO of DVD1 I wish to install Debian with "recommends" 
disabled during the installation process.


The purpose is to determine if I want to do future installs debootstrap.
I attempted to use debootstrap a few years ago and understand it will 
take some time/effort to learn it.


TIA

Re: Disabling recommends - was [Re: bash-completion pros/cons]

[tomas]

On Wed, Jun 17, 2020 at 06:31:16AM -0500, Richard Owlett wrote:
> On 06/17/2020 06:12 AM, to...@tuxteam.de wrote:
> >On Wed, Jun 17, 2020 at 04:53:45AM -0500, Richard Owlett wrote:
> >>On 06/17/2020 03:34 AM, to...@tuxteam.de wrote:
> >>>[snip]
> >>>
> >>>A couple of those led me to disable recommends completely. It seems
> >>>I'm a freak monster or sometning ;-@
> >>>
> >>
> >>Is there a way to totally disable recommends when installing Debian?
> >>I wish to set up a machine for experimenting to find out what I
> >>really want. Long long term I am considering using debootstrap to
> >>install a extremely customized system.
> >
> >I have this in the file /etc/apt/apt.conf.d/95no-recommends:
> >
> >   APT::Install-Recommends no:
> >
> 
> If I understand correctly, I need to add
>  /etc/apt/apt.conf.d/95no-recommends to the ISO of the installer's DVD1.

When doing debootstrap, I usually tweak /etc/apt after having set up the
base system and before installing packages (other things which go there
are, e.g. the setup of an apt proxy/cache). Either manually, when tinkering
or via a script.

Cheers
-- t


signature.asc
Description: Digital signature

Re: Disabling recommends - was [Re: bash-completion pros/cons]

[Richard Owlett]

On 06/17/2020 06:12 AM, to...@tuxteam.de wrote:

On Wed, Jun 17, 2020 at 04:53:45AM -0500, Richard Owlett wrote:

On 06/17/2020 03:34 AM, to...@tuxteam.de wrote:

[snip]

A couple of those led me to disable recommends completely. It seems
I'm a freak monster or sometning ;-@



Is there a way to totally disable recommends when installing Debian?
I wish to set up a machine for experimenting to find out what I
really want. Long long term I am considering using debootstrap to
install a extremely customized system.


I have this in the file /etc/apt/apt.conf.d/95no-recommends:

   APT::Install-Recommends no:



If I understand correctly, I need to add
 /etc/apt/apt.conf.d/95no-recommends to the ISO of the installer's DVD1.

TIA

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Linux-Fan]

Albretch Mueller writes:

[...]


 does dd actually hit the bare metal drive or is it just reaching the
disks cache

 This is what I am consistently getting from my code doing intesive IO
on the RAM drive:

// __ write speed test
# time dd if=/dev/zero of="${_RAM_MNT}"/zero bs=4k count=10


[...]


40960 Bytes (410 MB, 391 MiB) kopiert, 0,756943 s, 541 MB/s


[...]

Just to add a datapoint: I have /tmp on a ramdisk and initially thought you  
might be using too little data to test properly? However, after testing, one  
can see that my system outputs higher transfer rates even when using small  
amounts of data...


### Ramdisk (tmpfs) Write Speed

~$ time dd if=/dev/zero of=/tmp/ramtest.bin bs=4k count=1536000
1536000+0 records in
1536000+0 records out
6291456000 bytes (6.3 GB, 5.9 GiB) copied, 2.64634 s, 2.4 GB/s

real0m2.648s
user0m0.816s
sys 0m1.832s

~$ time dd if=/dev/zero of=/tmp/ramtest.bin bs=4k count=10
10+0 records in
10+0 records out
40960 bytes (410 MB, 391 MiB) copied, 0.179949 s, 2.3 GB/s

real0m0.182s
user0m0.033s
sys 0m0.149s

### HDD (MDADM RAID1) Write Speed

$ time dd if=/dev/zero of=/fs/e01/nobak/test.bin bs=4k count=5242880 
conv=fdatasync
5242880+0 records in
5242880+0 records out
21474836480 bytes (21 GB, 20 GiB) copied, 168.831 s, 127 MB/s

real2m48.833s
user0m3.137s
sys 0m12.492s

### SSD (MDADM RAID1) Write Speed

$ time dd if=/dev/zero of=/home/linux-fan/wd/test.bin bs=4k count=5242880 
conv=fdatasync
5242880+0 records in
5242880+0 records out
21474836480 bytes (21 GB, 20 GiB) copied, 47.0841 s, 456 MB/s

real0m47.086s
user0m3.049s
sys 0m12.246s

Could it be possible that on your system, writing to the ramdisk is somehow  
bound by CPU speed? What hardware are you using? My tests were on this  
system:


$ syssheet -g
┌─── System Sheet Script 1.2.3, Copyright (c) 2012-2020 Ma_Sys.ma ─┐
│ linux-fan (id 1000) on rxvt-unicode-256colorDebian GNU/Linux 10 (buster) │
│ Linux 4.19.0-9-amd64  x86_64 │
│ 17.06.2020 13:15:16 pte5 │
│ up 31 min,  8 users,  load avg: 1.29, 2.83, 1.73  2004/32121 MiB │
│ 8 Intel(R) Xeon(R) CPU E3-1231 v3 @ 3.40GHz  │
├── Network ───┤
│ Interface  Sent/MiB  Received/MiBAddress │
│ eno1  0 0│
│ eno2 47  2641192.168.1.16/24 │
│ ens2  0 0 192.168.2.1/30 │
├─── File systems ─┤
│ Mountpoint Used/GiBOf/GiB Percentage │
│ /   204   25184% │
│ /fs/ll 1324  156386% │
│ /fs/e011413  161593% │
│ /data   100   21650% │
├─── Users ┤
│ Username MEM/MiBTop/MEM  CPU  Top/CPU   Time/min │
│ colord13 colord   0%   colord  0 │
│ Debian-exim3  exim4   0%exim4  0 │
│ rtkit  2   rtkit-daemon   0% rtkit-daemon  0 │
└──┘

$ mount | grep '/tmp'
tmpfs on /tmp type tmpfs (rw,relatime,size=6291456k,nr_inodes=1048576)

HTH
Linux-Fan


pgp6VEMZH9EAp.pgp
Description: PGP signature

Re: Disabling recommends - was [Re: bash-completion pros/cons]

[tomas]

On Wed, Jun 17, 2020 at 04:53:45AM -0500, Richard Owlett wrote:
> On 06/17/2020 03:34 AM, to...@tuxteam.de wrote:
> >[snip]
> >
> >A couple of those led me to disable recommends completely. It seems
> >I'm a freak monster or sometning ;-@
> >
> 
> Is there a way to totally disable recommends when installing Debian?
> I wish to set up a machine for experimenting to find out what I
> really want. Long long term I am considering using debootstrap to
> install a extremely customized system.

I have this in the file /etc/apt/apt.conf.d/95no-recommends:

  APT::Install-Recommends no:

Cheers
-- t


signature.asc
Description: Digital signature

Re: dubtes XOrg

[Joan]

El Wed, 17 Jun 2020 12:41:18 +0200
Àlex  va escriure:

> I tot i que la solució està disponible fa temps, sembla que el pegat
> no entrarà ni al nucli 5.6 ni potser al 5.7, ja que és un problema
> menor que els usuaris de Linux no tinguin so. Qui necesita so? Qui
> necesita un escriptori? Vamos!


:-D :-D

Pd.: jo amb la Raspbian que acabo de muntar també tinc alguns problemes
amb el video, que va quedant-se congelat de tant en tant, fent salts...
Començo a pensar que connectar la raspberry amb raspbian a la TV per
fer de reproductor multimèdia no serà plug and play...

-- 
Joan Cervan i Andreu
http://personal.calbasi.net

"El meu paper no és transformar el món ni l'home sinó, potser, el de
ser útil, des del meu lloc, als pocs valors sense els quals un món no
val la pena viure'l" A. Camus

i pels que teniu fe:
"Déu no és la Veritat, la Veritat és Déu"
Gandhi

Re: Could RAM possibly be just 3-4 times faster than bare hdd ...

[Thomas Schmitt]

Hi,

all your dd runs are allowed to make heavy use of RAM buffering.
If you are interested in the speed of the storage device, add option
  oflag=dsync
to the dd run.

I use dd options
  bs=1M status=progress oflag=dsync
in order to get realistic pacifier messages when copying ISOs to USB stick.
The overall time until a 35 MB/s stick stops blinking is not longer than
without those options. Just progress is smooth and dd does not end before
the stick is done with blinking.

Maybe bs=4K is a bit small for oflag=dsync and unrealistic in comparison
to Linux kernel behavior about disk i/o.


Have a nice day :)

Thomas

dubtes XOrg

[Àlex]

Benvolguts/des

treballo en una torre amb Debian testing, connectada a un antic
televisor pla de 32 polzades.

Sempre he tingut petits problemes amb HiDPI, ja que sembla que el
monitor de 32 polzades informa al sistema que és una pantalla de 11
polzades, segurament pel DDC, tot i que no entenc d'aquests temes:

   https://en.wikipedia.org/wiki/Display_Data_Channel

La comanda xrand em diu que el meu monitor és 160mm x 90mm , quan en
realitat és 695mm x 395mm (800mm 16:9). Encara que per 32 polzades el
tinc a una resolució baixa , per 11 polzades això seria una resolució
massa alta, així que algunes aplicacions (gimp, vlc, ...) s'autoescalen
i fan un gran zoom que no em permet treballar bé. De vegades ho puc
solucionar a les preferències de l'aplicació, i de vegades a les
preferències de les llibreries (QT)

Anant al gra ... He volgut modificar el fitxer xorg.conf però no l'he
trobat. Al final he creat aquest fitxer ...

$  sudo nano /etc/X11/xorg.conf.d/90-monitor.conf

    Section "Monitor"
        Identifier ""
        DisplaySize    395 695    # In millimeters
    EndSection

Però en reiniciar el sistema xranr encara hem diu que la meva pantalla
és d'11 polzades, 160mm x 90 mm

Teniu idea de què estic fent malament?


I ja posats, recomaneu controladors privatius nvidia sobre noveau?

Sempre he treballat amb nouveau, però al nucli 5.6 els sistemes amb
targeta gràfica nvidia (controladors nouveau) vam perdre el so:

   https://bugzilla.kernel.org/show_bug.cgi?id=207223

I tot i que la solució està disponible fa temps, sembla que el pegat no
entrarà ni al nucli 5.6 ni potser al 5.7, ja que és un problema menor
que els usuaris de Linux no tinguin so. Qui necesita so? Qui necesita un
escriptori? Vamos!

Salutacions

Re: Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Albretch Mueller]

 also, if in order to use RAID 10 you need 4 drives (but the dollar
per Gb is approaching $0.02) and you get 1.5 faster performance, what
is the economy of "bying more RAM" if it is so much more expensive?

 Any comparison on HDD, SSD and RAM including pros and cons which is
worth reading?

 lbrtchx

Could RAM possibly be just 3-4 times faster than bare hdd writes and reads? or, is the Linux kernel doing its 'magic' in the bg? or, ...

[Albretch Mueller]

 HDDs have their internal caching mechanism and I have heard that the
Linux kernel uses RAM very effitiently, but to my understanding RAM
being only 3-4 times faster doesn't make much sense, so I may be doing
or understanding something not entirely right.

 does dd actually hit the bare metal drive or is it just reaching the
disks cache

 This is what I am consistently getting from my code doing intesive IO
on the RAM drive:

// __ write speed test
#
# time dd if=/dev/zero of="${_RAM_MNT}"/zero bs=4k count=10
10+0 Datensätze ein
10+0 Datensätze aus
40960 Bytes (410 MB, 391 MiB) kopiert, 0,756943 s, 541 MB/s

real0m0,760s
user0m0,048s
sys 0m0,680s
#

// __ read speed test
#
# time dd if="${_RAM_MNT}"/zero of=/dev/null bs=4k count=10
10+0 Datensätze ein
10+0 Datensätze aus
40960 Bytes (410 MB, 391 MiB) kopiert, 0,36381 s, 1,1 GB/s

real0m0,368s
user0m0,016s
sys 0m0,344s
#

// __ my code reports while using a ramdisk:

...
// __ |0| files not found or empty!
// __ |8616768| bytes in |48| files offset processed (weighted and
checked) in |720057| (ms), |11| (bytes/ms)

real12m0,396s
user9m12,596s
sys 3m11,524s
$

 ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~

_HDD_DIR="logs/ffst_diffs_files"

time dd if=/dev/zero of="${_HDD_DIR}"/zero bs=4k count=10

ls -l "${_HDD_DIR}"/zero

time dd if="${_HDD_DIR}"/zero of=/dev/null bs=4k count=10

rm -fv "${_HDD_DIR}"/zero


$ 
_HDD_DIR="/home/lbrtchx/cmllpz/prjx/kd/java/IO/ffst_bytes/logs/ffst_diffs_files"
$
$ time dd if=/dev/zero of="${_HDD_DIR}"/zero bs=4k count=10
10+0 Datensätze ein
10+0 Datensätze aus
40960 Bytes (410 MB, 391 MiB) kopiert, 1,92086 s, 213 MB/s

real0m1,924s
user0m0,064s
sys 0m1,468s
$
$ ls -l "${_HDD_DIR}"/zero
-rw-r--r-- 1 lbrtchx lbrtchx 40960 Jun 14 02:07
.../logs/ffst_diffs_files/zero
$
$ time dd if="${_HDD_DIR}"/zero of=/dev/null bs=4k count=10
10+0 Datensätze ein
10+0 Datensätze aus
40960 Bytes (410 MB, 391 MiB) kopiert, 0,521688 s, 785 MB/s

real0m0,525s
user0m0,040s
sys 0m0,308s
$


# time dd if=/dev/zero of="${_HDD_DIR}"/zero bs=4k count=10
10+0 Datensätze ein
10+0 Datensätze aus
40960 Bytes (410 MB, 391 MiB) kopiert, 1,94642 s, 210 MB/s

real0m1,954s
user0m0,048s
sys 0m1,484s
#

# ls -l "${_HDD_DIR}"/zero

-rw-r--r-- 1 root root 40960 Jun 14 02:04
/home/lbrtchx/cmllpz/prjx/kd/java/IO/ffst_bytes/logs/ffst_diffs_files/zero
#
# time dd if="${_HDD_DIR}"/zero of=/dev/null bs=4k count=10
10+0 Datensätze ein
10+0 Datensätze aus
40960 Bytes (410 MB, 391 MiB) kopiert, 0,735103 s, 557 MB/s

real0m0,744s
user0m0,036s
sys 0m0,324s
#

// __ my code reports while using a hdd access:

...

// __ |0| files not found or empty!
// __ |8616768| bytes in |48| files offset processed (weighted and
checked) in |2412518| (ms), |3| (bytes/ms)

real40m12,727s
user10m42,576s
sys 8m41,180s
$

Re: [HS] Cloner depuis Debian un disque Win10 Lenovo

[steve]

Le 17-06-2020, à 11:32:48 +0200, ajh-valmer a écrit :


Que faire, sans ré-installer Win10, si possible ?


Est-ce que je réponds au problème ? Excuses si c'est le cas :

Il n'est pas possible de cloner un système Windows
vers un autre ordinateur ainsi que sur le même
ordinateur en changeant p. ex. son disque dur.


Ce n'est pas tout à fait correct pour l'avoir fait récemment. Un
changement de disque dur devrait passer mais pas un changement de carte
mère. 


Au boot, on a un message d'erreur irrémédiable.
Il faut complètement réinstaller Windows avec une
nouvelle clé de licence.


A nouveau ce n'est pas correct, si ça l'était ce serait du vol pur et
simple. Il est tout à fait possible de réinstaller Windows avec la même
clef sur un nouvel ordinateur mais il faut au préalable délier la
licence avec l'ancien matériel. De nos jours, ça se fait sans trop de
douleur (quoique…) en passant par la page du compte en question.


C'est d'ailleurs une des (nombreuses) raisons qui m'a
fait migrer à GNU/Linux.
Linux est clonable à souhait, quel bonheur quand on achète
un nouvel ordinateur, que de temps gagné.


Je ne peux qu'abonder dans ce sens. Toute l'administration des systèmes
Windows sont un vrai chemin de croix et je ne comprends toujours pas que
ça n'ait pas plus d'importance que ça dans le choix d'un OS. (My take
sur ça, c'est que les gens sont simplement incultes en matière d'OS et
croit que la manière Windows est la seule et donc normale… )

Disabling recommends - was [Re: bash-completion pros/cons]

[Richard Owlett]

On 06/17/2020 03:34 AM, to...@tuxteam.de wrote:

[snip]

A couple of those led me to disable recommends completely. It seems
I'm a freak monster or sometning ;-@



Is there a way to totally disable recommends when installing Debian?
I wish to set up a machine for experimenting to find out what I really 
want. Long long term I am considering using debootstrap to install a 
extremely customized system.

Re: [HS] Cloner depuis Debian un disque Win10 Lenovo

[ajh-valmer]

On Wednesday 17 June 2020 09:58:07 Olivier wrote:
> J'ai cloné les 7 partitions (EFI, Microsoft reserved, Windows, Lenovo, ...)
> sur le nouveau disque en prenant soin de respecter les drapeaux (pour la
> 7ème partition, j'ai les drapeaux Hidden et Msftdata sur le nouveau disque
> alors que j'ai simplement Hidden sur l'ancien).
> J'ai désactivé le Secure Boot.
> Avec l'ancien disque dans le port SATA et le nouveau sur un port USB,
> j'arrive à démarrer sur le nouveau (ie en le désignant avec le menu du
> BIOS).
> Avec le nouveau disque sur le port SATA, sans aucun disque externe, j'ai le
> message d'erreur:
> "Your PC/Device needs to be repaired".
> Bien sûr, le nouveau disque est physiquement détecté par le BIOS, donc
> correctement connecté.
> Que faire, sans ré-installer Win10, si possible ?

Est-ce que je réponds au problème ? Excuses si c'est le cas :

Il n'est pas possible de cloner un système Windows
vers un autre ordinateur ainsi que sur le même
ordinateur en changeant p. ex. son disque dur.
Au boot, on a un message d'erreur irrémédiable.
Il faut complètement réinstaller Windows avec une
nouvelle clé de licence.
C'est d'ailleurs une des (nombreuses) raisons qui m'a
fait migrer à GNU/Linux.
Linux est clonable à souhait, quel bonheur quand on achète
un nouvel ordinateur, que de temps gagné.

Re: [HS] Cloner depuis Debian un disque Win10 Lenovo

[Dethegeek]

Bonjour

Est ce que cela peut te mettre sur la voie ? Il y a plusieurs codes d'erreur, 
vérifie si l'un d'eux correspond. Et il serait utile de trouver de la 
documentation sur celui qui te concerne. Je suppose qu'il permettra 
d'identifier de manière précise ce qui cloche dans le disque cloné.

Vu qu'il y a des UUID partout de nos jours, je verrais bien un UUID de disque 
être à la source du problème. Si tu as eu besoin de vérifier les drapeaux des 
partitions, je pense que tu as copié les partitions une a une, après les avoir 
créés manuellement.

https://www.techbout.com/your-pc-device-needs-to-be-repaired-error-windows-10-36698/

Le 17 juin 2020 09:58:07 GMT+02:00, Olivier  a écrit :
>Hello,
>
>J'ai cloné les 7 partitions (EFI, Microsoft reserved, Windows, Lenovo,
>...)
>sur le nouveau disque en prenant soin de respecter les drapeaux (pour
>la
>7ème partition, j'ai les drapeaux Hidden et Msftdata sur le nouveau
>disque
>alors que j'ai simplement Hidden sur l'ancien).
>J'ai désactivé le Secure Boot.
>
>Avec l'ancien disque dans le port SATA et le nouveau sur un port USB,
>j'arrive à démarrer sur le nouveau (ie en le désignant avec le menu du
>BIOS).
>
>Avec le nouveau disque sur le port SATA, sans aucun disque externe,
>j'ai le
>message d'erreur:
>"Your PC/Device needs to be repaired".
>
>Bien sûr, le nouveau disque est physiquement détecté par le BIOS, donc
>correctement connecté.
>
>Que faire, sans ré-installer Win10, si possible ?
>
>
>Le mer. 27 mai 2020 à 13:51, Erwann Le Bras
> a
>écrit :
>
>>
>> Le 25/05/2020 à 18:31, Olivier a écrit :
>> > Bonjour,
>> >
>> > Je souhaite remplacer une disque rotatif de 1 To par un SSD de 512
>Go.
>> > Le disque appartient à un PC portable Lenovo sous Windows 10 (ça
>> > existe, malheureusement).
>> >
>> > J'ai démonté le disque d'origine et l'ai installé dans un double
>> > lecteur SATA sur port USB.
>> > J'ai aussi installé le disque cible sur ce double lecteur SATA sur
>> > port USB.
>> >
>>
>> bonjour
>>
>> J'ai fait la même opération sur un portable Lenovo (Yoda 300), en
>> changeant le disque 512G par un  SSD de 256Go
>>
>> Tu peux facilement copier chaque partition dans l'ordre avec GParted,
>en
>> redimensionnant les partitions (ici surtout "WINDOWS" pour que tout
>> rentre sur le SSD.
>>
>> Pour que GParted puisse accéder et réduire les partitions NTFS, les
>> utilisateurs doivent être déconnectés, Windows arrêtés et les disques
>> défragmentés. Tu peux faire réduire les partitions principales par le
>> gestionnaire de disque de Windows, la tâche de GParted n'en sera que
>> plus facile.
>>
>> Assure-toi que les partitions sont dans le même ordre, ont gardé le
>même
>> ID et remets les drapeaux corrects (HIDDEN, BOOT, DATA).
>>
>> De mémoire l'une des partitions bizzares a occasionné un échec sous
>> GParted mais c'est passé inaperçu ensuite.
>>
>> Tu peux ensuite remettre le disque en place.
>>
>> Ya une manip ensuite à appliquer pour que le boot UEFI démarre sur la
>> bonne partition (partition LENOVO de mémoire). Elle nécessite un
>disque
>> de réparation Windows 10.  Les deux se trouvent facilement sur
>Internet.
>>
>> Me concernant, l'opération a été un succès, le PC a redémarré
>> normalement à la fin. Il se peut que Windows trouve le disque en
>bazar
>> et applique une réparation, mais tout s'est bien terminé.
>>
>> Pense à sauvegarder les données avant sur un disque externe.
>>
>> bon courage
>>
>> Erwann
>>
>>

-- 
Envoyé de mon appareil Android avec Courriel K-9 Mail. Veuillez excuser ma 
brièveté.

Re: [HS] Cloner depuis Debian un disque Win10 Lenovo

[Olivier]

1. Il accepte de booter sur le nouveau disque quand l'ancien reste en place
et le nouveau est connecté. Puis-je en conclure que le disque est
acceptable ?
2. Sur Internet, les premiers exemples de Whitelist sur Lenovo concernent
que le WiFi.

Le mer. 17 juin 2020 à 10:52, MERLIN Philippe 
a écrit :

> Bonjour,
> J'espère que tu n'es pas victime d'une whitelist insérée dans le Bios  de
> ton
> PC Lenovo qui ne tolère que certains matériels inclus dans cette liste.
> C'est pour notre Bien !!! HI ! HI!
> Philippe Merlin
>
>
>
> Le mercredi 17 juin 2020, 09:58:07 CEST Olivier a écrit :
> > Hello,
> >
> > J'ai cloné les 7 partitions (EFI, Microsoft reserved, Windows, Lenovo,
> ...)
> > sur le nouveau disque en prenant soin de respecter les drapeaux (pour la
> > 7ème partition, j'ai les drapeaux Hidden et Msftdata sur le nouveau
> disque
> > alors que j'ai simplement Hidden sur l'ancien).
> > J'ai désactivé le Secure Boot.
> >
> > Avec l'ancien disque dans le port SATA et le nouveau sur un port USB,
> > j'arrive à démarrer sur le nouveau (ie en le désignant avec le menu du
> > BIOS).
> >
> > Avec le nouveau disque sur le port SATA, sans aucun disque externe, j'ai
> le
> > message d'erreur:
> > "Your PC/Device needs to be repaired".
> >
> > Bien sûr, le nouveau disque est physiquement détecté par le BIOS, donc
> > correctement connecté.
> >
> > Que faire, sans ré-installer Win10, si possible ?
> >
> >
> > Le mer. 27 mai 2020 à 13:51, Erwann Le Bras 
> a
> >
> > écrit :
> > > Le 25/05/2020 à 18:31, Olivier a écrit :
> > > > Bonjour,
> > > >
> > > > Je souhaite remplacer une disque rotatif de 1 To par un SSD de 512
> Go.
> > > > Le disque appartient à un PC portable Lenovo sous Windows 10 (ça
> > > > existe, malheureusement).
> > > >
> > > > J'ai démonté le disque d'origine et l'ai installé dans un double
> > > > lecteur SATA sur port USB.
> > > > J'ai aussi installé le disque cible sur ce double lecteur SATA sur
> > > > port USB.
> > >
> > > bonjour
> > >
> > > J'ai fait la même opération sur un portable Lenovo (Yoda 300), en
> > > changeant le disque 512G par un  SSD de 256Go
> > >
> > > Tu peux facilement copier chaque partition dans l'ordre avec GParted,
> en
> > > redimensionnant les partitions (ici surtout "WINDOWS" pour que tout
> > > rentre sur le SSD.
> > >
> > > Pour que GParted puisse accéder et réduire les partitions NTFS, les
> > > utilisateurs doivent être déconnectés, Windows arrêtés et les disques
> > > défragmentés. Tu peux faire réduire les partitions principales par le
> > > gestionnaire de disque de Windows, la tâche de GParted n'en sera que
> > > plus facile.
> > >
> > > Assure-toi que les partitions sont dans le même ordre, ont gardé le
> même
> > > ID et remets les drapeaux corrects (HIDDEN, BOOT, DATA).
> > >
> > > De mémoire l'une des partitions bizzares a occasionné un échec sous
> > > GParted mais c'est passé inaperçu ensuite.
> > >
> > > Tu peux ensuite remettre le disque en place.
> > >
> > > Ya une manip ensuite à appliquer pour que le boot UEFI démarre sur la
> > > bonne partition (partition LENOVO de mémoire). Elle nécessite un disque
> > > de réparation Windows 10.  Les deux se trouvent facilement sur
> Internet.
> > >
> > > Me concernant, l'opération a été un succès, le PC a redémarré
> > > normalement à la fin. Il se peut que Windows trouve le disque en bazar
> > > et applique une réparation, mais tout s'est bien terminé.
> > >
> > > Pense à sauvegarder les données avant sur un disque externe.
> > >
> > > bon courage
> > >
> > > Erwann
>
>
>
>
>

Re: KDE run Dolphin as root?

[tomas]

On Tue, Jun 16, 2020 at 04:51:39PM -0700, Gary L. Roach wrote:

[...]

> Miacopa

All is well, and sorry if my tone was... rough.

> I think I was venting. I am so frustrated with this whole Dolphin
> mess that I may have gone overboard [...]

I feel your pain. Not from KDE land, but I think it's a basic problem.

We are being torn apart by the attempt to democratize free software
(which is something we *must* attempt!).

Making things user friendly (something we *gotta* do) means sometimes
taking decisions for the user. Where's the limit? Where's too much
(authoritarian software)? Where's too litle (RTFM software)? You'll
be wrong most of the time for some users, and some of the time for
most users.

As an example: yesterday, I got a laptop from a customer. Doesn't
boot. Thinkpad something something, with Ubuntu on it. Now I think
it's so awesome that a psychotherapist runs Ubuntu for his business.
He gets a special price.

What was the problem? Basically a b0rked kernel upgrade[1], where
the corresponding Intel CPU firmware was missing. The two youngest
kernels in the Grub menu didn't boot, the third oldest did (though
I found about that in a somewhat roundabout way: it seems at least
80% of our profession consists of barking up the wrong tree, but
I disgress).

Back to our topic: this customer has auto-upgrade running. While
his box was up and running, it did two (!) kernel updates without
the owner even noticing[2]. This is an incredible luxury, but in
this case the effect was that after the next shutdown the box didn't
boot, with no obvious reason for him.

What is "the right" degree of automation? Finding an adequate answer
to this will be our job for the next ~20 years. I don't expect a
scalar number as answer :-)

Cheers

[1] https://bugs.launchpad.net/ubuntu/+source/intel-microcode/+bug/1882890
[2] "But there was this notification saying the box needs a reboot, blah,
   blah" you'll say. Yeah, right.

-- tomás


signature.asc
Description: Digital signature

Re: KDE run Dolphin as root?

[didier . gaumet]

Le mercredi 17 juin 2020 01:40:05 UTC+2, Gary L. Roach a écrit :
[...] 
> I now have to start communications with the Elmerfem people who have 
> religated their GUI Qt4 problems from a bug to an inhancement. I have 
> gotten warnings from several different sources that Debian is dropping 
> Qt4 because of maintenance problems up line. One of these days I may get 
> a working physics modeling setup.
> 
> Regards
> 
> Gary R.

Debian is droping Qt4:
 https://wiki.debian.org/Qt4Removal

QT4 is not facing maintenance problems upstream, it is unsupported upstream 
since 2015:
 https://en.wikipedia.org/wiki/Qt_version_history#Qt_4

Re: bash-completion pros/cons

[tomas]

On Tue, Jun 16, 2020 at 02:47:38PM -0500, David Wright wrote:

[...]

> Where bash-completion does get in the way for me is, for example,
> where you download a file that's, say, a PDF but it arrives via wget
> called, say, index_0001.3872359.html, for whatever reason.
> So you type   xpdf inde [TAB]   and bash-completion refuses to
> complete the name any further [...]

Now you describe it so thoroughly, I think that was actually the
trigger for my decision. I had bash-completion installed (possibly
via recommends) and this happened to me. Upon deeper inspection,
I found out what was happening, and after looking into what that
package does, I went "nifty, but hell, no -- not for me".

A couple of those led me to disable recommends completely. It seems
I'm a freak monster or sometning ;-@

Cheers
-- t


signature.asc
Description: Digital signature

Re: KDE run Dolphin as root?

[didier . gaumet]

(Apologies if this link have been given before) 

You will find a thread there on a KDE forum detailing why running Dolphin as 
root is discouraged and how to bypass this measure:
 https://forum.kde.org/viewtopic.php?t=141836

Re: bash-completion pros/cons

[Anders Andersson]

On Tue, Jun 16, 2020 at 9:48 PM David Wright  wrote:
> Where bash-completion does get in the way for me is, for example,
> where you download a file that's, say, a PDF but it arrives via wget
> called, say, index_0001.3872359.html, for whatever reason.
> So you type   xpdf inde [TAB]   and bash-completion refuses to
> complete the name any further. If you're lucky, typing   * [RETURN]
> will work, if there aren't any disruptive filenames which match
> inde*, but in other cases the fastest workaround I know is to type
> [HOME]less[SPACE][END] whereupon bash-completion is happy to match
> any old filename for the less command, which you then rub out.
>
> That's just one example, but it represents a whole class where it
> seems that a bunch of files have disappeared because bash won't match them.

First time this happened to me (it also happens with buggy
completion-scripts where the author doesn't know all the ways to use
the tool) I found that bash maps M-/ to "complete-filename" by
default. This can be used in all contexts. The only problem is that I
always forget the combo.

Re: [HS] Cloner depuis Debian un disque Win10 Lenovo

[Olivier]

Hello,

J'ai cloné les 7 partitions (EFI, Microsoft reserved, Windows, Lenovo, ...)
sur le nouveau disque en prenant soin de respecter les drapeaux (pour la
7ème partition, j'ai les drapeaux Hidden et Msftdata sur le nouveau disque
alors que j'ai simplement Hidden sur l'ancien).
J'ai désactivé le Secure Boot.

Avec l'ancien disque dans le port SATA et le nouveau sur un port USB,
j'arrive à démarrer sur le nouveau (ie en le désignant avec le menu du
BIOS).

Avec le nouveau disque sur le port SATA, sans aucun disque externe, j'ai le
message d'erreur:
"Your PC/Device needs to be repaired".

Bien sûr, le nouveau disque est physiquement détecté par le BIOS, donc
correctement connecté.

Que faire, sans ré-installer Win10, si possible ?


Le mer. 27 mai 2020 à 13:51, Erwann Le Bras  a
écrit :

>
> Le 25/05/2020 à 18:31, Olivier a écrit :
> > Bonjour,
> >
> > Je souhaite remplacer une disque rotatif de 1 To par un SSD de 512 Go.
> > Le disque appartient à un PC portable Lenovo sous Windows 10 (ça
> > existe, malheureusement).
> >
> > J'ai démonté le disque d'origine et l'ai installé dans un double
> > lecteur SATA sur port USB.
> > J'ai aussi installé le disque cible sur ce double lecteur SATA sur
> > port USB.
> >
>
> bonjour
>
> J'ai fait la même opération sur un portable Lenovo (Yoda 300), en
> changeant le disque 512G par un  SSD de 256Go
>
> Tu peux facilement copier chaque partition dans l'ordre avec GParted, en
> redimensionnant les partitions (ici surtout "WINDOWS" pour que tout
> rentre sur le SSD.
>
> Pour que GParted puisse accéder et réduire les partitions NTFS, les
> utilisateurs doivent être déconnectés, Windows arrêtés et les disques
> défragmentés. Tu peux faire réduire les partitions principales par le
> gestionnaire de disque de Windows, la tâche de GParted n'en sera que
> plus facile.
>
> Assure-toi que les partitions sont dans le même ordre, ont gardé le même
> ID et remets les drapeaux corrects (HIDDEN, BOOT, DATA).
>
> De mémoire l'une des partitions bizzares a occasionné un échec sous
> GParted mais c'est passé inaperçu ensuite.
>
> Tu peux ensuite remettre le disque en place.
>
> Ya une manip ensuite à appliquer pour que le boot UEFI démarre sur la
> bonne partition (partition LENOVO de mémoire). Elle nécessite un disque
> de réparation Windows 10.  Les deux se trouvent facilement sur Internet.
>
> Me concernant, l'opération a été un succès, le PC a redémarré
> normalement à la fin. Il se peut que Windows trouve le disque en bazar
> et applique une réparation, mais tout s'est bien terminé.
>
> Pense à sauvegarder les données avant sur un disque externe.
>
> bon courage
>
> Erwann
>
>

exim, spfquery, antwoord is altijd "none" (met lange uittro)

[Gijs Hillenius]

Goedenmorgen

Is er hier iemand die Debian's Exim macro's kan spellen?

Al jaren terug stelde ik de standaard regeltjes voor SPF in, maar het
val me nu pas op dat de check altijd "none" oplevert.

Kan iemand die regel met me meelezen? Is het omdat de query meer
teruggeeft dan 1 woord? De query geeft 4 regels terug, maar de eerste
regel is het "gezochte" antwoord.

Hier het blok in exim4.conf.template


  # Use spfquery to perform a pair of SPF checks
  # This is quite costly in terms of DNS lookups (~6 lookups per mail).  Do not
  # enable if that's an issue.
  # required:
  # apt install spf-tools-perl
  # and (for monolithic conf file, set CHECK_RCPT_SPF=true in 
exim4.conf.localmacros
  .ifdef CHECK_RCPT_SPF
  deny
message = [SPF] $sender_host_address is not allowed to send mail from ${if 
def:sender_address_domain {$sender_address_domain}{$sender_helo_name}}.  \
  Please check your SPF set-up
log_message = SPF check failed.
condition = ${run{/usr/bin/spfquery --ip \"$sender_host_address\" 
--mail-from \"$sender_address\" --helo \"$sender_helo_name\"}\
 {no}{${if eq {$runrc}{1}{yes}{no

  defer
message = Temporary DNS error while checking SPF record.  Try again later.
condition = ${if eq {$runrc}{5}{yes}{no}}

  warn
condition = ${if <={$runrc}{6}{yes}{no}}
message = :at_start:Received-SPF: ${if eq {$runrc}{0}{pass}\
   {${if eq {$runrc}{2}{softfail}\
   {${if eq {$runrc}{3}{neutral}\
   {${if eq {$runrc}{4}{unknown}\
   {${if eq {$runrc}{6}{none}{error}\
   } client-ip=$sender_host_address; \
${if def:sender_address_domain \
   {envelope-from=${sender_address}; }{}}\
helo=$sender_helo_name

  warn
log_message = Unexpected error in SPF check.
condition = ${if >{$runrc}{6}{yes}{no}}
  .endif




En dan nog dit: Ik ben mijn SPF regeltjes aan het bijschaven.

De afgelopen dagen geleerd dat Debian's versie van Exim nog geen SPF
ondersteuning meelevert, maar Ubuntu wel. En ook dat Debian's Exim macro
verwijst naar een externe tool die niet meer in Debian zit
(libmail-spf-query-per ipv spf-tools-perl). Dit is al aangepast in de
Wiki, gelukkig.

Dat de standaard filter (uit spec.text.gz) verwijst naar
http://www.openspf.org/Why?scope= ... die website is nu ongeveer 1,5
jaar terug uit de lucht.

Het commentaar hierboven verwijst daarom niet meer naar die SPF site; en
da's ook verwijderd uit de deny regel.

Ik voegde een :at_start: toe aan de warn regel, en ook een berichtje om
te testen dat deze header echt het resultaat is van die warn check. Maar
de if 0 if 2 if 3 levert altijd none als antwoord. Als ik de spfguery
nakijk, voor bijvoorbeeld gmail, is het antwoord "pass".

Re: [HS] L'Etat choisit Microsoft pour ses données de santé

[Jean Bernon]

https://lists.riseup.net/www/info/interhop 

> Y a-t-il une initiative pour protester contre cette forfaiture ?

Re: Grub cannot see my new hard drive

[deloptes]

Matthew Campbell wrote:

> Now Debian Linux is running on my new hard drive using /dev/sdb1 as the
> root partition. I need to set up a separate USB flash drive to do all of
> this by default so I don't have to do all of this work every time the
> computer boots up. I also need to install Grub2 on the backup USB flash
> drive so I can use it to boot my system if something goes wrong and the
> first USB flash drive that I just used gets screwed up as well.

you better find out how to install properly grub2. I suggest using UUIDs -
it will save you a lot of troubles - especially on removable devices.

I attach here my notes regarding GPT and removable or not removable disks -
I hope it helps.



This is a step by step how to to install debian on a USB stick and make this 
stick bootable.
The stick in the example is found under /dev/sdb. Change to fit your setup.

1. Partition the disk. If you want you can use also crypto_LUKS and LVM

# fdisk -l /dev/sdb

Disk /dev/sdb: 28.9 GiB, 31051513856 bytes, 60647488 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x93e4092b

Device Boot   Start  End  Sectors  Size Id Type
/dev/sdb1  *   2048  1050623  1048576  512M 83 Linux
/dev/sdb2   1050624 46679687 45629064 21.8G 83 Linux


   The example here will use plain ext4 on two partitions
/dev/sdb1   /boot
/dev/sdb2   /

1.a. USB Formatting with GPT

Model: Kingston DataTraveler 2.0 (scsi)
Disk /dev/sdb: 60647488s
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:

Number  Start  EndSize   File system Name  Flags
1  2048s  1001471s   999424sfat32   EFI   boot, esp
2  1001472s   2050047s   1048576s   ext4
3  2050048s   10438655s  8388608s   linux-swap(v1)
4  10438656s  60647454s  50208799s  ext4


Use following setup

/dev/sdb1 /mnt/target/boot/efi
/dev/sdb2 /mnt/target/boot/
/dev/sdb4 /mnt/target/

mount the partitions and chroot (see below)
then install grub (5.2) and do update-grub
this should be done from efi booted system


2. Format the partitions

# mkfs.ext4 /dev/sdb1
# mkfs.ext4 /dev/sdb2

3. mount the partitions

# mkdir /mnt/target
# mount /dev/sdb2 /mnt/target
# mkdir /mnt/target/boot
# mount /dev/sdb1 /mnt/target/boot
# mount
/dev/sdb2 on /mnt/target type ext4 (rw,relatime)
/dev/sdb1 on /mnt/target/boot type ext4 (rw,relatime)

4. Debootstrap Buster to /mnt/target
https://wiki.debian.org/Debootstrap

The log can be monitored after starting debootstrap
tail -1000f  /mnt/target/debootstrap/debootstrap.log

# debootstrap buster /mnt/target/ http://deb.debian.org/debian/
I: Retrieving InRelease
I: Checking Release signature
I: Valid Release signature (key id 
6D33866EDD8FFA41C0143AEDDCC9EFBF77E11517)
I: Retrieving Packages
I: Validating Packages
I: Resolving dependencies of required packages...
I: Resolving dependencies of base packages...
I: Found additional required dependencies: adduser 
debian-archive-keyring fdisk gcc-8-base gpgv libacl1 libapt-pkg5.0 libattr1 
libaudit-common libaudit1 libblkid1 libbz2-1.0 libc6 libcap-ng0 libcom-err2 
libdb5.3 libdebconfclient0 libext2fs2 libfdisk1 libffi6 libgcc1 libgcrypt20 
libgmp10 libgnutls30 libgpg-error0 libhogweed4 libidn2-0 liblz4-1 liblzma5 
libmount1 libncursesw6 libnettle6 libp11-kit0 libpam0g libpcre3 libseccomp2 
libselinux1 libsemanage-common libsemanage1 libsepol1 libsmartcols1 libss2 
libstdc++6 libsystemd0 libtasn1-6 libtinfo6 libudev1 libunistring2 libuuid1 
libzstd1 zlib1g
I: Found additional base dependencies: dmsetup libapparmor1 
libapt-inst2.0 libargon2-1 libbsd0 libcap2 libcap2-bin libcryptsetup12 
libdevmapper1.02.1 libdns-export1104 libelf1 libestr0 libfastjson4 libidn11 
libip4tc0 libip6tc0 libiptc0 libisc-export1100 libjson-c3 libkmod2 
liblocale-gettext-perl liblognorm5 libmnl0 libncurses6 libnetfilter-conntrack3 
libnewt0.52 libnfnetlink0 libnftnl11 libpopt0 libprocps7 libslang2 libssl1.1 
libtext-charwidth-perl libtext-iconv-perl libtext-wrapi18n-perl libxtables12 
lsb-base xxd
I: Checking component main on http://deb.debian.org/debian...
I: Retrieving libacl1 2.2.53-4
I: Validating libacl1 2.2.53-4
I: Retrieving adduser 3.118
I: Validating adduser 3.118
I: Retrieving libapparmor1 2.13.2-10
I: Validating libapparmor1 2.13.2-10
I: Retrieving apt 1.8.2
I: Validating apt 1.8.2
I: Retrieving apt-utils 1.8.2
I: Validating apt-utils 1.8.2
   

Re: "NVIDIA GeForce 7600 GT"

[Hans]

Am Mittwoch, 17. Juni 2020, 01:17:24 CEST schrieb Seeds Notoneofmy:



Try "aptitude purge ~nnvidia*", this might uninstall more. The "~n" means 
"choose 
everything with the expression of .", which in this case is "nvidia*".

This might also deinstall libs and other things. My best way to deinstall 
packages with a 
certain name.


There is also another way using apt-get, for this I am not sure, if this is 
still working: 

apt-get --purge remove 'nvidia-*'

This will also uninstall all packags of nvidia. Personally I prefer the 
aptitude one above.

Best

Hans  


On 6/14/20 5:45 PM, floris wrote:


(From nvidia-detect) $ nvidia-detect 10de:0391 Checking driver support for PCI 
ID [10de:
0391] Your card is only supported by the 304 legacy drivers series, which is 
only available 
up to stretch. 

In other words; downgrade Buster to Stretch if you want to use the 
nvidia-graphics-
drivers-legacy-304xx packages Maybe you can install the 304 driver, but you 
must 
downgrade the Xserver to version 1.19 
And this is what *was* installed, as I've now removed it with apt-get purge 
nvidia*


nvidia-legacy-390xx-alternative (390.132-3~deb10u1) 
Thanks.








signature.asc
Description: This is a digitally signed message part.