Creería que tiene que ver con el tema de que en slackware se compilan los paquetes sinceramente nunca use slack, así que no se como se maneja, pero si mal no recuerdo en slack las cosas se hacen a la manera antigua, es decir ./configure, make, make install, en cambio acá en debian, los paquetes están precompilados, para que funcionen en la mayor cantidad de plataformas posibles, con lo cual las opciones de compilación son genéricas.- Considerando lo que dije antes, y las cosas se compilan, en realidad deberías comparar Slackware con Gentoo, pero ahí te vas a encontrar que Gentoo va a funcionar mucho mas rápido ya que tenes muchas mas opciones y podes optimizar el sistema mucho mas que lo que se podría con Slackware.-
Y de ultima si queres optimizar Debian, siempre tenes la opción de apt-build, que lo que haría es bajar las sources y compilarte según las opciones que vos le pases y tendrías el sistema totalmente optimizado para tu equipo, es decir podrías llegar a tener un rendimiento superior, ya que no serian paquetes genéricos.-
