Re: md5 hashes zu kurz (zu viele collisionen)
Michelle Konzack schrieb: Sorry für die Lange Wartezeit, aber habe mir erst auf eBay ein neues Laptop besorgen müssen. Am 2006-10-12 22:50:41, schrieb Aleks: Hallo Michelle, wie von anderen bereits festgestellt, ist dies eher unwarscheinlich wenn auch nicht unmöglich. Kann es da vielleicht ein Problem beim benutzen der hashes als keys geben? Vielleicht möchtest Du mal testen ob die Ich verwende einfach das 'md5sum' was in Sarge ist. Es gibt im Übrigen tolle Methoden zur Kollissionsauflösung! Wenn Kollissionen bei Dir gehäuft auftreten, wäre es sicher nicht schlecht, sich damit zu beschäftigen und diese zu implementieren! -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: md5 hashes zu kurz (zu viele collisionen)
Am 2006-11-01 13:00:50, schrieb Marcus Krause: Es gibt im Übrigen tolle Methoden zur Kollissionsauflösung! Wenn Kollissionen bei Dir gehäuft auftreten, wäre es sicher nicht schlecht, sich damit zu beschäftigen und diese zu implementieren! Als Notlösug hänge ich derzeit das Serielle Datum (wann ich die Datei bekommen habe) dran womit die kollisionen so gut wie 0 sind denn ich denke, das ich in der gleichen Sekunde nicht zwei Dateien mit dem gleichen HASH wert bekommen werde. Thanks, Greetings and nice Day Michelle Konzack Systemadministrator Tamay Dogan Network Debian GNU/Linux Consultant -- Linux-User #280138 with the Linux Counter, http://counter.li.org/ # Debian GNU/Linux Consultant # Michelle Konzack Apt. 917 ICQ #328449886 50, rue de Soultz MSM LinuxMichi 0033/6/6192519367100 Strasbourg/France IRC #Debian (irc.icq.com) -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: md5 hashes zu kurz (zu viele collisionen)
Sorry für die Lange Wartezeit, aber habe mir erst auf eBay ein neues Laptop besorgen müssen. Am 2006-10-12 22:50:41, schrieb Aleks: Hallo Michelle, wie von anderen bereits festgestellt, ist dies eher unwarscheinlich wenn auch nicht unmöglich. Kann es da vielleicht ein Problem beim benutzen der hashes als keys geben? Vielleicht möchtest Du mal testen ob die Ich verwende einfach das 'md5sum' was in Sarge ist. hashes wirklich in der kompletten länge verwendet werden. Falls die hashes abgeschnitten werden, ist eine Übereinstimmung warscheinlicher. In der Datenbank sind 32 Byte lange md5sums und nicht abgeschnitten. ich kann die Dateien manuell überprüfen und komme auf die selben werte wie die in der Datenbank gespeicherten. Mein Server hat vor 2 Wochen ein neues 3,6 TByte Array dazubekommen, weil sich der Datenbestand in den nächsten 14 Monaten verdoppeln wird. Ich habe einfach eine neue spalte in meiner PostgreSQL eingerichtet und sha256 verwendet... Keine einzige kollision. (Hat fast 2 Wochen gedauert die zu ermitteln). Nun habe ich eine weitere Spalte hinzugefügt und teste noch einmal md5sum was noch mal ne weile benötigen dürfte nur diesesmail schreibe ich die Daten Datei per Datei und nicht in Blöcken zu 1000 um die Belastung auf der PostgreSQL zu verringern. Ein Kollege aus paris meinte, das es eventuell ein Programmfehler sein könnte! - wegen dem zwischenspeichern... In gut 2 Wochen weis ich mehr... Die Kiste ist nur ein Dual Pentium 2400 MP Thanks, Greetings and nice Day Michelle Konzack Systemadministrator Tamay Dogan Network Debian GNU/Linux Consultant -- Linux-User #280138 with the Linux Counter, http://counter.li.org/ # Debian GNU/Linux Consultant # Michelle Konzack Apt. 917 ICQ #328449886 50, rue de Soultz MSM LinuxMichi 0033/6/6192519367100 Strasbourg/France IRC #Debian (irc.icq.com) -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: md5 hashes zu kurz (zu viele collisionen)
Am 2006-10-12 23:02:43, schrieb Christian Brabandt: Hallo Michelle! Du hast nicht zufällig doppelte Dateien auf deinem FileServer? Schon überprüft, bei einer der zwei kollidierende Dateien sind es ein mp4 (72 MByte) und ein Worddokument (38kByte). Die kollidieren definitiv, denn ich habe sie auf der Console beide mir md5sum GLEICHZEITIG überprüft. Wenn Du dann ich die Date guckst, schauste nicht schlecht wenn Du die beiden md5sums übereinander siehst. Thanks, Greetings and nice Day Michelle Konzack Systemadministrator Tamay Dogan Network Debian GNU/Linux Consultant -- Linux-User #280138 with the Linux Counter, http://counter.li.org/ # Debian GNU/Linux Consultant # Michelle Konzack Apt. 917 ICQ #328449886 50, rue de Soultz MSM LinuxMichi 0033/6/6192519367100 Strasbourg/France IRC #Debian (irc.icq.com) -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: md5 hashes zu kurz (zu viele collisionen)
Am Freitag 13 Oktober 2006 11:04 schrieb Joerg Zimmermann: Theoretisch kann es durchaus zu einer Kollision zwischen den Hashes zweier Dateien kommen. In diesem Universum sind 2000 Kollisionen jedoch unmöglich weil das so unglaublich unwahrscheinlich ist, dass es nur aufgrund einer falschen Implementation oder eben bei Dir auftreten kann. Etwas was theoretisch vorkommen kann hat eine Wahrscheinlichkeit 0 und ist damit nicht mehr unmöglich... Gruß Chris -- A: because it distrupts the normal process of thought Q: why is top posting frowned upon
Re: md5 hashes zu kurz (zu viele collisionen)
Hi, Michelle Konzack wrote: Moin Leute, Ich habe einen FileServer auf dem derzeit 130 millionen Dateien von wenigen Bytes bis zu hunderten von MBytes gespeichert sind. Lächerlich. Alle Dateien haben md5 hashes und bei der eintragung in meine PostgreSQL sind Fehler aufgetaucht... (die md5 hashes sind die primary keys) Ich habe weit über 2000 collisionen! Was somit über 2000 zuviel sind. Theoretisch kann es durchaus zu einer Kollision zwischen den Hashes zweier Dateien kommen. In diesem Universum sind 2000 Kollisionen jedoch unmöglich weil das so unglaublich unwahrscheinlich ist, dass es nur aufgrund einer falschen Implementation oder eben bei Dir auftreten kann. Gut, nachdem diverse Filesharing Firmen (Napster?, Kaaza?) miliarden von Dateien handhaben müssen, - und es bereits 64 Byte md5sums gibt, Was sollen denn 64Byte md5sums sein? Du möchtest bestimmt mal im RFC 1321 blättern. Md5 ist erzeugt einen 128-bit fingerprint und sonst nix. nea:~# cat /proc/crypto name : md5 module : kernel type : digest blocksize: 64 digestsize : 16 -- cut -- Falls Dir das nicht reicht, es gibt auch andere Hash-Algorithmen. -Jörg -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: md5 hashes zu kurz (zu viele collisionen)
Am Freitag, 13. Oktober 2006 02:22 schrieb Ulf Volmer: On Thu, Oct 12, 2006 at 09:37:47PM +0200, Markus Schulz wrote: Am Mittwoch, 11. Oktober 2006 11:53 schrieb Michelle Konzack: Ich habe einen FileServer auf dem derzeit 130 millionen Dateien von wenigen Bytes bis zu hunderten von MBytes gespeichert sind. Alle Dateien haben md5 hashes und bei der eintragung in meine PostgreSQL sind Fehler aufgetaucht... (die md5 hashes sind die primary keys) Ich habe weit über 2000 collisionen! Was somit über 2000 zuviel sind. auch wenn ich das nicht wirklich glauben kann, nimm doch einfach sha256 oder ähnliche Hash Verfahren. Wird nicht helfen. _Jedes_ Hash- Verfahren kann bereits bei zwei Dateien Koalisionen aufweisen. Shit happens. das ist mir schon klar, aber man kann die Grösse des Zielraums ja erhöhen um das Risiko von Kollisionen zu minimieren. Michelle begeht einfach einen grundsätzlichen Fehler (den md5- Hash als primary zu verwenden.). ja, das ist wahrlich eine recht dumme Idee. -- Markus Schulz Programming today is a race between software engineers striving to build bigger and better idiot-proof programs, and the Universe trying to produce bigger and better idiots. So far, the Universe is winning. - Rich Cook
Re: md5 hashes zu kurz (zu viele collisionen)
Markus Schulz schrieb: Am Freitag, 13. Oktober 2006 02:22 schrieb Ulf Volmer: _Jedes_ Hash- Verfahren kann bereits bei zwei Dateien Koalisionen aufweisen. Shit happens. das ist mir schon klar, aber man kann die Grösse des Zielraums ja erhöhen um das Risiko von Kollisionen zu minimieren. Es ist aber auch schon bei md5 relativ unwahrscheinlich *eine* Kollision zu bekommen. AFAIK hat man das mit viel Aufwand bis jetzt *einmal* geschafft, bei sha1 glaube ich auch, aber bei den höheren sha-Algorithmen noch nicht. Und auch, wenn diese Information nicht stimmt, glaube ich nicht, das *eine* Person über *2000* Kollisionen auf einem Rechner haben kann (bei nichtidentischen Dateien und korrekter Implementation). -- MfG Jan OpenPGP Fingerprint: 0E9B 4052 C661 5018 93C3 4E46 651A 7A28 4028 FF7A pgpPqXQXNfY1u.pgp Description: PGP signature
Re: md5 hashes zu kurz (zu viele collisionen)
On Fri, Oct 13, 2006 at 03:16:09PM +0200, Jan Kohnert wrote: Markus Schulz schrieb: Am Freitag, 13. Oktober 2006 02:22 schrieb Ulf Volmer: _Jedes_ Hash- Verfahren kann bereits bei zwei Dateien Koalisionen aufweisen. Shit happens. das ist mir schon klar, aber man kann die Grösse des Zielraums ja erhöhen um das Risiko von Kollisionen zu minimieren. Es ist aber auch schon bei md5 relativ unwahrscheinlich *eine* Kollision zu bekommen. AFAIK hat man das mit viel Aufwand bis jetzt *einmal* geschafft, bei sha1 glaube ich auch, aber bei den höheren sha-Algorithmen noch nicht. Kollosionen bei md5 sind alltäglich. Was du vermutlich meinst, ist, gezielt eine Kollision für eine bestehende md5- Summe zu erzeugen. Und auch, wenn diese Information nicht stimmt, glaube ich nicht, das *eine* Person über *2000* Kollisionen auf einem Rechner haben kann (bei nichtidentischen Dateien und korrekter Implementation). Wieso nicht? cu ulf -- Ulf Volmer [EMAIL PROTECTED] www.u-v.de -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: md5 hashes zu kurz (zu viele collisionen)
On Fri, Oct 13, 2006 at 03:04:14PM +0200, Markus Schulz wrote: Am Freitag, 13. Oktober 2006 02:22 schrieb Ulf Volmer: Wird nicht helfen. _Jedes_ Hash- Verfahren kann bereits bei zwei Dateien Koalisionen aufweisen. Shit happens. das ist mir schon klar, aber man kann die Grösse des Zielraums ja erhöhen um das Risiko von Kollisionen zu minimieren. Wäre es nicht einfacher, auf das Risiko komplett zu verzichten? cu ulf -- Ulf Volmer [EMAIL PROTECTED] www.u-v.de -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: md5 hashes zu kurz (zu viele collisionen)
Ulf Volmer wrote: Kollosionen bei md5 sind alltäglich. Naja, da habe ich aber anderes in Erinnerung. Kurzes googeln hat mich da auch eher unterstützt. Siehe zum Beispiel [1] Vorsätzlich Kollisionen zu erzeugen ist dagegen wohl kein allzugroßes Problem. Siehe [2] /Armin [1] http://www.miketaylor.org.uk/tech/law.html [2] http://eprint.iacr.org/2006/105 -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: md5 hashes zu kurz (zu viele collisionen)
On Fri, Oct 13, 2006 at 04:45:10PM +0200, Armin Berres wrote: Ulf Volmer wrote: Kollosionen bei md5 sind alltäglich. Naja, da habe ich aber anderes in Erinnerung. Kurzes googeln hat mich da auch eher unterstützt. Siehe zum Beispiel [1] Vorsätzlich Kollisionen zu erzeugen ist dagegen wohl kein allzugroßes Problem. Siehe [2] Genau andersrum. Ist aber auch einleuchtend: Wenn man gigabyte- große Dateien auf byte- große Prüfsummen abbilden will, _muß_ es Kollisionen geben. cu ulf -- Ulf Volmer [EMAIL PROTECTED] www.u-v.de -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: md5 hashes zu kurz (zu viele collisionen)
Am Mittwoch, 11. Oktober 2006 11:53 schrieb Michelle Konzack: Moin Leute, Ich habe einen FileServer auf dem derzeit 130 millionen Dateien von wenigen Bytes bis zu hunderten von MBytes gespeichert sind. Alle Dateien haben md5 hashes und bei der eintragung in meine PostgreSQL sind Fehler aufgetaucht... (die md5 hashes sind die primary keys) Ich habe weit über 2000 collisionen! Was somit über 2000 zuviel sind. auch wenn ich das nicht wirklich glauben kann, nimm doch einfach sha256 oder ähnliche Hash Verfahren. -- Markus Schulz Kreuzigt mich - aber Debian ist einfach deppensicher. Es lässt Deppen gegen eine Wand von Schwierigkeiten klatschen und langsam abtropfen. Wer die Tür findet, darf mitspielen - und so sieht das Spielzeug dann eben aus: Gut gepflegt. -- Joerg Rossdeutscher
Re: md5 hashes zu kurz (zu viele collisionen)
Hallo, Michelle Konzack wrote: Moin Leute, Ich habe einen FileServer auf dem derzeit 130 millionen Dateien von wenigen Bytes bis zu hunderten von MBytes gespeichert sind. Alle Dateien haben md5 hashes und bei der eintragung in meine PostgreSQL sind Fehler aufgetaucht... (die md5 hashes sind die primary keys) Ich habe weit über 2000 collisionen! Was somit über 2000 zuviel sind. Bist du dir ganz sicher, dass die Fehler wirklich die kollidierenden md5-hashes sind? Das fällt mir schwer zu glauben. Teste das doch mal bei einer Kollision per hand mit md5sum auf beiden Dateien. Gut, nachdem diverse Filesharing Firmen (Napster?, Kaaza?) miliarden von Dateien handhaben müssen, - und es bereits 64 Byte md5sums gibt, würde es mich interessieren wo ich dieses Tool herbekommen kann. Nimm doch einfach einen andern md-Algorithmus, der unter Linux frei verfügbar ist. gpg kann z.B. mit --print-mds sha512 ein halbes kilobit Hashsumme erstellen, das sollte mehr als genug sein ;-) Grüße, Moritz -- Moritz Lenz http://moritz.faui2k3.org/ signature.asc Description: OpenPGP digital signature
Re: md5 hashes zu kurz (zu viele collisionen)
Michelle Konzack wrote: Moin Leute, Ich habe einen FileServer auf dem derzeit 130 millionen Dateien von wenigen Bytes bis zu hunderten von MBytes gespeichert sind. Alle Dateien haben md5 hashes und bei der eintragung in meine PostgreSQL sind Fehler aufgetaucht... (die md5 hashes sind die primary keys) Hallo Michelle, wie von anderen bereits festgestellt, ist dies eher unwarscheinlich wenn auch nicht unmöglich. Kann es da vielleicht ein Problem beim benutzen der hashes als keys geben? Vielleicht möchtest Du mal testen ob die hashes wirklich in der kompletten länge verwendet werden. Falls die hashes abgeschnitten werden, ist eine Übereinstimmung warscheinlicher. Gruß, Aleks -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: md5 hashes zu kurz (zu viele collisionen)
Hallo Michelle! Michelle Konzack schrieb am Mittwoch, den 11. Oktober 2006: Ich habe einen FileServer auf dem derzeit 130 millionen Dateien von wenigen Bytes bis zu hunderten von MBytes gespeichert sind. [md5 Kollisionen] Ich habe weit über 2000 collisionen! Was somit über 2000 zuviel sind. Du hast nicht zufällig doppelte Dateien auf deinem FileServer? Grüße Christian -- hundred-and-one symptoms of being an internet addict: 13. You refer to going to the bathroom as downloading.
Re: md5 hashes zu kurz (zu viele collisionen)
On Thu, Oct 12, 2006 at 09:37:47PM +0200, Markus Schulz wrote: Am Mittwoch, 11. Oktober 2006 11:53 schrieb Michelle Konzack: Ich habe einen FileServer auf dem derzeit 130 millionen Dateien von wenigen Bytes bis zu hunderten von MBytes gespeichert sind. Alle Dateien haben md5 hashes und bei der eintragung in meine PostgreSQL sind Fehler aufgetaucht... (die md5 hashes sind die primary keys) Ich habe weit über 2000 collisionen! Was somit über 2000 zuviel sind. auch wenn ich das nicht wirklich glauben kann, nimm doch einfach sha256 oder ähnliche Hash Verfahren. Wird nicht helfen. _Jedes_ Hash- Verfahren kann bereits bei zwei Dateien Koalisionen aufweisen. Shit happens. Michelle begeht einfach einen grundsätzlichen Fehler (den md5- Hash als primary zu verwenden.). cu ulf -- Ulf Volmer [EMAIL PROTECTED] www.u-v.de -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: md5 hashes zu kurz (zu viele collisionen)
Hallo, Am Mit, 11 Okt 2006, Michelle Konzack schrieb: Alle Dateien haben md5 hashes und bei der eintragung in meine PostgreSQL sind Fehler aufgetaucht... (die md5 hashes sind die primary keys) Ich habe weit über 2000 collisionen! Was somit über 2000 zuviel sind. Bist du sicher, dass die Dateien unterschiedlich ist? Vergleiche mal mit 'cmp' ein Kollisionspaar... Gut, nachdem diverse Filesharing Firmen (Napster?, Kaaza?) miliarden von Dateien handhaben müssen, - und es bereits 64 Byte md5sums gibt, würde es mich interessieren wo ich dieses Tool herbekommen kann. Falls obiges nicht zutrifft: du suchst 'sha1sum' (160 bit hash) oder 'shasum' mit ebenfalls 160, 224, 256, 384 oder 512 bit hashes. -dnh -- Getting a penguin to pee on demand is _messy_. -- Linus Torvalds -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
