Lembrando que "sort -u" não só remove as linhas duplicadas como também ordena. Então se você quiser manter as linhas na ordem original, o comando é este
awk '!a[$0]++' teste.txt > teste.tmp Agora sim você pode verificar se existem duplicidades, e só então remove-las: if ! diff -q teste.txt teste.tmp >/dev/null ; then echo "O arquivo contém linhas duplicada" cp teste.tmp teste.txt echo "Linhas duplicadas removidas" fi rm -f teste.tmp > -----Original Message----- > From: Thiago Henrique > > sort -u teste.txt >testesemduplicados.txt -> na mosca... > > grato!!! > > Em 7 de maio de 2010 15:00, <[email protected]> escreveu: > > > > > > > Olá, amigão. > > > > Veja se isto te ajuda: > > > > O arquivo: > > g...@noteerichds:~$ cat teste.txt > > a > > a > > b > > b > > c > > c > > d > > d > > e > > e > > e > > e > > e > > f > > f > > f > > g > > > > > > Bom dia galera, como faço para identificar se ha linhas duplicadas > > > em uma arquivo com mais de 20.000 linhas? > > g...@noteerichds:~$ uniq -c teste.txt > > 2 a > > 2 b > > 2 c > > 2 d > > 5 e > > 3 f > > 1 g > > > > > > ual comando eu utilizo pra fazer essa identificação e pra fazer a > > > exclusão dessas linhas duplicadas? > > g...@noteerichds:~$ sort -u teste.txt > testesemduplicados.txt > > g...@noteerichds:~$ cat testesemduplicados.txt > > a > > b > > c > > d > > e > > f > > g > > g...@noteerichds:~$ > > > > flw! > > > > On Sex 07/05/10 10:35 , "ogaihtnota10" > [email protected]<ogaihtnota10%40gmail.com>sent: > > > > > Bom dia galera, como faço para identificar se ha linhas duplicadas > > > em uma arquivo com mais de 20.000 linhas? > > > Qual comando eu utilizo pra fazer essa identificação e pra fazer a > > > exclusão dessas linhas duplicadas? > > > Será que poderiam me ajudar? > > > Grato. > > > > > > > > > > > > >
