Bem simples, precisa de dois comandos, o uniq e o sort Para saber quais linhas são duplicadas e quantas ocorrências de cada uma tem no seu arquivo faça:
uniq -c aquivo.txt Para criar um novo arquivo sem as duplicadas: sort arquivo.txt |uniq > arquivo.txt.SemDuplicados Pronto seu novo arquivo criado não contém mais nenhuma ocorrência duplicada ogaihtnota10 escreveu: > > Bom dia galera, como faço para identificar se ha linhas duplicadas em > uma arquivo com mais de 20.000 linhas? > > Qual comando eu utilizo pra fazer essa identificação e pra fazer a > exclusão dessas linhas duplicadas? > > Será que poderiam me ajudar? > > Grato. > > ------------------------------------ --------------------------------------------------------------------- Esta lista não admite a abordagem de outras liguagens de programação, como perl, C etc. Quem insistir em não seguir esta regra será moderado sem prévio aviso. --------------------------------------------------------------------- Sair da lista: [email protected] --------------------------------------------------------------------- Esta lista é moderada de acordo com o previsto em http://www.listas-discussao.cjb.net --------------------------------------------------------------------- Servidor Newsgroup da lista: news.gmane.org Grupo: gmane.org.user-groups.programming.shell.brazil Links do Yahoo! Grupos <*> Para visitar o site do seu grupo na web, acesse: http://br.groups.yahoo.com/group/shell-script/ <*> Para sair deste grupo, envie um e-mail para: [email protected] <*> O uso que você faz do Yahoo! Grupos está sujeito aos: http://br.yahoo.com/info/utos.html
