[shell-script] Identificando Linhas duplicadas em um arquivo.

[ogaihtnota10]

Bom dia galera, como faço para identificar se ha linhas duplicadas em uma 
arquivo com mais de 20.000 linhas?

Qual comando eu utilizo pra fazer essa identificação e pra fazer a exclusão 
dessas linhas duplicadas?

Será que poderiam me ajudar?

Grato.