Desinstalar pacotes compilados

[Harlei]

Amigos, como eu desinstalo um pacote que instalei da fonte tar.gz? Geralmente uso o apt-get install para fazer instalação e o apt-get remove me resolve quando tenho que desinstalar, mas, agora instalei pela fonte e não sei desinstalar... sei que a pergunta é ultra iniciante, mas, to enrolado com isso... só acho no google como desinstalar pacotes rpm que não é o meu caso...   abraços   Harlei