Для удаления дубликатов строк из файла можно воспользоваться конструкцией вида:
[code]$ sort -u old_file > new_file[/code]

Но если нужно удалить дубликаты без сортировки файла, то можно сделать так:
[code]$ awk ‘!x[$0]++’ old_file > new_file[/code]