Задача. Есть большой текстовый файл (15Мб). Нужно найти в нем повторения. Ваш способ?

cat file.txt |sort |uniq -d

notepad++ легко справится с поиском по большому файлу.
Про скриптинг... Написал бы на php скрипт. В принципе довольно быстро бы отработал 15 мб.

Как я бы сделал: цикл по всему файлу, смотрим подстроки из 5 символов, для каждой берём хэш и запоминаем. Получаем места коллизий, если хэш хороший, их не сильно много. А дальше просто проверяем для каждого места

Вы сформулируйте точно, что считаете фразой. Станет понятно, что делать.

сортировка тут не поможет в явном виде, так как у вас первые значения это дата - время, поэтому как указывали товарищи выше придется писать скрипт на perl (он есть и под windows) либо писать программу на какомто другом языке, а так возможен следующий алгоритм:
поменять порядок полей (с помощью опять же скрипта, можно даже на командном языке CMD, при условии наличия разделителей полей например символ "#"
или вообще отбросить все неучитываемые поля, затем сортировка и сравнение по повторам... хотя конечно не известно нужна ли вам эта информация в ваших дублях...

Итак, если формально:
"слово" - последовательность букв, ограниченная пробелами
"фраза" - последовательность слов, включающая >= 5 символов
Так?
Если так, то работаем по следующему алгоритму:
1. Строим дерево. В каждой вершине записана буква. Каждой вершине соответствует слово, получающееся прохождением от вершины до корня (корень - пустое слово). Нумеруем активные вершины int'ами - на это все требуется время, линейное по размеру файла.
2. Каждому слову таким образом соответствует число (по числу восстанавливается и слово, и длина). Заменяем строки на последовательности чисел. В каждой строке находим все минимальные последовательности слов, длины которых >=5 (последовательность называется минимальной, если у нее нет собственной подпоследовательности длины >=5). Записываем все такие фразы в виде дерева. Тут уже нужно строить сбалансированное дерево с вершинами. В каждой вершине, помимо числа (номера слова) либо указатель на поддерево, в котором искать следующее слово, либо список фраз, в которых есть такая последовательность (если уже дошли до достаточной длины).
3. Проходимся по этому "дереву деревьев". Для вершин, в которых написано, что фраза встречается в >= 2 строчках, восстанавливаем, что это за фраза и в каких она строчках.
Естественно, это надо писать на чем-то нормальном, вроде перла/пифона/пхп, а если это надо делать еще и быстро - то С++ наше все.

cut и uniq

Да ты еше себя назвал ВЫСШИЙ РАЗУМ где твой высший разум ХДД