Имеется большой файл txt (словарь для брута)
Задача:
Заменить в нем все символы кирилицы на латиницу, не транслит а ЙцуКен=QweRty т.е. Й=Q, Ц=W и т.п.
Подскажите варианты решения.
Пробовал макросом(Давно писал "детский" криптограф - (см P.P.S):
.....
Создать таблицу правил замены
Открыть файл
Запустить цикл(Петлю)
в цикле построчно и посимвольно заменять символы по таблице правил
Звавершить петлю
Закрыть файл
....
Ожидаемо макрос повесил систему т.к сам алгоритм замены по правилам построчно и посимвольно каждого символа - очень ресурсоемкий, и Файл огромный в оперативку не влезает.
Поэтому гуглю на тему:
Смена Кодировки
Распаралеливания потоков во время замены (как вариант "Пузырьковый" метод),
Разрезание и Склеивание файла по размеру свободной оперативной памяти
Плагины для "Командера" для работы с большими текстовыми файлами.
Шифрование файлов (Как в них реализован метод замены в больших объемах текста)
P.S. Сдается мне что я "изобретаю велосипед" и для этой задачи давно есть изящное решение, подскажите кто знает в какую сторону копать?
P.P.S - , будучи студентом както писал "детский" криптограф- шифратор- заменяющий одни символы другими и перемешивая все по алгоритму - если бы не такой размер- то вполне подошло бы для решения - таблица замены задается статичной, алгоритм "перемешивания" отключается - и вуаля - но то что на ура работало с 20-100kб на 15GB(Да даже и на 2х) терпит фиаско.
Примечание:
Cardano, спасибо думаю подойдет, но т.к. я с ним не сталкивался - то надо изучать с нуля, что ж время есть, сейчас попробую найти гайдлайны для sed под мою задачу - если найду. то все замечательно, - задача решена,
если нет - придется изучать и методом проб и ошибок кодить свое (А это с нуля - хоть основные принципы станрндартны, но все таки)
И Ваш совет решает проблему БОЛЬШОГО файла, а как обстоит дело с ускорением преобразования ?
- сколько примерно он будет конвертировать 50 000 000 строк (Слов) - по одному ?
RPI.su - самая большая русскоязычная база вопросов и ответов. Наш проект был реализован как продолжение популярного сервиса otvety.google.ru, который был закрыт и удален 30 апреля 2015 года. Мы решили воскресить полезный сервис Ответы Гугл, чтобы любой человек смог публично узнать ответ на свой вопрос у интернет сообщества.
Все вопросы, добавленные на сайт ответов Google, мы скопировали и сохранили здесь. Имена старых пользователей также отображены в том виде, в котором они существовали ранее. Только нужно заново пройти регистрацию, чтобы иметь возможность задавать вопросы, или отвечать другим.
Чтобы связаться с нами по любому вопросу О САЙТЕ (реклама, сотрудничество, отзыв о сервисе), пишите на почту [email protected]. Только все общие вопросы размещайте на сайте, на них ответ по почте не предоставляется.