Есть в БД таблица с огромным количеством строк. Но текстово-числовая и поля не большие по заданному размеру (и по содержимому). Будем делать порционную выборку и обработку данных. Выбрали Х строк, обработали, пауза, выбрали Х строк, обработали, пауза и т.д.
Обработка подразумевает: берем строку, обрабатываем некоторые колонки (регулярное выражение, проверка boolean значения, посылаем по сети пару пакетов со значениями, переходим к следующей строке и делаем то же самое.
Вопрос: сколько строк выбирать чтобы не очень долго шел процесс обработки?
Примечание:
Блин, да в том то и засада что "попробовать" не получится. Я могу сэмулировать процесс на локальной машине, но сколько времени займет обработка на боевой неизвестно. Данные после посылки по сети уйдут в недоступное хранилище и пробовать там создавать ндцать дублей нельзя...
Примечание:
Прикольно, мне тут подкинули идею интересную: посчитать примерный размер Dataset и на него ориентироватся. Брать оптимально по 100 Кб. Прикольно. Нашел калькулятор, посчитал. У меня получается оптимально 200 строк... Ну если я правильно псчитал конечно. Я считал по этой формуле:
http://www.stata.com/support/faqs/data-management/approximating-dataset-size/
Аппроксимировано конечно, но на безрыбье...
RPI.su - самая большая русскоязычная база вопросов и ответов. Наш проект был реализован как продолжение популярного сервиса otvety.google.ru, который был закрыт и удален 30 апреля 2015 года. Мы решили воскресить полезный сервис Ответы Гугл, чтобы любой человек смог публично узнать ответ на свой вопрос у интернет сообщества.
Все вопросы, добавленные на сайт ответов Google, мы скопировали и сохранили здесь. Имена старых пользователей также отображены в том виде, в котором они существовали ранее. Только нужно заново пройти регистрацию, чтобы иметь возможность задавать вопросы, или отвечать другим.
Чтобы связаться с нами по любому вопросу О САЙТЕ (реклама, сотрудничество, отзыв о сервисе), пишите на почту [email protected]. Только все общие вопросы размещайте на сайте, на них ответ по почте не предоставляется.