Comments 4
Небольшой комментарий: если у вас в транзакции, допустим N операций insert, то довольно сложно будет потом отлавливать отвергнутую (rejected) строчку (или строчки). Так как транзакция отменится вся.
Плюс Load utilites в том, что все режекты она может логировать.
Я прав? Или у терадаты можно инсертить пакетами, невзирая на режекты?
Плюс Load utilites в том, что все режекты она может логировать.
Я прав? Или у терадаты можно инсертить пакетами, невзирая на режекты?
У Load utilites есть как плюсы так и минусы. Дело в том что обычный Insert сам по себе выполняется не очень быстро, по сравнению с пакетом, а размер пакета при этом ещё и лимитирован.
С reject Вы правы, но reject виден в клиенте в момент вставки, где можно его обработать и сохранить куда-то. У Load utilites есть как плюсы так и минусы, в целом они очень даже не плохи. Другой вопрос, что им для работы нужны ресурсы дополнительные (utility slots например), иногда их нет. В этой ситуации можно это обойти с помощью DML. Но Insert сам по себе выполняется не очень быстро, по сравнению с пакетом, а размер пакета при этом ещё и лимитирован. Отсюда я выкрутился так, как описал в статье.
Пакетная загрузка данных производительнее построчной и это справедливо для многих СУБД, Teradata не исключение, ибо именно на обработку больших массивов данных и ориентирована.
Приветствуя использование пакетной загрузки для большого объема данных, тем не менее хотел бы отметить некоторые моменты, которые могут повысить производительность атомарных DML операций. Как автор справедливо отметил в начале статьи, Teradata — массивно параллельная система и этот параллелизм должен учитываться, в том числе в физическом дизайне. Например, разумный выбор первичного индекса таблицы позволяет эффективно распараллеливать операции вставки данных. К сожалению, в статье нет описания структур объектов базы данных и результатов тестирования.
Еще один способ оптимизации атомарных DML операций — использование макросов. Этот подход применяется утилитой TPUMP. Повышение производительности обусловлено кешированием планов запросов макросов и, в случае с TPUMP, — обязательным использованием DML операцией первичного индекса таблицы.
Приветствуя использование пакетной загрузки для большого объема данных, тем не менее хотел бы отметить некоторые моменты, которые могут повысить производительность атомарных DML операций. Как автор справедливо отметил в начале статьи, Teradata — массивно параллельная система и этот параллелизм должен учитываться, в том числе в физическом дизайне. Например, разумный выбор первичного индекса таблицы позволяет эффективно распараллеливать операции вставки данных. К сожалению, в статье нет описания структур объектов базы данных и результатов тестирования.
Еще один способ оптимизации атомарных DML операций — использование макросов. Этот подход применяется утилитой TPUMP. Повышение производительности обусловлено кешированием планов запросов макросов и, в случае с TPUMP, — обязательным использованием DML операцией первичного индекса таблицы.
Sign up to leave a comment.
Запись данных в Teradata c помощью DML