Новости
Документация
Download
Webboard
Поиск
FAQ/ЧаВо
Обратная связь




MySQL.RU - Webboard



Вернуться
Перекачка большого объема данных между базами (DrZubr) 26/07/2004 - 16:02:01
      Re: Перекачка большого объема данных между базами (Валентин) 27/07/2004 - 13:10:04
      Re: Перекачка большого объема данных между базами (DrZubr) 28/07/2004 - 17:07:31
      Re: Перекачка большого объема данных между базами (Валентин) 30/07/2004 - 18:14:58

> Original message text:
> From: DrZubr - 26/07/2004 - 16:02:01
> Subject:Перекачка большого объема данных между базами
> -----------------
> Hi All,
>
> Есть такая проблема.
> Есть 2 БД: Б1, содержащая таблицу Т1, и Б2, содержащая таблицу Т2. Т1 (int(11), date, bigint(20)), T2(bigint(20)). В таблице Т2 записи естественно уникальные. В Т1 постоянно сбрасываются данные (миллионы записей в день). Раз в сутки нужно проделывать следующую операцию: выбрать из Т1 записи за прошедший день и вставить в Т2 те значения, которых там нет.
> Вся проблема в том, что в сутки это порядка 3 миллионов записей. Для повышения производительности записи вставляются пачками. И при размере базы в 10,000,000 записей на вставку 1000 записей одним инсертом уходит порядка 8 секунд... =(
>
> Что посоветуете для решения такой проблемы? Если сбивчиво объяснил - извиняйте, спрашивайте подробности.
>


From: Валентин - 27/07/2004 - 13:10:04
Subject:Перекачка большого объема данных между базами
-----------------
Вставка данных на самом деле не замедлена, а вот вычисление что вставлять тянет все время...
Посмотри на селекте индексы по дате..

Можно сначала перекидывать во временную таличку, а потом из нее вставлять.

Еще есть способ, но он паристый - нужно выгрузить в текстовый файл то что нужно загрузить и потом load data ... втянуть в другую таблицу, я например так и делаю, но у меня базы гетерогенные, т.е. источником является interbase


[Это сообщение - спам!]

Последние сообщения из форума

Уважаемые посетители форума MySQL.RU!
Убедительная просьба, прежде чем задавать свой вопрос в этом форуме, обратите внимание на разделы:
- ответы на наиболее часто задаваемые вопросы - FAQ
- раздел документация
- раздел поиск по сообщениям форума и документации
Также, старайтесь наиболее подробно указывать свою ситуацию (версию операционной системы, версию MySQL, версию программного обеспечения, по которому возникает вопрос, текст возникающих ошибок, и др.)
Помните, чем конкретнее Вы опишете ситуацию, тем больше шансов получить реальную помощь.
 Имя:
 E-mail:
 Тема:
 Текст:
Код подтверждения отправки: Code
16381



РЕКЛАМА НА САЙТЕ
  Создание сайтов | |