|
MySQL.RU - Webboard
Вернуться
Перекачка большого объема данных между базами (DrZubr) 26/07/2004 - 16:02:01
Re: Перекачка большого объема данных между базами (Валентин) 27/07/2004 - 13:10:04
Re: Перекачка большого объема данных между базами (DrZubr) 28/07/2004 - 17:07:31
Re: Перекачка большого объема данных между базами (Валентин) 30/07/2004 - 18:14:58
> Original message text:
> From: DrZubr - 26/07/2004 - 16:02:01
> Subject:Перекачка большого объема данных между базами
> -----------------
> Hi All,
>
> Есть такая проблема.
> Есть 2 БД: Б1, содержащая таблицу Т1, и Б2, содержащая таблицу Т2. Т1 (int(11), date, bigint(20)), T2(bigint(20)). В таблице Т2 записи естественно уникальные. В Т1 постоянно сбрасываются данные (миллионы записей в день). Раз в сутки нужно проделывать следующую операцию: выбрать из Т1 записи за прошедший день и вставить в Т2 те значения, которых там нет.
> Вся проблема в том, что в сутки это порядка 3 миллионов записей. Для повышения производительности записи вставляются пачками. И при размере базы в 10,000,000 записей на вставку 1000 записей одним инсертом уходит порядка 8 секунд... =(
>
> Что посоветуете для решения такой проблемы? Если сбивчиво объяснил - извиняйте, спрашивайте подробности.
>
From: Валентин - 27/07/2004 - 13:10:04
Subject:Перекачка большого объема данных между базами
-----------------
Вставка данных на самом деле не замедлена, а вот вычисление что вставлять тянет все время...
Посмотри на селекте индексы по дате..
Можно сначала перекидывать во временную таличку, а потом из нее вставлять.
Еще есть способ, но он паристый - нужно выгрузить в текстовый файл то что нужно загрузить и потом load data ... втянуть в другую таблицу, я например так и делаю, но у меня базы гетерогенные, т.е. источником является interbase
[Это сообщение - спам!]
Последние сообщения из форума
Уважаемые посетители форума MySQL.RU!
Убедительная просьба, прежде чем задавать свой вопрос в этом форуме, обратите внимание на разделы:
- ответы на наиболее часто задаваемые вопросы - FAQ
- раздел документация
- раздел поиск по сообщениям форума и документации
Также, старайтесь наиболее подробно указывать свою ситуацию (версию операционной системы, версию MySQL,
версию программного обеспечения, по которому возникает вопрос, текст возникающих ошибок, и др.)
Помните, чем конкретнее Вы опишете ситуацию, тем больше шансов получить реальную помощь.
16381
|
|