Новости
Документация
Download
Webboard
Поиск
FAQ/ЧаВо
Обратная связь




MySQL.RU - Webboard



Вернуться
Эффективные хранение и обработка статистики (Alexander) 14/08/2004 - 12:15:18
      Re: Эффективные хранение и обработка статистики (walrus) 14/08/2004 - 17:15:11
      Re: Эффективные хранение и обработка статистики (Alexander) 14/08/2004 - 19:04:23
      Re: Эффективные хранение и обработка статистики (Alexander) 14/08/2004 - 19:17:13
      Re: Эффективные хранение и обработка статистики (Dinky) 16/08/2004 - 18:22:20
      Re: Эффективные хранение и обработка статистики (dxfan) 17/08/2004 - 15:30:00

> Original message text:
> From: Alexander - 14/08/2004 - 12:15:18
> Subject:Эффективные хранение и обработка статистики
> -----------------
> Вопрос скорее не по мускулу, а вопрос по эффективности хранения и обработки статистики по трафику. Есть сервер с базой данных stat, есть таблица на каждый месяц (пр. 200408Traffic) с полями src,dst,id,type,bytes,time и с несколькими индексами (иникальными и обычными). В нее постоянно должна литься статистика со считалок ~ 15-20 млн. записей в месяц. Надо сформировывать каждые 3-5 минут таблицу вида date,id,ip,bytes.
> поле id - идентификатор клиента, который берется из другой таблички с соответсвием id <-> ip. Он выставляется: update 200408Traffic set id= ... where id=0. Есть ситуации, когда юзер меняет ip в середине месяца, для этого он и нужен.
>
> Картина получается следующаяя при таких объемах записей в таблице (15-20 млн) сильно тормозится запись новых данных, т.к. есть индексы. С другой стороны формирование таблицы с обобщенными данными без индексов - в 3 минуты не уложиться явно.
>
> Посоветуйте какие-нибудь эффективные решения данного вопроса, как можно улучшить данную схему. Рад буду любым советам.
>
>


From: walrus - 14/08/2004 - 17:15:11
Subject:Эффективные хранение и обработка статистики
-----------------
Вопрос конечно интересный. но мало информации. Какой компьютер? Сколько памяти? сколько памяти выделено под буферы? (Суд по тому что тормозит добавление при наличии индексов, в первую очередь надо смотреть буферы индексов). Какой тип таблиц? (myisam, innodb).

Попробуйте также insert delayed для добавления новых записей.




[Это сообщение - спам!]

Последние сообщения из форума

Уважаемые посетители форума MySQL.RU!
Убедительная просьба, прежде чем задавать свой вопрос в этом форуме, обратите внимание на разделы:
- ответы на наиболее часто задаваемые вопросы - FAQ
- раздел документация
- раздел поиск по сообщениям форума и документации
Также, старайтесь наиболее подробно указывать свою ситуацию (версию операционной системы, версию MySQL, версию программного обеспечения, по которому возникает вопрос, текст возникающих ошибок, и др.)
Помните, чем конкретнее Вы опишете ситуацию, тем больше шансов получить реальную помощь.
 Имя:
 E-mail:
 Тема:
 Текст:
Код подтверждения отправки: Code
16672



РЕКЛАМА НА САЙТЕ
  Создание сайтов | |