Re: Обновление View

2011-09-22 Пенетрантность Dmitry Yemanov

22.09.2011 11:47, Андрей Кручинин пишет:


Убивать саму таблицу и потом ее перезаливать... Спасибо, база падает :-)


Что, и доказательства есть? Если да, то трекер об этом знает?


--
Дмитрий Еманов



Re: Обновление View

2011-09-22 Пенетрантность Андрей Кручинин

22.09.2011 12:21, Dmitry Yemanov пишет:

22.09.2011 11:47, Андрей Кручинин пишет:


Убивать саму таблицу и потом ее перезаливать... Спасибо, база падает :-)


Что, и доказательства есть? Если да, то трекер об этом знает?


Дим, не придирайся :-) Чуть ниже ветка Битая база и тормоза. Мы еще с 
Сергеем Мереуцей потестируем на других версиях, я данные только недавно 
подготовил для теста, все некогда. Вполне возможно что просто старая 
версия сервера (там 2.1.3).


А по Вьюхам? По любому время заливки час - многовато, тем более что в 
свежесозданную таблицу заливка идет 7-10 минут.


--
Андрей Кручинин




Re: Обновление View

2011-09-22 Пенетрантность Vlad Khorsun

Андрей Кручинин ...

Объясню - делается заливка большого объема информации. Если ее просто заливать в таблицу - время 7-10 минут, если делать сначала 
удаление данных в таблице а потом заливку свежей информации - то получается затратное время около часа.


   Дропнуть (деактивировать) индексы и триггеры перед удалением, удалить,
собрать мусор селектом, залить, восстановить индексы и триггеры. Так пробовал ?

   GTT не подходит ?

--
Хорсун Влад 





Re: Обновление View

2011-09-22 Пенетрантность Андрей Кручинин

22.09.2011 13:44, Vlad Khorsun пишет:


Объясню - делается заливка большого объема информации. Если ее просто
заливать в таблицу - время 7-10 минут, если делать сначала удаление
данных в таблице а потом заливку свежей информации - то получается
затратное время около часа.


Дропнуть (деактивировать) индексы и триггеры перед удалением, удалить,
собрать мусор селектом, залить, восстановить индексы и триггеры. Так
пробовал ?
Процесс надо делать 3-4 раза в день в идеале (минимум 2 раза), причем 
гарантированно в этот момент юзвери могут полезть в этот момент с 
запросами. А отсутствие индексов просто уложит сервер на выборках. Там 
10 млн где-то записей с выборками по двум int полям.




GTT не подходит ?


Да она то может и подходит... Но никак не соображу как мне туда засунуть 
данные? В настоящий момент они собираются на другом компе во внешнюю 
таблицу, перекидываются (там без архива порядка Гига, в архиме метров 
140) и из нее заливаются. Других способов даже не придумал. Без индексов 
серверу смерть просто наступает :-)Может и не смерть, но результат 
выдает Апач, а у него таймаут не резиновый :-)


--
Андрей Кручинин



Re: Обновление View

2011-09-22 Пенетрантность Roman Simakov
22 сентября 2011 г. 11:47 пользователь Андрей Кручинин an...@bk.ru написал:
 А можно во время работы обновить структуру View? И если это сделать - какие
 будут последствия?

 Объясню - делается заливка большого объема информации. Если ее просто
 заливать в таблицу - время 7-10 минут, если делать сначала удаление данных в
 таблице а потом заливку свежей информации - то получается затратное время
 около часа.

А насколько данные уникальны? MERGE не спасет отцов русской демократии?

-- 
Roman Simakov


Re: Обновление View

2011-09-22 Пенетрантность Андрей Кручинин

22.09.2011 14:24, Roman Simakov пишет:

22 сентября 2011 г. 11:47 пользователь Андрей Кручининan...@bk.ru  написал:

А можно во время работы обновить структуру View? И если это сделать - какие
будут последствия?

Объясню - делается заливка большого объема информации. Если ее просто
заливать в таблицу - время 7-10 минут, если делать сначала удаление данных в
таблице а потом заливку свежей информации - то получается затратное время
около часа.


А насколько данные уникальны? MERGE не спасет отцов русской демократии?


Данные ПОЛНОСТЬЮ уникальны. Это аналитика по прайс-листам. Объем (как 
уже не раз писал) порядка  10 млн записей в день или 1 Гиг информации 
:-) Человек захочет - может получить конкретику по любому из полей (их 
там правда всего 6, но тем не менее).


Самое большое западло в том, что результат по хорошему иногда 
затребуется в виде


  select t1.price, avg(t2.price), min(t2.price), max(t2.price)


Народу интересны только последние данные, информация во времени бывает 
нужна гораздо реже, голова потом будет болеть о ней :-)



--
Андрей Кручинин




Re: Обновление View

2011-09-22 Пенетрантность Dmitry Lendel

А если во временную таблицу заливать, а потом insert or update?
Дмитрий