On 2 июл, 16:58, Kovalenko Dmitry <[EMAIL PROTECTED]> wrote:

> Есть множество пар (ID1, ID2). Их общее число где-то 350 лимонов.
> Уникальных - 100 лимонов.
>
> Нужно получить это множество уникальных пар. ID это целые числа.
> Начинаются с 1 и заканчиваются, полагаю, в районе 100 лимонов. Есть
> ещё одно правило - ID1 строго меньше ID2. Которое, возможно, сможет
> оптимизировать конструкцию индекса.

Звучит как "отсортировать 350М 64-битных значений и выкинуть
дубликаты" - я правильно понял?
Сейчас сгенерил 4ГБ файл, отсортировал его кусками по 512М (на машине
у меня всего гиг стоит :-((( ) и слил куски с одного винчестера на
другой, получил 50 минут (если не считать генерацию файла). Машина PIV
4 GHz с включёным гипертредингом. Можно параллельно закачивать и
сортировать в памяти 2 куска, а в процессе записи сливать их в один
гигабайтный файл. Процентов на 30 время сократится.

Или задача именно поддерживать индекс отсортированным в процессе
генерации пар?

Ответить