On Mon, Jul 19, 2010 at 05:35:16PM +0700, Vit wrote: > Вопрос не относится напрямую к debian, но на данной машине > предполагается его активное использование, потому решил > проконсультироваться у вас.
А искать стоило всё-таки не под фонарём... :) > Мы в лаборатории собираемся собрать (купить) кластер. Идеальный > вариант - 64 физических ядра. Платформа (Intel или AMD) ещё не > определена. Между тем это критично. Гоняйте свои задачи хотя бы на десктопных представителях, а лучше попытайтесь добраться с ними на кластеры с обеими архитектурами и выяснить заранее, что им важно -- сложить-умножить, кэш, память, интерконнект... > На данный момент меня интересуют особенности построения систем > такого масштаба. Есть опыт работы с отдельными серверами и > кластерами на их основе, когда машины соединены просто через > гигабитную сеть. См. тж. http://lists.altlinux.org/pipermail/hpc-devel/ и http://lists.altlinux.org/pipermail/hardware/2010-January/015634.html http://lists.altlinux.org/pipermail/hardware/2010-February/015773.html (плюс куски тредов вокруг) > Конкретные вопросы: > Возможно ли получить 64 ядра в одном компьютере? Возможно и намного больше. > Какова цена такого решения? Выше разумной, спросите Cray Inc. > Какие сетевые технологии используются для связи компьютеров в > подобные кластеры, что лучше Infiniband или 10Gigabit ethernet? "Вообще" -- QDR IB. Собсно у тех же Mellanox это почти одно и то же в плане кремния, вплоть до переключабельности порта IIRC. > Может быть стоит использовать blade серверы (к сожалению я не > совсем представляю во что это выльется)? Может; только сперва надо уточнить задачу и ограничения. Если бюджет -- более жёсткое ограничение, чем место и производительность, то лучше на них не рассчитывать. > Есть ли польза от использования твердотельных дисков для работы > с большими объёмами временных файлов (на данный момент бывает > 100-200 Gb на один компьютер)? Может быть больше пользы от небольшого Lustre-хранилища по IB или десятке -- цена того же SNVP325-S2/128GB сопоставима с ценой трёх терабайтников Hitachi, которые в RAID0 его обставят по линейному доступу однозначно (для пары узлов я бы предпочёл 6xHDD в RAID10, а не по одному SSD на узел; для восьми -- 24xHDD в RAID6 для постоянных данных + RAID0 для временных). > Какие есть особенности построения систем такого уровня? 64 ядра -- это 16 quad-core, бишь восемь узлов разумной стоимости. У таких систем обычно главная особенность -- насколько бюджетными их получается сделать. (у попадавшихся недавно под руки блоков для построения кластера на одно шасси приходилось 80/256 ядер) > Может быть проблемы с охлаждением? Разумеется. Посчитайте TDP одних процессоров, на которые целитесь (e.g. для X5570 -- 95W), прибавьте память и интерконнект, плюс питание, плюс чипсет. Для Вашего случая это уже примерно от двух киловатт рассеять надо. PS: я нечасто заглядываю в debian-russian@, если что понадобится -- поставьте в копию, pls. У нас тут Clustrx разрабатывают. :) -- ---- WBR, Michael Shigorin <m...@altlinux.ru> ------ Linux.Kiev http://www.linux.kiev.ua/ -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20100719161846.gc13...@osdn.org.ua