Здравствуйте, Руслан. >> RZ> Михаил, может расскажешь про >> RZ> результаты MapReduce, как получилось, как работает и на чем >> RZ> работает? >> >> Получилось. На боевой машине только сегодня запустили. Уже даже >> два джоба отработали. Но пока всё очень сыро и >> рассказывать/выкладывать рано. Я только инсталлировал и >> собирал баги неделю. Кроме того, я сегодня пришёл к мысли, что >> репорте таки нужен :-)
RZ> Выкладывать не обязательно, достаточно интересная тема и RZ> архитектура. Как раз во время написания слайдов приведешь мысли в RZ> порядок и разложишь по полочкам все :) Я не готов пока выступать. Архитектура там простая - маперы раскладываю обработанные данные по сети по mysql-ям, а редьюсеры потом локально их обрабатывают и кладут куда скажешь - в файлы, например. Место mysql-я можно использовать что-то ещё, достаточно заменить один класс. Чтобы не было распухания перловых процессов все входные и промежуточные данные обрабатываются построчно. Самое важное ИМХО понять идею MapReduce. Тогда сразу многое становится очевидным. Например, нужно но ли оно вообще или обычным SELECT-ом к базе можно обойтись. >> Короче надо там всё допилить до ума. Комментариев в коде понаписать, >> директории нужные автоматом создавать, а не падать на них... RZ> Тебя никто не заставляет выкладывать код. У Ивана был доклад RZ> прикольный про обработку почтовых логов. Как он их гоняет RZ> гигабайтами туда-сюда на ПОЯх. Было интересно послушать про RZ> технологию. Технологии никакой нет. Это как придумывать модное AJAX вместо старого JavaScript. У нас наоборот, по сети гоняется минимум данных и только во время работы маперов. -- С уважением, Михаил Монашёв, SoftSearch.ru mailto:[email protected] ICQ# 166233339 http://michael.mindmix.ru/ Без бэкапа по жизни. -- Moscow.pm mailing list [email protected] | http://moscow.pm.org
