On 07/08/14 18:41, greenh wrote:
Господа, а кто нить приручал cloudera manager под FreeBSD и возможно ли это? или
придется ставить и настраивать hadoop врукопашную?
C hadoop на FreeBSD всё достаточно грустно...
Сейчас в нашей конторе пока еще используется Hadoop 0.20.2 CDH3 под FreeBSD (но
есть планы по миграции на Linux). Поставлен из самописного порта, без cloudera
manager.
Работает он только с java/jdk16 который из портов уже давно удалили (мы таскаем
патченый /usr/ports с этим портом).
С openjdk и 1.6 и 1.7 работает только HDFS, а MapReduce под нагрузкой плодит
зависшие процессы из за чего довольно быстро превращается в тыкву.
Проблема внутри одной из используемых библиотек - вроде бы Jetty но точно не
помню (могу поискать если интересно). В Hadoop используется очень старая версия
этой библиотеки (с кучей известных багов, исправленных в более свежих версиях).
Смотрел свежие версии Hadoop - там такая же старая версия этой библиотеки.
Видимо под Linux все эти баги проявляются достаточно редко и разработчики Hadoop
уже несколько лет игнорируют тикет в Hadoop JIRA по обновлению этой самой
библиотеки. Заменить эту библиотеку на свежую версию сходу не получится - за
прошедшие N лет у неё успел измениться API.
Пробовал на FreeBSD запускать более свежие версии Hadoop - та же проблема в том
же месте.
