В общем hadoop живет под линуксом. печально

8 июля 2014 г., 19:51 пользователь Alexander Yerenkow <[email protected]>
написал:

>
>
>
> 8 июля 2014 г., 18:12 пользователь Anton Yuzhaninov <[email protected]>
> написал:
>
> On 07/08/14 18:41, greenh wrote:
>>
>>> Господа, а кто нить приручал cloudera manager под FreeBSD и возможно ли
>>> это? или
>>> придется ставить и настраивать hadoop врукопашную?
>>>
>>
>> C hadoop на FreeBSD всё достаточно грустно...
>>
>> Сейчас в нашей конторе пока еще используется Hadoop 0.20.2 CDH3 под
>> FreeBSD (но есть планы по миграции на Linux). Поставлен из самописного
>> порта, без cloudera manager.
>>
>> Работает он только с java/jdk16 который из портов уже давно удалили (мы
>> таскаем патченый /usr/ports с этим портом).
>>
>> С openjdk и 1.6 и 1.7 работает только HDFS, а MapReduce под нагрузкой
>> плодит зависшие процессы из за чего довольно быстро превращается в тыкву.
>>
>> Проблема внутри одной из используемых библиотек - вроде бы Jetty но точно
>> не помню (могу поискать если интересно). В Hadoop используется очень старая
>> версия этой библиотеки (с кучей известных багов, исправленных в более
>> свежих версиях). Смотрел свежие версии Hadoop - там такая же старая версия
>> этой библиотеки. Видимо под Linux все эти баги проявляются достаточно редко
>> и разработчики Hadoop уже несколько лет игнорируют тикет в Hadoop JIRA по
>> обновлению этой самой библиотеки. Заменить эту библиотеку на свежую версию
>> сходу не получится - за прошедшие N лет у неё успел измениться API.
>>
>> Пробовал на FreeBSD запускать более свежие версии Hadoop - та же проблема
>> в том же месте.
>>
>
> Вы про это?
>
> https://github.com/freebsd/freebsd-ports/blob/master/devel/hadoop2/Makefile#L78
>
>
> --
> Regards,
> Alexander Yerenkow
>

Ответить