- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Sorantis
Subject: Hadoop File syste,
Привет Максим,
Есть такая штука, нызвается она Hadoop.
Это файловая система,которая сначала была интегрирована в поисковик -Nutch.
Потом проект отделился от Натча и начал развиваться независимо.
Что в нем пирмечательного так это то, что его основное предназначение это
хранение
базы проиндексированных сайтов, быстрый доступ к ним, имплементация технологии
MapReduce.
Я читал на их сайте ЧАВО, и встертил там такое
How well does Hadoop scale?
Hadoop has been demonstrated on clusters of up to 2000 nodes. Sort performance
on 900 nodes is good (sorting 9TB of data on 900 nodes takes around 2.5 hours)
and improving using these non-default configuration values:
dfs.block.size = 134217728
dfs.namenode.handler.count = 40
mapred.speculative.execution = true
mapred.reduce.parallel.copies = 20
mapred.tasktracker.tasks.maximum = 2
mapred.child.java.opts = -Xmx512m
fs.inmemory.size.mb = 200
io.sort.factor = 100
io.sort.mb = 200
io.file.buffer.size = 131072
Дальше интереснее
Do I have to write my application in Java?
No. There are several ways to incorporate non-Java code. HadoopStreaming
permits any shell command to be used as a map or reduce function, and Hadoop is
also developing C and C++ APIs and a SWIG-compatible pipes API.
Как ты смотришь на то чтоб добавить в DpSearch поддержку сей базы данных?
(Если что, пиши на мыло.)
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;post=
