Hadoop: различия между версиями

Версия от 20:28, 8 ноября 2010

Данная страница находится в разработке.
Эта страница ещё не закончена. Информация, представленная здесь, может оказаться неполной или неверной.

Что это такое?

Wikipedia: Apache Hadoop является свободным Java фреймворком, поддерживающим выполнение распределённых приложений, работающих на больших кластерах, построенных на обычном оборудовании. Hadoop прозрачно предоставляет приложениям надёжность и быстродействие операций с данными.

Как установить Hadoop на ALT Linux

Данная инструкция описывает ALT-специфику установки Hadoop-кластера из двух машин. Пусть в нашем кластере есть две машины - hadoopt1 и hadoopt2. DNS-резолвинг работает.

Устанавливаем java-1.6.0-sun-devel и rpm-ки hadoop-* из ftp://ftp.altlinux.org/pub/people/vitty/hadoop/
На всех нодах редактируем /etc/hadoop/masters, где пишем кто у нас будет master-нодой

cat /etc/hadoop/masters
hadoopt1

На всех нодах редактируем /etc/hadoop/slaves, где перечисляем все slave-ноды:

cat /etc/hadoop/slaves
hadoopt1
hadoopt2

Обеспечиваем беспарольный ssh для пользователей hadoop между нодами

На каждой ноде:
su - hadoop
ssh-keygen -t rsa -b 2048
passphrase не задаём

Публичную часть всех получившихся ключей заносим во все /var/lib/hadoop/.ssh/authorized_keys (в том числе собственную обеспечивая таким образом ssh на себя)
Заходим со всех машин на все:

su - hadoop
ssh hadoopt1
^d
ssh hadoopt2
...

На мастер-ноде форматируем раздел:

su - hadoop
/usr/lib/hadoop/bin/hadoop namenode -format

Запускаем

Как пользоваться Hadoop

@@ Строка 21: / Строка 21: @@
   ssh-keygen -t rsa -b 2048
   passphrase не задаём
-*Публичную часть всех получившихся ключей заносим во все /var/run/hadoop-core/.ssh/authorized_keys (в том числе собственную обеспечивая таким образом ssh на себя)
+*Публичную часть всех получившихся ключей заносим во все /var/lib/hadoop/.ssh/authorized_keys (в том числе собственную обеспечивая таким образом ssh на себя)
 *Заходим со всех машин на все:
   su - hadoop