Hbase
Что это такое?
Wikipedia: HBase is an open source, non-relational, distributed database modeled after Google's BigTable and is written in Java. It is developed as part of Apache Software Foundation's Hadoop project and runs on top of HDFS (Hadoop Distributed Filesystem), providing BigTable-like capabilities for Hadoop. That is, it provides a fault-tolerant way of storing large quantities of sparse data.
Как установить HBase на ALT Linux
Данная инструкция описывает ALT-специфику установки HBase-кластера из двух машин на Hadoop-кластер из двух машин. Пусть в нашем кластере есть две машины - hadoopt1 и hadoopt2. DNS-резолвинг работает.
- Устанавливаем и настраиваем Hadoop согласно Hadoop
- Устанавливаем rpm-ки hbase-* из ftp://ftp.altlinux.org/pub/people/vitty/hadoop/
- Создаём в HDFS директорию для данных HBase:
/usr/lib/hadoop/bin/hadoop fs -mkdir /hbase /usr/lib/hadoop/bin/hadoop fs -chown -R hbase:hbase /hbase
- На всех серверах редактируем /etc/hbase/regionservers где задаём все сервера:
cat /etc/hbase/regionservers hadoopt1 hadoopt2
- На всех серверах редактируем /etc/hbase/hbase-site.xml:
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://hadoopt1:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>hadoopt1,hadoopt2</value> </property> </configuration>
- На выбранной master-ноде запускаем hbase-master
service hbase-master start
- На всех нодах запускаем region-сервера и zookeeper-сервера
service hbase-regionserver start service hbase-zookeeper start
- На master-ноде запускаем необходимые интерфейсные демоны:
service hbase-thrift start service hbase-rest start
Пример использования
#su - hbase -s /bin/bash
$ /usr/lib/hbase/bin/hbase shell
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version: 0.89.20100726, rUnknown, Fri Oct 22 15:10:57 UTC 2010
hbase(main):002:0> create 't2', {NAME => 'f1', VERSIONS => 5}
0 row(s) in 1.9580 seconds