社内se × プログラマ × ビッグデータ

プログラミングなどITに興味があります。

ZooKeeper

ERROR: The node /hbase-unsecure is not in ZooKeeper.

エラー内容 Docker で HBase の Container を作っているのですが、hbase shell を起動した時に発生したエラー。 Docker とは何の関係もないエラーです。 ERROR: The node /hbase-unsecure is not in ZooKeeper. It should have been written by the master. …

Apache ZooKeeper の基本について調べてみる

概要 ・分散アプリケーションを構築する上では、同期、設定管理、グルーピング、名前管理などの機能が必要となる。 →これらの実装は複雑で面倒なもの →Zookeeper はこれらの機能を提供してくれる ・ただし、Zookeeper が提供するのは、基本機能要素そのもの…

Apache Curator Framework のリトライ処理について調べてみる

zookeeper サーバと接続出来なかった場合、そのリトライ処理はどのように実装されるのか? 概要 ・ Curator とは、Zookeeper 上に構築された一連の高レベルライブラリ →複雑な接続処理を容易にするAPIを提供してくれるもの 前提 ・ローカル環境で Zookeeper …

zkCli.sh にコマンドを渡して実行

zkCli.sh は zookeeper に標準で用意されているクライアントツール。 起動することで、対話式にコマンドを実行することが可能。また、zkCli.sh にパイプでコマンドを渡してあげることで、1コマンドであれば実行させることも可能。 例えば、/test という znod…

ZooKeeper アンサンブル接続、リーダー選出、データ同期

Zookeeper は分散システム管理を行うためのツールです。 http://oss.infoscience.co.jp/hadoop/zookeeper/docs/r3.3.1/index.html http://open-groove.net/zookeeper/zookeepr-config/ 難しい分散アプリケーションを構築するにあたって、便利な仕組みを提供…