初めての Spark を参照しながら、Apache Spark Streaming を試してみました。 ソースコードまずは概念、概要から・・・ 1. Spark は RDD を元に構築されていますが、Spark Streaming においては DStream と呼ばれる概念の元に構築されるらしい。 2. DStream …

Javaのプログラミングの練習したいと思って、「Java練習問題」でググって出てきたページ。 アルゴリズム編にチャレンジ。 https://eng-entrance.com/java-question-algorithm全部で4問。最初の3問はすぐに書けた（とりあえず動くレベルでも）けど、4問目は苦…

zkCli.sh は zookeeper に標準で用意されているクライアントツール。 起動することで、対話式にコマンドを実行することが可能。また、zkCli.sh にパイプでコマンドを渡してあげることで、1コマンドであれば実行させることも可能。 例えば、/test という znod…

コマンドラインで確認できるわけですが、スクリプト内でチェックして違う動作をさせたい時もあります。 version.py #!/usr/bin/env python import sys IS_PYTHON2 = sys.version_info[0] == 2 if IS_PYTHON2: print 'Hello, version 2' else: print 'Hello, …

例えば、以下のような変数を用意して、 GREPS="grep start | grep end"こんな感じで実行できないかなと。 less test.log | ${GREPS} $ less test-log | ${GREPS} grep: |: そのようなファイルやディレクトリはありません grep: grep: そのようなファイルやデ…

v オプションを使ってps aux | grep java | grep -v grepこんな感じでよく書いていたけど、ps aux | grep [j]avaこれでも除外することが可能。どうもこの場合、grep 自身のプロセスは "grep [j]ava" という文字列として判断されるので grep java にはマッチ…