頻繁に使用するコマンドなのでメモ。 ディスク全体での使用量を調べる df -h $ df -h Filesystem Size Used Avail Use% Mounted on /dev/sda5 26G 22G 3.2G 88% / tmpfs 395M 1.2M 394M 1% /run ※ h オプションが無かったら、単位がつきません 指定ディレク…

表記のとおりです。 例えば、以下のような methodA と methodB があった場合、junitテストで methodA を呼び出した時の methodB の振る舞いを変更したいということです。 ※戻り値を 5 以外にしたい public class PartialMock { public int methodA(int a) { …

JUnit で使えるモックのライブラリには、mockito, jmockit, easymock などがあります。 個人的には mockito しか使ったことがなかったのですが、jmockit がよく使われているらしいので、試してみました。具体的な使い方などは既に多くの記事が存在しますので…

ソースコードRDD には saveAsTextFile というメソッドがあり、引数に指定したディレクトリに簡単に出力することができます。 Spark Streaming における DStream にも saveAsTextFiles というメソッドがありました。ただし、Java での JavaDStream から使う場…

ソースコード単に2つの DStream を作成してあげるだけです。 // create DStream from text file String logDir = "/tmp/logs"; String logDir2 = "/tmp/logs2"; JavaDStream<String> logData = jssc.textFileStream(logDir); JavaDStream<String> logData2 = jssc.textFileSt</string></string>…

Spark Streaming ではファイルが更新されたとしても、その差分のみの取得はされない。 Spark Streaming ではあるディレクトリに生成された新規ファイルは自動的に取り込んでくれるよう。 そこで差分のみを fluentd で取得し、それを新規ファイルとして出力し…

Spark Streaming ではディレクトリを監視して、その中に入ったテキストファイルを取りこめるようなので試してみました。 ソースコードはこちら１.準備（コーディング） ディレクトリを監視し、テキストファイルを取り込むためには、textFileStream の引数に…

初めての Spark を参照しながら、Apache Spark Streaming を試してみました。 ソースコードまずは概念、概要から・・・ 1. Spark は RDD を元に構築されていますが、Spark Streaming においては DStream と呼ばれる概念の元に構築されるらしい。 2. DStream …

Javaのプログラミングの練習したいと思って、「Java練習問題」でググって出てきたページ。 アルゴリズム編にチャレンジ。 https://eng-entrance.com/java-question-algorithm全部で4問。最初の3問はすぐに書けた（とりあえず動くレベルでも）けど、4問目は苦…

zkCli.sh は zookeeper に標準で用意されているクライアントツール。 起動することで、対話式にコマンドを実行することが可能。また、zkCli.sh にパイプでコマンドを渡してあげることで、1コマンドであれば実行させることも可能。 例えば、/test という znod…

コマンドラインで確認できるわけですが、スクリプト内でチェックして違う動作をさせたい時もあります。 version.py #!/usr/bin/env python import sys IS_PYTHON2 = sys.version_info[0] == 2 if IS_PYTHON2: print 'Hello, version 2' else: print 'Hello, …

例えば、以下のような変数を用意して、 GREPS="grep start | grep end"こんな感じで実行できないかなと。 less test.log | ${GREPS} $ less test-log | ${GREPS} grep: |: そのようなファイルやディレクトリはありません grep: grep: そのようなファイルやデ…