社内se × プログラマ × ビッグデータ

プログラミングなどITに興味があります。

2017-07-01から1ヶ月間の記事一覧

Eclipse 例外ブレークポイントで効率アップ?

Eclipse のデバッグ機能で Exception Breakpoint というものがあるそうで、何をするものか分からなかったので使ってみました。 デバッグ画面で Add Java Exception Breakpoint と表示されるボタンをクリックすると、例外が登録できる。 今回は、"NullPointer…

テキストファイルを1行ずつ処理するには

input.txt がよみこむテキストファイルの場合 こんな感じです。 while IFS='' read -r line && [[ -n "$line" ]]; do echo $line; done < input.txt なぜ、IFS='' するのですか? IFSってのはbashの環境変数で、デフォルトでは$' ¥t¥n'(スペース・タブ・改行…

awk でパターンにマッチする行のみを抽出する

こんな感じでスラッシュで挟んで指定すれば良いらしい。 $ xwininfo | awk '/Width/' Width: 1360 ただ、単に抽出するだけなら、 grep で十分かも。 $ xwininfo | grep 'Width' Width: 1360 抽出した結果を変数に入れて処理するには便利そう。 $ xwininfo | …

Java challenge cloneable

Java challenge 既出のコードです。 出力結果を考えてみます。 ソースコード public class CloneableChallenge { public static void main(String[] args) throws CloneNotSupportedException { Human human17 = new Human("cells"); Human human18 = (Human…

Java private フィールドをモックする

private フィールドをモックする junit 書きたいなと思って調べたら、すぐに出てきたのが mockito の whitebox. 以前使ったことがあった気がするけど、忘れていました。 とりあえず簡単なサンプルで public class WhiteBoxExample { private String message …

SparkSql で5教科の成績に評価を付けてみる

SparkSqlはSpark上でSQLを利用するためのコンポーネントです。 Sparkの分散環境上で大量データに対して高速なSQLを実行できます。SparkSqlでソートする練習のために、5教科の成績に評価を付けるプログラムを書いてみました。 例えば、今5人(A君~E君)がい…

Apache ZooKeeper の基本について調べてみる

概要 ・分散アプリケーションを構築する上では、同期、設定管理、グルーピング、名前管理などの機能が必要となる。 →これらの実装は複雑で面倒なもの →Zookeeper はこれらの機能を提供してくれる ・ただし、Zookeeper が提供するのは、基本機能要素そのもの…

Apache Spark の SparkConf について調べてみる

Spark のチューニングにおいて重要な要素の一つとなるであろう SparkConf について調べてみる。 概要 ・SparkConf クラスは、Sparkにおける主要な設定の仕組みである。 ・SparkConf のインスタンスは新しい SparkContext を生成するときに必要になる。 ・Spa…

Apache Curator Framework のリトライ処理について調べてみる

zookeeper サーバと接続出来なかった場合、そのリトライ処理はどのように実装されるのか? 概要 ・ Curator とは、Zookeeper 上に構築された一連の高レベルライブラリ →複雑な接続処理を容易にするAPIを提供してくれるもの 前提 ・ローカル環境で Zookeeper …

eclipse ローカルヒストリーをほんの少しだけ試してみました

ローカルヒストリーは、eclipse 上で編集した履歴を残しておける機能ですね。 普段、変更履歴は git で確認しているので、個人的には全く使ったことがなかったのですが、便利そうです。 ローカルヒストリーの使い方 eclipse 上でファイルを右クリック、比較…

Java 例外処理における 11 個の誤り

Java の例外処理における tips を見つけたんですが、自分にはとても分かりやすかったので、感想と共に書き残しておこうと思います。11 Mistakes Java Developers make when Using Exceptions https://www.linkedin.com/pulse/11-mistakes-java-developers-ma…

maven Dependency trees が便利

Maven の便利な機能の一つとして、ライブラリの依存性を確認できるものがあります。あるプロジェクトの中で色んなライブラリを活用していると、そのライブラリ間の依存性が問題になり、プログラムが正常に動作しない場合があったりします。ライブラリAとライ…

Java で何故 4.0 - 3.10 は 0.90 ではない ?

twitter で流れてきたツイートで以下のようなものがありました。Why 4.0 - 3.10 not equal to 0.90 ? public static void main(String args[]) { double x = 4.0 - 3.10; System.out.println(x == 0.90); } 結果: falseツイートに対する返信で、「double や …

Scala プログラミング練習(バブルソート)

色んな便利なライブラリのお陰で、アルゴリズムの勉強をせずとも複雑な処理が実現できています。 ただ、やはりアルゴリズムってプログラミングをする上では知っておきたいところです。 正直なところ、アルゴリズムの勉強ってきちんとやったことがないので プ…