社内se × プログラマ × ビッグデータ

プログラミングなどITに興味があります。

2017-07-13から1日間の記事一覧

SparkSql で5教科の成績に評価を付けてみる

SparkSqlはSpark上でSQLを利用するためのコンポーネントです。 Sparkの分散環境上で大量データに対して高速なSQLを実行できます。SparkSqlでソートする練習のために、5教科の成績に評価を付けるプログラムを書いてみました。 例えば、今5人(A君~E君)がい…

Apache ZooKeeper の基本について調べてみる

概要 ・分散アプリケーションを構築する上では、同期、設定管理、グルーピング、名前管理などの機能が必要となる。 →これらの実装は複雑で面倒なもの →Zookeeper はこれらの機能を提供してくれる ・ただし、Zookeeper が提供するのは、基本機能要素そのもの…