社内se × プログラマ × ビッグデータ

プログラミングなどITに興味があります。

2018-09-26から1日間の記事一覧

Apache Spark2.3 ブロードキャスト変数のパフォーマンス

ブロードキャスト変数は、リードオンリーの変数を効率的に各 Executor に送信する仕組みです。Apache Spark2 にて、ブロードキャスト変数のパフォーマンスをローカル環境で確認してみました。 スレッド数は 3 を指定しています。 ※ sparkConf.setMaster("loc…

Couchbase 同期・非同期 insert(upsert)のパフォーマンス比較

Couchbase Java SDK を使用して、10万件のデータをインサートする場合のパフォーマンスを比較しました。 通常は同期処理にてインサートが行われますが、非同期用のAPIも用意されていましたので、それの比較となります。Couchbase server は Docker で生成し…