2018-09-26から1日間の記事一覧
ブロードキャスト変数は、リードオンリーの変数を効率的に各 Executor に送信する仕組みです。Apache Spark2 にて、ブロードキャスト変数のパフォーマンスをローカル環境で確認してみました。 スレッド数は 3 を指定しています。 ※ sparkConf.setMaster("loc…
Couchbase Java SDK を使用して、10万件のデータをインサートする場合のパフォーマンスを比較しました。 通常は同期処理にてインサートが行われますが、非同期用のAPIも用意されていましたので、それの比較となります。Couchbase server は Docker で生成し…