社内se × プログラマ × ビッグデータ

プログラミングなどITに興味があります。

(自分用) Apache Spark QUIZ 1

Q1. In spark-shell, How to specify multiple dependencies using --packages for spark-submit? (spark-shell において、複数の依存パッケージをロードするには、--packages でどのように指定すれば良いか ?)Q2. What is this warning meaning in spark …

(自分用) Elasticsearch Quiz 1

ELK

Q1. Elasticsearch 用のメイン設定ファイル名は ?Q2. データやログのディレクトリを Elasticsearch がインストールされているディレクトリの外部に配置することが推奨される理由は ?Q3. jvm.options ではヒープサイズの設定が重要だが、最低でも ? GB以上の…

Elasticsearch のディレクトリ構成を見てみる

Elasticsearch のディレクトリ構成 バージョン 7.6.2 をモデルにしています。 デフォルトではインストール直後は以下のようなディレクトリ構成になっています。 /usr/share/elasticsearch # ls LICENSE.txt NOTICE.txt README.asciidoc bin config data jdk …

Docker でコンテナ技術を学ぶ

Docker を通して、学んだことを書いていきます。Docker基礎 Docker コマンド逆引き(基礎) はじめての docker push CentOS 7 に Docker, docker-compose インストール docker image を使って spark-shell を実行してみるまで docker image を使って hbase-s…

(自分用)docker-compose Quiz 1

Q1. docker-compose とは何をするためのツール?Q2. docker-compose でコンテナの作成と開始を行うコマンドは?Q3. docker-compose でコンテナを開始前にイメージを構築すオプションは?Q4. docker-compose でバックグラウンドでコンテナを実行するオプションは…

Docker で centos 7 をベースに Hadoop(version3.1.3) コンテナ作成したときの問題

Docker で centos 7 をベースに Hadoop(version3.1.3) コンテナ作成してみました。 ただ作成してみたものの、使いづらいと感じている面があります。 理由1 systemctlを使ったサービスの自動起動を行うには、コンテナ起動時に/sbin/initを指定しなければなら…

jps: command not found

Docker コンテナで Java をインストールしたが、jps コマンドが使用できなかった。 Dockerfile においてインストールするパッケージに (-devel) を指定すればよい。 ※Docker自体はこの問題に関係ない(変更前: jps つかえない) RUN yum install -y java-1.8.0…

docker alpine イメージから bash を起動する

alpine イメージを元にした Dockerfile を書いていくにあたって bash を起動したいが alpine には bash が入っていない。 そのため、apk コマンドでインストールしてから起動させる。 docker run -it alpine:latest apk add bash && /bin/sh

Elastalert を MailCatcher で動作確認

MailCatcher とは シンプルなSMTPサーバ、ただし実際にはメールを宛先に転送せずに、WebUI上で一覧することができるもの。 ローカル環境でメール送信のテストをするのに便利そうです。 また、Docker のイメージも(何方かが)作成されたものがあります。今回…

Elastalert filter を試す

使用する Docker image filebeat 機能を含めたこちらのイメージを使って試していきます。 github.com参考:イメージ作成時の記事 https://blueskyarea.hatenablog.com/entry/2020/05/13/235521 gmail 用 User と Password 設定 $ vim elastalert/pass/smtp_au…

Docker で filebeat も試す

公式に filebeat 用の Docker Image が提供されているので、簡単に試すことが可能です。 filebeat からデータを投入する elasticsearch については、以下の記事で作成したイメージを使っていきます。 blueskyarea.hatenablog.com ディレクトリ構造 上記の記…

シェルスクリプトの備忘録

主に bash を扱います。 Basic シェルスクリプト Hello World! シェルスクリプト 実行方法 シェルスクリプト if 文記述例 TIPS 既存のテキストファイルに一行ずつ連番をふる CentOS 6 curl: (35) SSL connect error プログレスバー 標準出力、標準エラー出力…

Android(kotlin) 音楽ファイル(mp3)を再生する

android.media.MediaPlayer を使うことで簡単に音楽ファイルを再生できます。 完成イメージ 作成・編集するファイル strings.xml activity_main.xml MusicManager.kt MainActivity.kt music1.mp3 (res/raw ディレクトリ内に入れておきます) strings.xml で表…

Android(kotlin) 読み込んだテキストを SQLite に挿入

編集・作成するファイル words.csv (読み込むテキスト) WordFromText.kt (エンティティクラス) WordManager.kt (テキストを読み込む) DBContract.kt (定数定義用) DatabaseHelper.kt (データベースヘルパークラス) MainActivity.kt (WordManager と Database…

Android(kotlin) テキストファイルを読み込む

編集・作成するファイル words.csv (読み込むファイル) WordFromText.kt (読み込んだデータを格納するエンティティクラス) WordManager.kt (ファイル読み込み用クラス) MainActivity.kt (WordManager を呼び出す) words.csv 読み込むファイルを用意する 以下…

Android(kotlin) SQLite データの選択

完成イメージ リストの中の項目をタッチすると、その項目に保存されていたデータが読み込まれて画面に出力されます。 編集するファイル 以下の記事で作成したプロジェクトを引き続き編集していきます。 blueskyarea.hatenablog.com MainActivity.kt データ選…

Android(kotlin) SQLite データの挿入

編集するファイル 以下の記事で作成したプロジェクトを引き続き編集していきます。 blueskyarea.hatenablog.com MainActivity.kt データ保存処理(MainActivity.kt) データの保存処理と言いながら、更新処理を書いています。 update を使用する方法もあります…

Android(kotlin) データベースヘルパークラスをつくる

SQLite をつかいたい Android アプリケーションで手軽に使えるデータベースとして、SQLite がある。 SQLite の利用手順はおおまかに以下のようになっている。 1. データベースヘルパークラスを作成 2. アクティビティから、データベース接続オブジェクトを生…

Android(kotlin) SQLite コンソールにアクセスしてみる (エミュレータ対象)

環境 ホスト: Windows10 IDE: AndroidStudio エミュレータ起動 ADV manager から起動する コマンドプロンプトでアクセス 1. 起動中のエミュレータ確認 >adb devices List of devices attached emulator-5554 device2. adb コンソールにログイン >adb shell g…

Android(kotlin) ListView でリストから選択させる画面をつくる

ListView を使ってリストを表示して、そこから選択できるような画面を作成します。 完成イメージ ※DatabasePractice というアプリケーション名(app_name)になっていますが、なんでも可 今回、編集するファイル strings.xml activity_main.xml MainActivity.k…

ELK stack で store of data

ELK

目的もなくデータ収集していきます。環境構築 Docker で ELK stack (version 7.6.2) Docker で filebeat も試す docker image を使って Elasticsearch & Kibana を実行してみるまで 基本 Elasticsearch のディレクトリ構成を見てみる Kibana から クエリを初…

Docker で ELK stack (version 7.6.2)

ソース github.com ディレクトリ構造 ├── docker-compose.yml ├── elasticsearch │ ├── config │ │ └── elasticsearch.yml │ └── Dockerfile ├── kibana │ ├── config │ │ └── kibana.xml │ └── Dockerfile ├── logstash │ └── Dockerfile └── README.md ela…

MySQL でリレーショナルデータベースを学ぶ

MySQL を通して、学んだことを書いていきます。入門 MySQL インストール MySQL クエリ入門 MySQL select文いろいろ MySQL from 節いろいろ MySQL 公式サンプルデータを使った課題 データのインポート mysql に英単語ファイルをインポートした - Qiita ERROR …

Android(kotlin) MainActivity のソースコードを確認する

AndroidStudio などで Android のプロジェクトを作成すると、自動的に MainActivity というクラスが作成される。 MainActivity ソースコード例 import androidx.appcompat.app.AppCompatActivity import android.os.Bundle class MainActivity : AppCompatAc…

AtCoder ABC162 D - RGB Triplets

atcoder.jp使用言語は”Java (OpenJDK 11.0.6)”です。 この問題では以下の2つの条件を満たさないといけないですが、両方の条件を満たすものを探していると、パフォーマンス要件で合格が難しいようです。condition1つ目の条件を満たす数は、Rの数 × Gの数 × B…

LinearLayout を入れ子に配置 (Kotlin で Android アプリ開発)

LinearLayout は横方向か縦方向にビューを並べて表示させるレイアウト部品。 横方向と縦方向を混在させてビューを並べたい場合、LinearLayout を入れ子に配置する。 string.xml に追記 string.xml 以下の2行を追加する。 .... <string name="cb_1">Check1</string> <string name="cb_2">Check2</string> レイアウトファ…

AOJ Maximum Profit

Maximum Profitc++ がほぼ初見のため、解答例を参照。 1. using namespace stdは、std名前空間を使うという宣言。 通常、cin や coutはstd::coutと表現し、std名前空間のcoutを使うという意味になる。 using namespace stdを宣言しておくことで、stdを明示的…

アルゴリズムを学ぶ

アルゴリズムを学んでいきます。 挿入ソート InsertionSort Java Array の長さはどのように求めているのか 稀に説いた競技プログラミング問題をメモしていきます。AtCoder AtCoder Count Triplets AtCoder ABC003 B - AtCoderトランプ AtCoder ABC162 D - RG…

[Practice] Print alternate elements of an array

practice.geeksforgeeks.org超基本的な問題ですが 最初に書いたコード(NG) void print(int ar[], int n) { for (int i = 0; i < n; i += 2) printf( "%d\n", ar[i]) ; } 結果を一つずつ改行していたため。OK void print(int ar[], int n) { for (int i = 0; …

Android(kotlin) デザインモードからボタンを追加する

この記事は、Kotlin で Android アプリ開発 内の一つの記事です。 デザインモードでボタンを画面内に配置してみます。 strings.xml に文字列情報を追加する res/values/strings.xml 画面に表示する文字列を設定するために以下のように記述します。 <resources> .... <string name="bt_start">Sta</string></resources>…