社内se × プログラマ × ビッグデータ

プログラミングなどITに興味があります。

2020-01-01から1年間の記事一覧

Pygame マウスカーソル に合わせて Paddle が動く

def main(): # Initialize pygame screen pygame.init() screen = pygame.display.set_mode(GAME_RECT.size) pygame.display.set_caption("Game Title") # Create sprite group sprite_group = pygame.sprite.RenderUpdates() Paddle.containers = sprite_gr…

Pygame Zero スクリーン表示

#!/usr/bin/env python import os import sys import pygame from pygame.locals import * GAME_RECT = Rect(0, 0, 384, 384) def main(): pygame.init() screen = pygame.display.set_mode(GAME_RECT.size) pygame.display.set_caption("Game Title") while…

CentOS 6 curl: (35) SSL connect error

症状 centos6 上 curl でファイルダウンロードしようとしたらエラー発生。 具体的には elastic filebeat をダウンロードしようとしていた。 --verbose でデバッグ curl で問題が発生したら、--verbose でデバッグしてみる。 $ curl --verbose -L -O https://…

CentOS 7 に Docker, docker-compose インストール

Install docker 公式ドキュメント https://docs.docker.com/engine/install/centos/ Set up the repository 1. yum-utils のインストール (未インストールの場合) sudo yum install -y yum-utils2. docker のリポジトリが登録されていないことの確認 yum rep…

Kibana UI から Index へ document の投入

ELK

Indexの作成 Index 名: products shardsの数: 2 replicasの数: 2 Document の投入 実行するクエリ /index名/_doc に続いて Json 形式で指定する。 レスポンス shards がトータルで3つ(メイン1つ、レプリカ2つ)出来ていることが分かる。 _id は自動的に生…

Kibana UI から Index の作成と削除 (elasticsearch)

ELK

Index の作成 Index 名: products shardsの数: 2 replicasの数: 2実行するクエリ レスポンス Index の削除 実行するクエリ レスポンス テスト用に Index を作成・削除するだけなら非常に簡単に出来る。 本番環境用に作成する場合、shardsやreplicasの数は設…

Master node (elasticsearch)

ELK

Master node とは Elasticsearch のノードの役割の一つで、クラスタ全体の処理(シャードの配置等)を行うノード。 Master-eligibleとは master に候補になるノード。 master node が死んだときには master eligible node から新たな master が選ばれる。 設…

Android(kotlin) 既に起動中の Activity に onCreate を通らずに戻りたい

例えば、FieldActivity という Activity が既に起動していて、今は別の Activity が Active になっているとします。 以下のように、intent のインスタンスに Intent.FLAG_ACTIVITY_REORDER_TO_FRONT をセットし、それを startActivityIfNeeded() で呼び出し…

Elasticsearch における Replication

ELK

Replication レプリケーションとは フォールトトレラントとしてレプリケーションをサポートしている ※システムの一部に問題が生じても全体が機能停止するということなく動作し続けるようなシステム Elasticsearch においてレプリレーション機能はデフォルト…

Python for ループ用のインデックス変数はループ処理後も有効

Java における for ループ用のインデックス変数(以下の例では i ) については、for ループ内でしか有効ではない。 for (int i = 0; i < 10; i++) { print(i); } Python における for ループ用のインデックス変数 (以下の例では idx) については、forループ…

Elasticsearch における Sharding

Sharding とは 1. Sharding とは、インデックスを小さなピースに分割するための手段 2. それぞれのピースは Shard として扱われる 3, Sharding はインデックスレベルで行われる(クラスタやノードレベルではない) 4. Sharding によってデータが均等にノード…

Elasticsearch に cURL で問い合わせするためのコマンドを kibana から取得

kibana のコンソールから cURL用のコマンドを取得することができます。 ”Copy as cURL” をクリックします。 貼り付けてみると、cURL 用のコマンドが取得できていることが分かります。 実運用上ではバッチなどから、cURL でコマンドを実行する必要があるかも…

Kibana から クエリを初めて実行してみる

ELK

elasticserarch クラスタの状態などを知るためのコマンド入門。 elasticserarch クラスタの状態を知る _cluster API と node や インデックス情報を取得する _cat API が良く使われそう。 問題が発生したときに主に使われると思われるが、実際に運用しつつ、…

pyxel Pyxel Editor を使ってみる

付属するPyxel EditorでPyxelアプリケーションで使用する画像を作成できます。 Pyxel Editor 以下のコマンドで起動します。 pyxeleditor [Pyxelリソースファイル]pyxeleditor snakeこのようなドットを一つ入れただけのファイルを作成してみます。 本体ソース…

pyxel ウィンドウ作成

Pyxel (ピクセル) はPython向けのレトロゲームエンジンです。 [pyxel公式](https://github.com/kitao/pyxel/blob/master/README.ja.md) import pyxel TILE_SIZE = 8 MAP_WIDTH = 29 MAP_HEIGHT = 23 class Snake: def __init__(self): pyxel.init( MAP_WIDTH…

(自分用) Kotlin Quiz 1

Q1. Kotlinの全てのクラスは共通の ? スーパークラスを持つか ?Q2. 以下の Derived クラスに明示的に Base クラスでスーパータイプを宣言してください。 open class Base(p: Int) class Derived(p: Int) ??? Q3. Kotlin内のクラスは、 プライマリコンストラ…

View has onTouchListner called on it but doesn’t override performClick (kotlin)

問題 以下のようにある ImageView のインスタンスに対して、setOnTouchListener を実装して画像に対するタッチイベントを実装したところ、動作はするのですが、”View has onTouchListner called on it but doesn’t override performClick” の警告がIDE上で表…

SQLite データの更新

特定のフィールドの数値を1だけインクリメントする更新を行います。 インクリメントの更新であれば、”set フィールド名=フィールド名+増分” で可能です。データベースヘルパークラス内に、以下のような関数を用意します。 words テーブルの "count_question…

(自分用) Scala Quiz 2

Q1. Scala で以下のような Any 型をキャストするには ? val x: Any = 1 val y: Int = ??? Q2. 以下のコレクションを Seq(1,2,3,4,5,6) にするには ? Seq(Seq(1,2,3), Seq(4), Seq(5, 6)) Q3. Seq(scala.collection.Seq)とは?Q4. ディレクトリ内のファイルを…

(自分用) Java Quiz 1

Q1. Java でプログラムされたライブラリで kuromoji とは何か?Q2. kuromoji で文章をトークンに分解するクラスは?Q3. kuromoji でトークンの品詞を返却する Token クラスのメソッドは?Q4. kuromoji でトークンに分解された単語を返却する Token クラスのメソ…

(自分用) Scala Quiz 1

Q1. リストの定義方法は ? val list = ??? Q2. 文字列が特定の文字で開始されているかを確認するには ? val text = "hoge" text.???("h") Q3. 数値から文字列にどのようにキャストする ? val number = 7 val text = number.??? Q4. scala で java.util.List …

(自分用) Apache Spark QUIZ 1

Q1. In spark-shell, How to specify multiple dependencies using --packages for spark-submit? (spark-shell において、複数の依存パッケージをロードするには、--packages でどのように指定すれば良いか ?)Q2. What is this warning meaning in spark …

(自分用) Elasticsearch Quiz 1

ELK

Q1. Elasticsearch 用のメイン設定ファイル名は ?Q2. データやログのディレクトリを Elasticsearch がインストールされているディレクトリの外部に配置することが推奨される理由は ?Q3. jvm.options ではヒープサイズの設定が重要だが、最低でも ? GB以上の…

Elasticsearch のディレクトリ構成を見てみる

Elasticsearch のディレクトリ構成 バージョン 7.6.2 をモデルにしています。 デフォルトではインストール直後は以下のようなディレクトリ構成になっています。 /usr/share/elasticsearch # ls LICENSE.txt NOTICE.txt README.asciidoc bin config data jdk …

Docker でコンテナ技術を学ぶ

Docker を通して、学んだことを書いていきます。Docker基礎 Docker コマンド逆引き(基礎) はじめての docker push CentOS 7 に Docker, docker-compose インストール docker image を使って spark-shell を実行してみるまで docker image を使って hbase-s…

(自分用)docker-compose Quiz 1

Q1. docker-compose とは何をするためのツール?Q2. docker-compose でコンテナの作成と開始を行うコマンドは?Q3. docker-compose でコンテナを開始前にイメージを構築すオプションは?Q4. docker-compose でバックグラウンドでコンテナを実行するオプションは…

Docker で centos 7 をベースに Hadoop(version3.1.3) コンテナ作成したときの問題

Docker で centos 7 をベースに Hadoop(version3.1.3) コンテナ作成してみました。 ただ作成してみたものの、使いづらいと感じている面があります。 理由1 systemctlを使ったサービスの自動起動を行うには、コンテナ起動時に/sbin/initを指定しなければなら…

jps: command not found

Docker コンテナで Java をインストールしたが、jps コマンドが使用できなかった。 Dockerfile においてインストールするパッケージに (-devel) を指定すればよい。 ※Docker自体はこの問題に関係ない(変更前: jps つかえない) RUN yum install -y java-1.8.0…

docker alpine イメージから bash を起動する

alpine イメージを元にした Dockerfile を書いていくにあたって bash を起動したいが alpine には bash が入っていない。 そのため、apk コマンドでインストールしてから起動させる。 docker run -it alpine:latest apk add bash && /bin/sh

Elastalert を MailCatcher で動作確認

MailCatcher とは シンプルなSMTPサーバ、ただし実際にはメールを宛先に転送せずに、WebUI上で一覧することができるもの。 ローカル環境でメール送信のテストをするのに便利そうです。 また、Docker のイメージも(何方かが)作成されたものがあります。今回…