社内se × プログラマ × ビッグデータ

プログラミングなどITに興味があります。

インストール MySQL to CentOS7

対象OS CentOS Linux release 7.8.2003 (Core)対象MySQLバージョン mysqld Ver 5.7.34 for Linux on x86_64 (MySQL Community Server (GPL))1. rpm インストール $ sudo yum localinstall http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.…

django mysql マイグレーションファイル作成時エラー

1.マイグレーションファイル作成コマンドを実行 $ python3 manage.py makemigrations helloエラー発生 Traceback (most recent call last): File "/home/mh/.local/lib/python3.6/site-packages/django/db/backends/mysql/base.py", line 16, in <module> import M</module>…

Jenkins で CI/CD を学ぶ

さくら vpsに Jenkins をインストールする

さくら vpsに Jenkins をインストールする

似た記事は多くありますが、自分の作業結果メモとして。1. Java version $ java -version openjdk version "1.8.0_272" OpenJDK Runtime Environment (build 1.8.0_272-b10) OpenJDK 64-Bit Server VM (build 25.272-b10, mixed mode)※Java がインストールさ…

MySQL 公式サンプルデータを使った課題

課題1.city table から、すべての Name と CountryCode を取得し、最初は CountryCode で次は Name で並び替えるcity table のスキーマを確認する。 mysql> desc city; +-------------+----------+------+-----+---------+----------------+ | Field | Typ…

MySQL from 節いろいろ

サブクエリから生成されるテーブル 以下のような使い方は全く意味を成さない。直接NameとPopulationをcityテーブルから取得すればいい。 mysql> select t.Name, t.Population from (select ID, Name, CountryCode, District, Population from city) t limit …

MySQL select 文いろいろ

基本的な select mysql> select * from city limit 10; +----+----------------+-------------+---------------+------------+ | ID | Name | CountryCode | District | Population | +----+----------------+-------------+---------------+------------+ |…

MySQL クエリ入門

データベース接続 mysql ユーティリティが接続した時など、MySQL サーバーへの接続にはそれぞれ識別子が割り当てられる。 トラブルシューティング時に、データベース管理者にとって役立つ可能性がある。 Welcome to the MySQL monitor. Commands end with ; …

挿入ソート InsertionSort

jdk8 の Arrays sort 内で使われていた Traditional(伝統的な)挿入ソート。 https://github.com/openjdk/jdk/blob/jdk8-b120/jdk/src/share/classes/java/util/DualPivotQuicksort.java#L225www.youtube.comシンプルな作りの中でのポイントは 2つの要素を…

Pygame マウスカーソル に合わせて Paddle が動く

def main(): # Initialize pygame screen pygame.init() screen = pygame.display.set_mode(GAME_RECT.size) pygame.display.set_caption("Game Title") # Create sprite group sprite_group = pygame.sprite.RenderUpdates() Paddle.containers = sprite_gr…

Pygame Zero スクリーン表示

#!/usr/bin/env python import os import sys import pygame from pygame.locals import * GAME_RECT = Rect(0, 0, 384, 384) def main(): pygame.init() screen = pygame.display.set_mode(GAME_RECT.size) pygame.display.set_caption("Game Title") while…

CentOS 6 curl: (35) SSL connect error

症状 centos6 上 curl でファイルダウンロードしようとしたらエラー発生。 具体的には elastic filebeat をダウンロードしようとしていた。 --verbose でデバッグ curl で問題が発生したら、--verbose でデバッグしてみる。 $ curl --verbose -L -O https://…

CentOS 7 に Docker, docker-compose インストール

Install docker 公式ドキュメント https://docs.docker.com/engine/install/centos/ Set up the repository 1. yum-utils のインストール (未インストールの場合) sudo yum install -y yum-utils2. docker のリポジトリが登録されていないことの確認 yum rep…

Kibana UI から Index へ document の投入

ELK

Indexの作成 Index 名: products shardsの数: 2 replicasの数: 2 Document の投入 実行するクエリ /index名/_doc に続いて Json 形式で指定する。 レスポンス shards がトータルで3つ(メイン1つ、レプリカ2つ)出来ていることが分かる。 _id は自動的に生…

Kibana UI から Index の作成と削除 (elasticsearch)

ELK

Index の作成 Index 名: products shardsの数: 2 replicasの数: 2実行するクエリ レスポンス Index の削除 実行するクエリ レスポンス テスト用に Index を作成・削除するだけなら非常に簡単に出来る。 本番環境用に作成する場合、shardsやreplicasの数は設…

Master node (elasticsearch)

ELK

Master node とは Elasticsearch のノードの役割の一つで、クラスタ全体の処理(シャードの配置等)を行うノード。 Master-eligibleとは master に候補になるノード。 master node が死んだときには master eligible node から新たな master が選ばれる。 設…

Android(kotlin) 既に起動中の Activity に onCreate を通らずに戻りたい

例えば、FieldActivity という Activity が既に起動していて、今は別の Activity が Active になっているとします。 以下のように、intent のインスタンスに Intent.FLAG_ACTIVITY_REORDER_TO_FRONT をセットし、それを startActivityIfNeeded() で呼び出し…

Elasticsearch における Replication

ELK

Replication レプリケーションとは フォールトトレラントとしてレプリケーションをサポートしている ※システムの一部に問題が生じても全体が機能停止するということなく動作し続けるようなシステム Elasticsearch においてレプリレーション機能はデフォルト…

Python for ループ用のインデックス変数はループ処理後も有効

Java における for ループ用のインデックス変数(以下の例では i ) については、for ループ内でしか有効ではない。 for (int i = 0; i < 10; i++) { print(i); } Python における for ループ用のインデックス変数 (以下の例では idx) については、forループ…

Elasticsearch における Sharding

Sharding とは 1. Sharding とは、インデックスを小さなピースに分割するための手段 2. それぞれのピースは Shard として扱われる 3, Sharding はインデックスレベルで行われる(クラスタやノードレベルではない) 4. Sharding によってデータが均等にノード…

Elasticsearch に cURL で問い合わせするためのコマンドを kibana から取得

kibana のコンソールから cURL用のコマンドを取得することができます。 ”Copy as cURL” をクリックします。 貼り付けてみると、cURL 用のコマンドが取得できていることが分かります。 実運用上ではバッチなどから、cURL でコマンドを実行する必要があるかも…

Kibana から クエリを初めて実行してみる

ELK

elasticserarch クラスタの状態などを知るためのコマンド入門。 elasticserarch クラスタの状態を知る _cluster API と node や インデックス情報を取得する _cat API が良く使われそう。 問題が発生したときに主に使われると思われるが、実際に運用しつつ、…

pyxel Pyxel Editor を使ってみる

付属するPyxel EditorでPyxelアプリケーションで使用する画像を作成できます。 Pyxel Editor 以下のコマンドで起動します。 pyxeleditor [Pyxelリソースファイル]pyxeleditor snakeこのようなドットを一つ入れただけのファイルを作成してみます。 本体ソース…

pyxel ウィンドウ作成

Pyxel (ピクセル) はPython向けのレトロゲームエンジンです。 [pyxel公式](https://github.com/kitao/pyxel/blob/master/README.ja.md) import pyxel TILE_SIZE = 8 MAP_WIDTH = 29 MAP_HEIGHT = 23 class Snake: def __init__(self): pyxel.init( MAP_WIDTH…

(自分用) Kotlin Quiz 1

Q1. Kotlinの全てのクラスは共通の ? スーパークラスを持つか ?Q2. 以下の Derived クラスに明示的に Base クラスでスーパータイプを宣言してください。 open class Base(p: Int) class Derived(p: Int) ??? Q3. Kotlin内のクラスは、 プライマリコンストラ…

View has onTouchListner called on it but doesn’t override performClick (kotlin)

問題 以下のようにある ImageView のインスタンスに対して、setOnTouchListener を実装して画像に対するタッチイベントを実装したところ、動作はするのですが、”View has onTouchListner called on it but doesn’t override performClick” の警告がIDE上で表…

SQLite データの更新

特定のフィールドの数値を1だけインクリメントする更新を行います。 インクリメントの更新であれば、”set フィールド名=フィールド名+増分” で可能です。データベースヘルパークラス内に、以下のような関数を用意します。 words テーブルの "count_question…

(自分用) Scala Quiz 2

Q1. Scala で以下のような Any 型をキャストするには ? val x: Any = 1 val y: Int = ??? Q2. 以下のコレクションを Seq(1,2,3,4,5,6) にするには ? Seq(Seq(1,2,3), Seq(4), Seq(5, 6)) Q3. Seq(scala.collection.Seq)とは?Q4. ディレクトリ内のファイルを…

(自分用) Java Quiz 1

Q1. Java でプログラムされたライブラリで kuromoji とは何か?Q2. kuromoji で文章をトークンに分解するクラスは?Q3. kuromoji でトークンの品詞を返却する Token クラスのメソッドは?Q4. kuromoji でトークンに分解された単語を返却する Token クラスのメソ…

(自分用) Scala Quiz 1

Q1. リストの定義方法は ? val list = ??? Q2. 文字列が特定の文字で開始されているかを確認するには ? val text = "hoge" text.???("h") Q3. 数値から文字列にどのようにキャストする ? val number = 7 val text = number.??? Q4. scala で java.util.List …