社内se × プログラマ × ビッグデータ

プログラミングなどITに興味があります。

docker

CentOS 7 に Docker, docker-compose インストール

Install docker 公式ドキュメント https://docs.docker.com/engine/install/centos/ Set up the repository 1. yum-utils のインストール (未インストールの場合) sudo yum install -y yum-utils2. docker のリポジトリが登録されていないことの確認 yum rep…

Docker で centos 7 をベースに Hadoop(version3.1.3) コンテナ作成したときの問題

Docker で centos 7 をベースに Hadoop(version3.1.3) コンテナ作成してみました。 ただ作成してみたものの、使いづらいと感じている面があります。 理由1 systemctlを使ったサービスの自動起動を行うには、コンテナ起動時に/sbin/initを指定しなければなら…

jps: command not found

Docker コンテナで Java をインストールしたが、jps コマンドが使用できなかった。 Dockerfile においてインストールするパッケージに (-devel) を指定すればよい。 ※Docker自体はこの問題に関係ない(変更前: jps つかえない) RUN yum install -y java-1.8.0…

docker alpine イメージから bash を起動する

alpine イメージを元にした Dockerfile を書いていくにあたって bash を起動したいが alpine には bash が入っていない。 そのため、apk コマンドでインストールしてから起動させる。 docker run -it alpine:latest apk add bash && /bin/sh

Elastalert を MailCatcher で動作確認

MailCatcher とは シンプルなSMTPサーバ、ただし実際にはメールを宛先に転送せずに、WebUI上で一覧することができるもの。 ローカル環境でメール送信のテストをするのに便利そうです。 また、Docker のイメージも(何方かが)作成されたものがあります。今回…

Elastalert filter を試す

使用する Docker image filebeat 機能を含めたこちらのイメージを使って試していきます。 github.com参考:イメージ作成時の記事 https://blueskyarea.hatenablog.com/entry/2020/05/13/235521 gmail 用 User と Password 設定 $ vim elastalert/pass/smtp_au…

Docker で filebeat も試す

公式に filebeat 用の Docker Image が提供されているので、簡単に試すことが可能です。 filebeat からデータを投入する elasticsearch については、以下の記事で作成したイメージを使っていきます。 blueskyarea.hatenablog.com ディレクトリ構造 上記の記…

Docker で ELK stack (version 7.6.2)

ソース github.com ディレクトリ構造 ├── docker-compose.yml ├── elasticsearch │ ├── config │ │ └── elasticsearch.yml │ └── Dockerfile ├── kibana │ ├── config │ │ └── kibana.xml │ └── Dockerfile ├── logstash │ └── Dockerfile └── README.md ela…

Docker mysql8.0 Could not open file '/var/log/mysql/mysql-error.log' for error logging: Permission denied

Ubuntu18.04 上で発生した問題(Macでは発生しない?) 権限の問題であるようには見えるので、無理やり権限を変更してみる。 下記の変更で動作するようになりました。変更前 docker-compose.yml version: "3" services: mysql8-db: image: mysql:8.0 volumes…

docker-compose 環境ファイル .env

docker-compose では、.env という環境ファイルを通して、デフォルトの環境変数を定義できる。 http://docs.docker.jp/compose/env-file.htmlたとえば、mysql の docker コンテナを docker-compose で構築しようとしている場合、以下のような .env ファイル…