LCL Engineers' Blog

夜行バス比較なび(高速バス比較)・格安移動・バスとりっぷを運営する LCLの開発者ブログ

Hubot + Jenkins + Mackerelを利用したデプロイの見える化

弊社では最近、今更ながらHubotを利用したデプロイを行うようにしました。

なぜ今更ながら取り組んだのかも踏まえて、構成などを簡単に紹介いたします。

導入の背景

Hubot導入前は、以下のような流れでデプロイを行っていました。

  1. デプロイ担当者が、Google Analyticsのアクティブユーザを確認
  2. アクティブユーザが規定の数より少なければ、Jenkinsのビルドを手動で実行

この方法でも手間はそれほどかからないのですが、チーム・サービスの拡大によっていくつか問題が見えてきました。

ミスが起こりやすい

運営するサービス数の増加に伴い、Jenkinsのデプロイビルドも増えてきました。そうすると、弊社サービス「夜行バス比較なび」のデプロイをする際に、別サービス「格安移動」のデプロイビルドを実行してしまうなど単純なミスが発生するようになりました。

状況が見えない

最近リモートワークを行うメンバーが増え、Chatworkがコミュニケーションの主体となっています。そのため、前述のようなミスが発生したとき、以下のような状態になってました。

デプロイ担当: 夜行バス比較なびのデプロイします。
私: お願いします。
・・・
私: 格安移動のデプロイビルドが実行されているみたいですけど、間違ってないですか?
・・・
・・・
私: 大丈夫でしょうか?
・・・
デプロイ担当: 間違って実行してしまったので確認してましたが、特に悪影響ありませんでした。

この場合、リモートのメンバーは特に状況が見えづらく、不安になることが定期的に有りました。 このような問題から、ミスが発生しづらく・状況が見えるデプロイの仕組みへ変える必要があるとの考えに至りました。

デプロイ構成

f:id:lcl-engineer:20161024003432p:plain

  1. Chatworkでデプロイを命令を行う。
  2. Hubotがmackerelから現在のサイトのリクエスト数を取得する。
  3. HubotがJenkinsのデプロイビルドを実行する。
  4. Jenkinsが各サーバに対してデプロイを実行する。

各サイトのNginxのログは、エラー数の監視のためmackerelに随時送信しており、mackerel APIを利用してデプロイ時点でのリクエスト数を取得しています。リクエスト数が規定より多い場合は、デプロイを控えるようにしています

Chatworkでのやりとりは、以下のようになってます。

f:id:lcl-engineer:20161030172757p:plain

構築手順

Hubotのインストールや、基本的な利用法は割愛します。

ChatworkとHubotの連携

Chatwork APIを利用するためには申請が必要です。かれこれ2年以上プレビュー版ですが、問題なく使えます。以下のサイトから申請して、APIトークンを取得します。

チャットワークAPIドキュメント

ChatworkとHubotの連携は、adapterが用意されているのでそれを利用します。

npm install hubot-chatwork --save

環境変数にChatwork APIの情報を設定します。

# 取得したAPI TOKEN
export HUBOT_CHATWORK_TOKEN="XXXXXXXXXXXXXXXXX" 
# 監視するルームID。カンマ区切りで複数指定、botユーザをルームに所属させる必要あり。
export HUBOT_CHATWORK_ROOMS="111111,22222" 
# 1時間当たりのリクエスト数。APIは、5分間100回までの制限あり。
export HUBOT_CHATWORK_API_RATE="500"

以下のコマンドで実行。引数 -n でbot名称を設定

bin/hubot -a chatwork -n hubot

正しく設定が行われていれば、ping に応答があります。

f:id:lcl-engineer:20161030183455p:plain

mackerelとHubotの連携

事前に、Nginxのアクセスログをmackerelに投稿しておきます。

fluentdでサービスメトリックを投稿する - Mackerel ヘルプ

投稿したメトリクスは、APIで取得できます。

curl -X GET -H "X-Api-Key: <API_KEY>" "https://mackerel.io/api/v0/services/xxxxx/metrics?name=nginx_access_num.2xx_count&from=1476325055&to=1476325055"

サービスメトリック - Mackerel API ドキュメント (v0)

Hubotから直近の時刻を指定して上記APIを実行すれば、デプロイ時点でのアクセス数が取得できます。

JenkinsとHubotの連携

Jenkinsの認証を有効にしている場合は、以下の記事などを参考に外部からAPIを実行できるようにしておきます。弊社では、Hubot専用のユーザを作成し、限定されたビルドのみ実行を許可しています。

Jenkins のジョブを外部からビルドするには API Token を利用する - @kyanny's blog

HubotからJenkinsビルド実行は、以下のコードが利用できます。JOBのURLなど必要に応じて適宜修正します。

hubot-scripts/jenkins.coffee at master · github/hubot-scripts · GitHub

Jenkinsの情報は、Chatwork同様に環境変数に設定しておきます。

export HUBOT_JENKINS_URL="[JENKINS_URL]"
export HUBOT_JENKINS_AUTH="[ユーザID]:[パスワード or API TOKEN]"

以上でHubotと各サービスの連携は完了です。Hubotへの命令コマンドに応じて、適切な処理を組み合わせれば、デプロイまでの一連の流れが行えます。

導入の効果

見える化は、各自の行動にたよらず「強制的に見えるようにする」という仕組みづくりが重要ですが、以前までは、デプロイ担当者がチャットに状況を流していたので、結局は個々人による行動に依存していました。 今回、デプロイの全ての状況が"強制的に"チャット上に流れるようになったため、確実に見える仕組みが実現できました。

全ての流れが見えるようになったおかげで、まずデプロイが圧倒的にスムーズになりました。さらに、新しいメンバーでもどのようにデプロイが行われているかが、容易に把握できるようになりました。実際にやってみると、他にも応用したい案が多くでてきたので、今後もHubotを育てていきたいと考えています。

弊社では、エンジニアがより働きやすく・成長できる環境を日々検討していますので、ご興味がある方は是非採用ページからご応募お待ちしております。

株式会社LCL(エルシーエル)

LCLエンジニアのオフィス環境

f:id:lcl-engineer:20161015165208j:plain

弊社は、今年の8月に勝どきにあるトリトンスクエア 40Fにオフィスを移転しました。

移転してから2ヶ月ほどたちましたので、今回は新オフィスを簡単に紹介したいと思います。

景色

40Fだけあって、東京湾を一望できます。目を休めるためにも、たまに眺めてます。

f:id:lcl-engineer:20161014230926j:plain

f:id:lcl-engineer:20161014222939j:plain

カフェスペース

専用のカフェスペースがあり、KUREAという本格派のエスプレッソマシンが用意されています。

www.unimat-life.co.jp

エスプレッソ、カフェラテ、ココア、日本茶など、9種類のドリンクが誰でも飲み放題になってます。

f:id:lcl-engineer:20161014230917j:plain

近くにはくつろげるスペースがあり、ここにはコンセントも設置されているので、コーヒーを飲みながら気分転換に仕事をしているメンバーも多くいます。

f:id:lcl-engineer:20161014230932j:plain

ミーティングスペース

用途に応じて、ミーティング場所が選べるように、色々なタイプのミーティングスペースを用意しています。

こちらは会議室タイプで、主に来客用として利用しています。会議室でミーティングをすると、どうしても会議時間が長くなりがちなので、社内の打ち合わせではなるべく利用しないようにしています。

f:id:lcl-engineer:20161014230922j:plain

こちらは,執務室内にある打ち合わせコーナーです。予約不要で使いたいときにすぐに使えるため、多くの打ち合わせはここで行っています。他にも同タイプの打ち合わせが3つほどあります。

f:id:lcl-engineer:20161017005556p:plain

リラックスして打ち合わせできる土足禁止エリアもあります。ブレスト的な打ち合わせをする場合は、大体この場所でやってます。

MTG以外にもノートPCでリラックスしながらプログラミングをしたり、昼休みには各自が読書したりなどにも活用されています。

f:id:lcl-engineer:20161016004921j:plain

執務エリア

執務エリアは一般的な島形式の配置にしています。 背中合わせでメンバーを配置することで、何かあったときに簡単に相談できるようにしています。

また、移動式のテレビモニタも配備しています。 Applet TVが接続されており、各メンバーのディスプレイをすぐに映せるため、簡単な確認・共有は移動せずこの場所で行っています。 ( エンジニアPCは全員Macです)

f:id:lcl-engineer:20161018090201p:plain

一人あたりのエリアは、iMac27インチと25インチディスプレイを配置してもまだ余裕があるぐらい広く確保されています。

f:id:lcl-engineer:20161017235536j:plain

集中したいときに、周囲から遮断できるブースも設けています。集中してドキュメントをまとめ上げるなど、普段とは異なるタスクを行うときに、この場所を利用することが多いです。

f:id:lcl-engineer:20161017235224j:plain

最後に

新オフィスのご紹介をしましたが、仕事をする上では働き方・仕事内容がより重要だとも考えております。

弊社では、エンジニアがより働きやすく・成長できる環境を日々検討していますので、ご興味がある方は是非採用ページからご応募お待ちしております。

株式会社LCL(エルシーエル)

pgpool-IIでストリーミング・レプリケーションへ対応する

以下の記事に続いて、pgpool-II+ストリーミング・レプリケーション構成について紹介致します。 (だいぶ時間が空いてしまいましたが。。)

pgpool-II 入門(インストールと簡易設定) - LCL エンジニアブログ

説明に利用する環境

  • PostgreSQL 9.4
  • pgpool-II 3.5.2

pgpool-IIのストリーミング・レプリケーション対応

ストリーミング・レプリケーション自体は、Web上で有用な記事が多く出てきているので説明を割愛します。特に以下の記事を参考にさせていただきました。

pgpool-IIをストリーミング・レプリケーションへ対応するには、pgpool.confを次のように設定します。

load_balance_modeをonにします。

load_balance_mode = on

master_slave_modをonにし、master_slave_sub_modeをstreamに指定します。

master_slave_mode = on
master_slave_sub_mode = 'stream'

backend_hostnameに各DBサーバの接続情報を設定します。

backend_hostname0 = '192.168.56.100'
backend_port0 = 5432
backend_weight0 = 5
backend_flag0 = 'ALLOW_TO_FAILOVER'

上記がDBサーバ1台分の接続情報のセットです。 末尾の数字を1,2,3と増やしていくことで、接続させるDBサーバを増やすことができます。

backend_weightで指定した値が、SQLを振り分ける比率となります。 例えば、以下のように設定すると、5:6:7の比率で振り分けが行われます。

backend_hostname0 = '192.168.56.100'
backend_weight0 = 5

backend_hostname1 = '192.168.56.101'
backend_weight1 = 6

backend_hostname2 = '192.168.56.102'
backend_weight2 = 7

上記で一通りの設定は完了です。

pgpool-IIを起動し、pgpool_statusファイルを確認すると、各ノードへの接続ステータスが確認できます。 設定したノードの行数だけステータスが表示され、全て「up」になっていれば正常です。

# cat /var/log/pgpool/pgpool_status
up
up
up

md5認証への対応

PostgreSQLの認証に md5認証を利用していると、pgpool-II側で更に追加設定が必要となります。

まず、pgpoo.confのenable_pool_hbaをonにします。

enable_pool_hba = on

pg_md5というコマンドで、認証ファイルを生成します。 usernameの引数には、PostgreSQLへ接続するユーザ・パスワードを指定します。

pg_md5 --md5auth --username=test password

実行すると、pool_passwdファイルが生成されます。

#  cat /etc/pgpool-II/pool_passwd
test:md587f77988ccb5aa917c93201ba314fcd4

続いて、pool_hba.confにPostgreSQLへの接続情報を定義します。

host    testdb           test         127.0.0.1/32       md5
host    testdb           test         ::1/128               md5

以上で完了です。

まとめ

pgpool-IIでのストリーミングレプリケーション対応には、今回紹介しなかった「オンラインリカバリ」など他に有用な機能がありますので、より詳しく知りたい人は公式マニュアルもご参照ください。