きっかけはこのツイートでも紹介した、豊島屋の鳩サブレ缶がちょうどラズベリーパイを４つ格納できるような仕切りになっていることに気付いたことでした：
面白そうなので、本当にラズパイのケースにしてみよう、それもせっかくなのでこの鳩サブレ缶の中だけでクラスタリング環境を作ることに挑戦してみよう、と思いたちました。ちなみに私自身はクラスタ化とか専門ではなく、あまり得意な方ではないです。思いついた時点では構築方法として Docker Swarm か、Kubernetes か、まあその辺りが動けばいいな、くらいに考えていました。。
当初は「さてとりあえずラズパイを４台買って・・」と思っていましたが、冷静に考えるとスイッチングハブとか、USBハブとか、電源周りとか、ラズパイ本体以外でもそこそこのサイズの機器を収納する必要がありそうだと気づきました。というわけで、それらをどこか１つにまとめるとして、ラズパイ本体は３台体制で行けるかな・・・ という想定でお買い物しました：
購入したモノリスト：
※今回は結局無線 LAN で接続することにしたので有線の LAN ケーブルとハブを使わずに構築しました。また USB ハブは購入したのですが、この USB ハブ１つに３台のラズパイを接続すると電流量が足りませんでした。というわけで別途 USB からの電源変換プラグ３つと、テーブルタップ１つを買い足しています。
上記に含まれていないものとして、マイクロ SD カードにイメージを書き込むための Windows PC と、マイクロ SD カードを読み書きするための USB アダプタ、USB -> 電源プラグの変換アダプタ、各ホストでネットワークが有効になるまでの操作用に LCD モニタ、HDMI ケーブル、USB キーボードと USB マウスを使います（これらは所有していたものをそのまま使います）。加えてケースとなる 18 枚入りの鳩サブレー缶を用意しました。
また構築する環境は最近流行り（遅い？）の Kubernetes 、にしたかったのですが、訳あって Docker Swarm にしました。コンテナ・オーケストレーションとしてはほぼデファクトスタンダートになった Kubernetes を選びたかったのですが、とりあえず 2019/01/21 時点ではマスターノードを初期化する kubeadm init コマンドを実行した際に再現率 100% で Timeout エラーになってしまうようでした。
どうもこの Issue に近い現象だと思っています：
ただ Issue そのものは Closed になっていて、でもスレッドを見ていると本当に治っているのかなんとも微妙・・ 一方で成功例も報告されているのでラズパイで発生する環境依存問題なのか、タイミングが悪かったのか・・・ なんとも言えないのですが、仮に Kubernetes の障害であったとしてもその修正を待つのも変なので、Docker Swarm によるクラスタリング環境構築を優先することに決めました。
というわけで、改めて３台のラズパイを使った Docker Swarm 環境の構築を目標に作業を進めてみます：
【構成図】
このような最終型を目指すことにします：
raspi001, raspi002, raspi003 の３台のラズベリーパイを Docker Swarm でクラスタリングします。raspi001 を管理ノード、raspi002 と raspi003 をワーカーノードとします。
【ラズパイノードの準備】
Docker Swarm 環境の核となる３台のノードをラズパイで作ります。前提として最新版の Raspbian OS をマイクロ SD カードに書き込んで起動し、初回起動時のセットアップは３台ぶん済んでいるものとします。また SSH も有効にしておいてください。そして以下の手順を３台それぞれに対して行います。
【ホスト名の変更】
今回は３台のラズパイに raspi001, raspi002, raspi003 という３つの名前をそれぞれ付与して使いますこのため、まずは各ラズパイのホスト名をそれぞれ変更します。
また raspi001, raspi002, raspi003 の名前でアクセスできるよう、/etc/hosts も変更しておきます（DNS などが有効であればそちらで対応いただくのがいいと思います）：
【SSH 鍵の共有】
この３台のラズパイ間ではパスワードなしで SSH 接続ができるように SSH 鍵を共有しておきます：
【Docker のインストール】
こちらで紹介した手順でラズパイに Docker をインストールします：
以上、ここまでの手順は３台のラズパイ全てで共通に行っておく必要があります。ちと面倒ですが、全てのラズパイに Docker をインストールするところまで実行しておきます。
【管理ノードの作成】
ここからは３台のラズパイの役割ごとに作業が変わる部分になります。まずは管理ノードを作成します。raspi001 において、自分のアドレスを指定して以下のコマンドを実行します：
↑コマンドが成功すると青字のような出力になります。この中の太字部分（docker swarm join で始まる行）は後でワーカーノードで実行することになるコマンドなのでコピペできるようにしておきましょう。
【ワーカーノードの接続】
次にワーカーノード側（raspi002, raspi003）から管理ノードに接続します。上記の管理ノード作成時に実行したコマンドの実行結果をそのまま入力して実行します：
コマンドの実行が成功すると "This node joined a swarm as a worker." といったメッセージが表示されます。これを raspi002 と raspi003 の両方で（４台以上で構成する場合は全てのワーカーノードで）実行します。
【ノードの状態を確認】
ノードの状態を確認してみます。raspi001 から以下のコマンドを実行します：
実行結果↑の青字部分をみると raspi001, raspi002, raspi003 がリストされ、全て Active になっています。また raspi001 の MANAGER STATUS が Leader とマークされており、ここが管理ノードになっていることが確認できました。
あとはこの３つのラズパイと電源ケーブル等をつなげて鳩サブレー缶に押し込みます：
鳩サブレ版の（？） docker swarm 環境が完成しました！
（参考）
https://blog.ruanbekker.com/blog/2018/10/23/setting-up-a-docker-swarm-cluster-on-3-raspberrypi-nodes/
面白そうなので、本当にラズパイのケースにしてみよう、それもせっかくなのでこの鳩サブレ缶の中だけでクラスタリング環境を作ることに挑戦してみよう、と思いたちました。ちなみに私自身はクラスタ化とか専門ではなく、あまり得意な方ではないです。思いついた時点では構築方法として Docker Swarm か、Kubernetes か、まあその辺りが動けばいいな、くらいに考えていました。。
当初は「さてとりあえずラズパイを４台買って・・」と思っていましたが、冷静に考えるとスイッチングハブとか、USBハブとか、電源周りとか、ラズパイ本体以外でもそこそこのサイズの機器を収納する必要がありそうだと気づきました。というわけで、それらをどこか１つにまとめるとして、ラズパイ本体は３台体制で行けるかな・・・ という想定でお買い物しました：
購入したモノリスト：
| 買ったモノ | 個数 | 目的 |
|---|---|---|
| Raspberry Pi 3 Model B | 3 | クラスタノードになるホスト |
| マイクロ USB ケーブル | 上記ラズパイの電源ケーブル | |
| マイクロSDカード(64GB) | 上記ラズパイのストレージ | |
| ラズパイケース | プラスチックの仕切りの上にラズパイ本体を直接載せるのは熱的にまずいかと思ったので・・・ | |
| LANケーブル | ３台のラズパイを同一ネットワークに接続（結局、今回は使わず※） | |
| スイッチングハブ | 1 | LANケーブルのハブ（結局、今回は使わず※） |
| USB ハブ | 電源ケーブルのハブ（結局、今回は使わず※） |
※今回は結局無線 LAN で接続することにしたので有線の LAN ケーブルとハブを使わずに構築しました。また USB ハブは購入したのですが、この USB ハブ１つに３台のラズパイを接続すると電流量が足りませんでした。というわけで別途 USB からの電源変換プラグ３つと、テーブルタップ１つを買い足しています。
上記に含まれていないものとして、マイクロ SD カードにイメージを書き込むための Windows PC と、マイクロ SD カードを読み書きするための USB アダプタ、USB -> 電源プラグの変換アダプタ、各ホストでネットワークが有効になるまでの操作用に LCD モニタ、HDMI ケーブル、USB キーボードと USB マウスを使います（これらは所有していたものをそのまま使います）。加えてケースとなる 18 枚入りの鳩サブレー缶を用意しました。
また構築する環境は最近流行り（遅い？）の Kubernetes 、にしたかったのですが、訳あって Docker Swarm にしました。コンテナ・オーケストレーションとしてはほぼデファクトスタンダートになった Kubernetes を選びたかったのですが、とりあえず 2019/01/21 時点ではマスターノードを初期化する kubeadm init コマンドを実行した際に再現率 100% で Timeout エラーになってしまうようでした。
どうもこの Issue に近い現象だと思っています：
ただ Issue そのものは Closed になっていて、でもスレッドを見ていると本当に治っているのかなんとも微妙・・ 一方で成功例も報告されているのでラズパイで発生する環境依存問題なのか、タイミングが悪かったのか・・・ なんとも言えないのですが、仮に Kubernetes の障害であったとしてもその修正を待つのも変なので、Docker Swarm によるクラスタリング環境構築を優先することに決めました。
というわけで、改めて３台のラズパイを使った Docker Swarm 環境の構築を目標に作業を進めてみます：
【構成図】
このような最終型を目指すことにします：
raspi001, raspi002, raspi003 の３台のラズベリーパイを Docker Swarm でクラスタリングします。raspi001 を管理ノード、raspi002 と raspi003 をワーカーノードとします。
【ラズパイノードの準備】
Docker Swarm 環境の核となる３台のノードをラズパイで作ります。前提として最新版の Raspbian OS をマイクロ SD カードに書き込んで起動し、初回起動時のセットアップは３台ぶん済んでいるものとします。また SSH も有効にしておいてください。そして以下の手順を３台それぞれに対して行います。
【ホスト名の変更】
今回は３台のラズパイに raspi001, raspi002, raspi003 という３つの名前をそれぞれ付与して使いますこのため、まずは各ラズパイのホスト名をそれぞれ変更します。
$ sudo vi /etc/hostnameraspberrypiraspi001 raspberrypi をホスト名に変更して保存
また raspi001, raspi002, raspi003 の名前でアクセスできるよう、/etc/hosts も変更しておきます（DNS などが有効であればそちらで対応いただくのがいいと思います）：
$ sudo vi /etc/hosts 127.0.1.1raspberrypiraspi001 raspberrypi をホスト名に変更 192.168.10.101 raspi001 192.168.10.102 raspi002 192.168.10.103 raspi003 raspi00X の名前でアクセスできるよう IP アドレスを指定して追加し保存
【SSH 鍵の共有】
この３台のラズパイ間ではパスワードなしで SSH 接続ができるように SSH 鍵を共有しておきます：
$ ssh-keygen -t rsa $ ssh-copy-id raspi001 $ ssh-copy-id raspi002 $ ssh-copy-id raspi003
【Docker のインストール】
こちらで紹介した手順でラズパイに Docker をインストールします：
$ curl -sSL https://get.docker.com | sh $ sudo usermod -aG docker pi （このコマンドの後、一度ログアウトして再ログインする）
以上、ここまでの手順は３台のラズパイ全てで共通に行っておく必要があります。ちと面倒ですが、全てのラズパイに Docker をインストールするところまで実行しておきます。
【管理ノードの作成】
ここからは３台のラズパイの役割ごとに作業が変わる部分になります。まずは管理ノードを作成します。raspi001 において、自分のアドレスを指定して以下のコマンドを実行します：
$ docker swarm init --advertise-addr 192.168.10.101
Swarm initialized: current node (xenxp2w34x5dhvtdmq0ndwolk) is now a manager.
To add a worker to this swarm, run the following command:
docker swarm join --token SWMTKN-1-0dg4im1kvb41odjj9zmhwug0bcvg6n8tt0d8548jxho5cp8cvo-df89pmegbdf4a3vy37apftv8r 192.168.10.101:2377
To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
↑コマンドが成功すると青字のような出力になります。この中の太字部分（docker swarm join で始まる行）は後でワーカーノードで実行することになるコマンドなのでコピペできるようにしておきましょう。
【ワーカーノードの接続】
次にワーカーノード側（raspi002, raspi003）から管理ノードに接続します。上記の管理ノード作成時に実行したコマンドの実行結果をそのまま入力して実行します：
$ docker swarm join --token SWMTKN-1-0dg4im1kvb41odjj9zmhwug0bcvg6n8tt0d8548jxho5cp8cvo-df89pmegbdf4a3vy37apftv8r 192.168.1.153:2377
コマンドの実行が成功すると "This node joined a swarm as a worker." といったメッセージが表示されます。これを raspi002 と raspi003 の両方で（４台以上で構成する場合は全てのワーカーノードで）実行します。
【ノードの状態を確認】
ここまでの作業でこの環境が作れています：
ノードの状態を確認してみます。raspi001 から以下のコマンドを実行します：
$ docker node ls ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION xenxp2w34x5dhvtdmq0ndwolk * raspi001 Ready Active Leader 18.09.0 hztpov7qya7y99m4oifx73ugt raspi002 Ready Active 18.09.0 wksx0mlyu9wsilk9c4jigvcib raspi003 Ready Active 18.09.0
実行結果↑の青字部分をみると raspi001, raspi002, raspi003 がリストされ、全て Active になっています。また raspi001 の MANAGER STATUS が Leader とマークされており、ここが管理ノードになっていることが確認できました。
あとはこの３つのラズパイと電源ケーブル等をつなげて鳩サブレー缶に押し込みます：
鳩サブレ版の（？） docker swarm 環境が完成しました！
（参考）
https://blog.ruanbekker.com/blog/2018/10/23/setting-up-a-docker-swarm-cluster-on-3-raspberrypi-nodes/
コメント