まだプログラマーですが何か?

プログラマーネタとアスリートネタ中心。たまに作成したウェブサービス関連の話も http://twitter.com/dotnsf

タグ:iot

IBM BluemixIoT Foundation サービスにデバイスを登録する手順をまとめておきます:
2015112501


IBM IoT Foundation の QuickStart サービスを使うと、特定の1台のデバイスのデータを簡単に集めて Node-RED に送る、なんてことができるようになるのですが、QuickStart には QuickStart なりの制約(QOS=1のみ、とか)が存在したり、Bluemix サービスの中には IoT Foundation サービスにデバイスが登録されている前提で提供しているサービスもあったりするので、QuickStart で繋がればよい、というわけにはいかないケースもあります(さすがに本番サービスを QuickStart で、というケースは逆に珍しいと思うけど・・)。

というわけで、IoT Foundation サービスへのデバイス登録手順を以下に紹介します。なお、ここでは以下のような条件のデバイス1台を IoT Foundation サービスに登録するものとします。自分の手持ちのデバイスを登録する場合は適宜自分の環境のデータと読み替えてください:
属性属性値
デバイスタイプMyDevice
デバイスID(MACアドレス)112233445566
認証トークン(自分で指定する接続パスワード)K.Kimura777


まだ自分の Bluemix アプリケーションに IoT Foundation サービスをバインドしていない場合は Bluemix 上から IoT Foundation サービスを指定して追加&バインドします:
2015112502


Bluemix 上のアプリケーション概要から IoT Foundation サービスのアイコンをクリックします:
2015112503


IoT Foundation サービスの説明画面が表示されるので、「ダッシュボードの起動」と書かれたボタンをクリックして、IoT Foundation ダッシュボードに移動します:
2015112504


IoT Foundation ダッシュボード画面が表示されます。この時点で一意に割り振られた組織ID(下図では ttb8bh)が確認できます。この組織 ID は MQTT パブリッシャーからメッセージを送信する際に必要になるのでメモしておきましょう。 ではデバイスを登録してみます。デバイスタブから「デバイスの追加」ボタンをクリックします:
iotf01


まずは(QuickStart でも使った)デバイスタイプを指定します。今回は MyDevice というデバイスタイプを指定します。初めてこのデバイスタイプを指定する場合は「デバイス・タイプの作成」ボタンから、以前に作ったことがあればセレクションボックスの選択肢から選んで、MyDevice デバイスタイプを指定します:
iotf02


次にデバイス ID を指定します。今回の例では 112233445566 というデバイス ID を指定します(ここにはネットワーク上で一意な ID を指定するので、一般的には MAC アドレスを指定します):
iotf03


次にセキュリティの認証トークン(パスワード)を指定します。自動生成することも、自分で指定することもできますが、この値は一度作ってしまうと後から変更できず、また後から参照することもできなくなるため、メモするなり、絶対に忘れないようにするなり、注意が必要です。今回は自分で認証トークン K.Kimura777 を指定することにします:
iotf04


追加するデバイスの内容確認画面が表示されます:
iotf05


デバイスを登録すると、資格情報が表示されます。この画面(特に認証トークン情報)は二度と見ることができないため、絶対に忘れないようにしましょう(忘れてしまった場合は一度デバイスを削除し、登録し直してください):
iotf06


改めて IoT Foundation ダッシュボードに戻ると、いま登録したデバイスがデバイス一覧に追加されているはずです。2台以上のデバイスを登録する場合は、上記の手順を繰り返してください:
iotf07


ちなみに、こうして登録したデバイスから IoT Foundation に対して JSON メッセージを送信(パブリッシュ)する場合、以下の内容を指定して MQTT パブリッシュを実行することになります:
項目指定する値
MQTTブローカーホストttb8bh.messaging.internetofthings.ibmcloud.com
(組織ID).messaging.internetofthings.ibmcloud.com
MQTTブローカーポート番号1883
(固定値)
クライアントIDd:ttb8bh:MyDevice:112233445566
d:(組織ID):(デバイスタイプ):(デバイスID)
認証ユーザー名use-token-auth
(固定値)
認証パスワードK.Kimura777
(認証トークンの値)
トピックiot-2/evt/event_id/fmt/json
evnet_id 部分は任意文字列


 

Chrome 拡張アプリケーションとして MQTT パブリッシャー/サブスクライバーとして動作する MQTTLens なるものを使ってみました:
2015111201


これを Chrome ストアからダウンロード(インストール)して起動すると、MQTT のクライアントとして利用できます。パブリッシャーとしてもサブスクライバーとしても動作する、というものです。動作確認に便利そうです。


試しに IBM BluemixNode-RED + IoT Foundation QuickStart 環境で使ってみました。今回の例では MQTTLens を MQTT パブリッシャーとみなして IoT Foundation QuickStart にメッセージをパブリッシュし、Node-RED 側でそのメッセージを受け取って表示する、というシンプルな流れを試してみました。

まずは Node-RED 側を用意します。IBM Bluemix のボイラープレートを使って Node-RED 環境を構築し、Node-RED フローエディタを開き、IBMIOT (input)ノードと Debug (output)ノードを1つずつ配置して接続します:
2015111202


IBMIOT ノードの属性を以下のように指定します。今回は QuickStart 環境を使うので、"Authentication" には "QuickStart" を指定し、"Device Id" として、誰も思いつかないような適当な文字列(この例では "mydeviceid1234")を入力します:
2015111203


最後にこの状態で "Deploy" します。これで Node-RED 側の(つまり MQTT サブスクライバー側の=受け取り側の)準備は完了です。MQTT メッセージが送られてきさえすれば、そのメッセージ内容を表示できる準備が整いました。いつもながら Node-RED だと簡単です:
2015111204


次に MQTTLens 側を設定します。Chrome を起動して MQTTLens を開き(または上記のダウンロード URL からダウンロード後に「アプリを起動」ボタンをクリックし)ます:
2015111209


MQTTLens の初期画面が表示されたら、画面左上の "Connections" 横の+印をクリックします:
2015111205


"Connection Details" 画面が表示されたら、以下の赤枠の内容を指定します。"Connection name" は接続に付ける名称なので任意の文字列で構いません(図では "QuickStart")。"Hostname" には IBM IoT Foundation QuickStart サーバーを指定する必要があるので "quickstart.messaging.internetofthings.ibmcloud.com" を指定します。"Port" はデフォルト値の "1883" のままにします。"Client ID" には QuickStart 用のフォーマットである "d:quickstart:(任意の値):(Device Id)" を指定します。この中の (Device Id) の部分は、先程の Node-RED フローエディタの中で指定した Device Id の値(上記例では mydeviceid1234)と同じものを指定してください。最後に画面右下の "CREATE CONNECTION" ボタンをクリックして接続します:
2015111206


接続すると MQTTLens の画面が以下のように切り替わります(指定した "QuickStart" が "connected" な状態になっていることがわかります)。今回 MQTTLens は MQTT パブリッシャーとして使いたいので、"Publish" と書かれた下の部分を使います。まず "Topic" にはこれも QuickStart 用のフォーマットである "iot-2/evt/(任意の文字列)/fmt/json" と入力し、その下の "Message" に適当な文字列を入力します。最後に "Publish" ボタンをクリックして、このメッセージを QuickStart サーバーにパブリッシュします:
2015111207


正しくメッセージが送信されると、稼働中の Node-RED アプリケーションがこのメッセージを受け取り、Debug タブ内に Message で指定した内容が表示されるはずです:
2015111208


あっさり成功。MQTT パブリッシャー側のデバイスをブラックボックス化しての動作確認などには便利に使えそうで重宝しそうです。


IBM IoT Foundation が無料提供している Quickstart MQTT ブローカーを使ったアプリのサンプルを紹介します。今回紹介するのは IBM Bluemix各サービスの中で止まっているサービスがあったらそれを知らせる、という機能を Node-RED で作成するような内容にします。

このアプリを作成する上で必要なサービスの稼働状況確認は estado (エスタド)を使って調べます:
http://estado.ng.bluemix.net/  
(※この URL は北米データセンターのサービス状況確認用です。英国データセンター用は URL 内文字列の ng の代わりに eu-gb を指定してください)

2015092001


estado は Bluemix ランタイムやサービスの単位での稼働状況を教えてくれるサービスサイトです。問題なく稼働しているランタイム/サービスについては "up" と表示されますが、稼働が止まってたり、なんらかの障害を抱えていると判断されたサービスに関しては赤背景で "down" と表示されます。
2015092002


Bluemix の各機能の稼動状態は上記 URL にアクセスすることで確認することはできます。ただそれでは「上記サイトを見に行った人が稼働状況を確認できる」というだけです。情報そのものは便利なのですが、稼働ステータスをもっとインタラクティブにプッシュしたり、ユーザーフレンドリーな形で提供することを考えてみましょう。

具体的にはこのようなシステムを作ります。この図の緑の丸で描かれた「Java アプリ」部分を実装します:
2015092004


この Java(スタンドアロン)アプリケーションは定期的(この例では1分に1度)に北米データセンターの estado に HTTP GET リクエストを出して Bluemix サービスの稼動状態を確認します。確認した結果、停止中のサービスの一覧を IBM IoT Foundation の Quickstart MQTT ブローカー(quickstart.messaging.internetofthings.ibmcloud.com:1883)へランダムに生成した deviceId を指定して JSON でパブリッシュする、というものです。この時の deviceId はアプリケーション起動時に動的に作成し、コンソールへ出力します。英国データセンター用に作り変えたり、実行感覚を変更したい場合はソースコードの該当箇所を適宜変更してください。
 

estado を参照した結果は Quickstart MQTT ブローカーに格納されるので、パブリッシュ時と同じ deviceId を指定すれば MQTT サブスクライバーを使って取り出せます。特に IBM Bluemix 上の IoT Starter や NodeRED Starter ビルドパックからプロジェクトを作成した場合であれば、IBM IoT Input ノードを使えばこの deviceId だけで簡単にメッセージを取り出すことができるので、その結果をデバッグタブに出力したり、メールで通知したり、といった管理機能が簡単に実現できます。この辺りは Bluemix で NodeRED を使ったことがある方であれば、あまり難しくないと思っています。この辺りの詳しい説明はこちらのエントリを参照ください:
Bluemix の Node-RED サービスで IoT アプリを作る(1/2)


では話を Java アプリケーションの実装に戻します。今回は MQTT のオープンソース Java ライブラリである Paho と、Jakarta CommonsHTTP Client V3 を使ったサンプルを作成してみました。ソースコードのコンパイルや実行時には Paho の Java ライブラリ V3 の最新版(org.eclipse.paho.client.mqttv3-X.X.X.jar)が必要です。こちらからダウンロードしてください:
https://www.eclipse.org/paho/clients/java/


また HTTP Client の JAR ファイルも必要です。別途ダウンロードしておいてください。

なお、今回作成した Java アプリのソースコードは github で公開しました。必要であればこちらからダウンロードしておいてください:


公開したソースコードの内容は以下の様なものです:
import java.util.Calendar;
import java.util.TimeZone;

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.methods.GetMethod;
import org.eclipse.paho.client.mqttv3.IMqttDeliveryToken;
import org.eclipse.paho.client.mqttv3.MqttCallback;
import org.eclipse.paho.client.mqttv3.MqttClient;
import org.eclipse.paho.client.mqttv3.MqttConnectOptions;
import org.eclipse.paho.client.mqttv3.MqttDeliveryToken;
import org.eclipse.paho.client.mqttv3.MqttException;
import org.eclipse.paho.client.mqttv3.MqttMessage;
import org.eclipse.paho.client.mqttv3.MqttTopic;

public class EstadoQuickstart implements MqttCallback {
  MqttClient myClient;
  MqttConnectOptions connOpt;

  static final String BROKER_URL = "tcp://quickstart.messaging.internetofthings.ibmcloud.com:1883"; //. IBM IoT Quickstart MQTT ブローカー	
  static final String dc = "ng"; //. 監視対象データセンター

  static String deviceId = "net.bluemix." + dc + ".estado.mqtt.publish.";
  static int interval = 60;

  @Override
  public void connectionLost(Throwable t) {
  }

  @Override
  public void deliveryComplete(IMqttDeliveryToken token) {
  }

  @Override
  public void messageArrived(String topic, MqttMessage message) throws Exception {
    // TODO Auto-generated method stub
    System.out.println("-------------------------------------------------");
    System.out.println("| Topic:" + topic);
    System.out.println("| Message: " + new String(message.getPayload()));
    System.out.println("-------------------------------------------------");
  }

  public static void main(String[] args) {
    try{
      if( args.length >; 0 ){
        interval = Integer.parseInt( args[0] );
      }

//. ランダムな deviceId の生成 String hex = "0123456789abcdef"; for( int i = 0; i < 8; i ++ ){ char c = hex.charAt( ( int )( Math.floor( Math.random() * 16 ) ) ); deviceId += c; } }catch( Exception e ){ } EstadoQuickstart eq = new EstadoQuickstart(); eq.runClient(); } public void runClient() { // TODO Auto-generated method stub String clientID = "d:quickstart:MyDevice:" + deviceId; System.out.println( "deviceId=" + deviceId ); connOpt = new MqttConnectOptions(); connOpt.setCleanSession( true ); connOpt.setKeepAliveInterval( 30 ); // Connect to Broker try{ myClient = new MqttClient( BROKER_URL, clientID ); myClient.setCallback( this ); myClient.connect( connOpt ); }catch( MqttException e ){ e.printStackTrace(); System.exit( -1 ); } String myTopic = "iot-2/evt/estado_" + dc + "/fmt/json"; //. MQTT トピック文字列を生成 MqttTopic topic = myClient.getTopic( myTopic ); while( true ){ try{
//. 日付文字列の生成 Calendar c = Calendar.getInstance(); TimeZone tz = TimeZone.getTimeZone( "Asia/Tokyo" ); c.setTimeZone( tz );; int y = c.get( Calendar.YEAR ); int m = c.get( Calendar.MONTH ) + 1; int d = c.get( Calendar.DAY_OF_MONTH ); int h = c.get( Calendar.HOUR_OF_DAY ); int n = c.get( Calendar.MINUTE ); int s = c.get( Calendar.SECOND ); String dt = y + "/" + ( m < 10 ? "0" : "" ) + m + "/" + ( d < 10 ? "0" : "" ) + d + "T" + ( h < 10 ? "0" : "" ) + h + ":" + ( n < 10 ? "0" : "" ) + n + ":" + ( s < 10 ? "0" : "" ) + s + "+09:00";
//. estado の HTML を取得 String out = ""; HttpClient client = new HttpClient(); GetMethod get = new GetMethod( "http://estado." + dc + ".bluemix.net/" ); int sc = client.executeMethod( get ); String html = get.getResponseBodyAsString();

//. HTML 内部を見て、サービスのステータスを確認 int x = html.indexOf( "<table" ); while( x >; -1 ){ int td1 = html.indexOf( "<td>;", x + 1 ); int td2 = html.indexOf( "</td>;", td1 + 4 ); int td3 = html.indexOf( "<td>;", td2 + 1 ); int td4 = html.indexOf( "</td>;", td3 + 4 ); if( td1 >; -1 && td2 >; -1 && td3 >; -1 && td4 >; -1 ){ String name = html.substring( td1 + 4, td2 ); String svalue = html.substring( td3 + 4, td4 ); if( svalue.equals( "down" ) ){ //. 止まっているサービスを探す String line = "\"" + name + "\""; //. 止まっているサービスの配列を返す if( out.length() >; 0 ){ line = "," + line; } out += line; } x = td4; } x = html.indexOf( "<tr ", x + 1 ); } out = "{\"datetime\":\"" + dt + "\",\"error_services\":[" + out + "]}"; //. MQTT Publish int pubQoS = 0; MqttMessage message = new MqttMessage( out.getBytes() ); message.setQos( pubQoS ); message.setRetained( false ); // Publish the message MqttDeliveryToken token = null; try{ // publish message to broker token = topic.publish( message ); // Wait until the message has been delivered to the broker token.waitForCompletion(); Thread.sleep( 1000 ); //. パブリッシュ後、とりあえず1秒待つ }catch( Exception e ){ e.printStackTrace(); } //. 次の実行タイミングを待つ Calendar c0 = Calendar.getInstance(); int s0 = ( c0.get( Calendar.SECOND ) % interval ); int w = 1000 * ( interval - s0 ); Thread.sleep( w ); }catch( Exception e ){ } } } }



Paho の Java ライブラリとソースコード(EstadoQuickstart.java)をダウンロードしてコンパイル&実行します。実行が成功すると、コンソール画面には次のように Quickstart MQTT ブローカーにパブリッシュした際の deviceId が表示されます。そして Ctrl+C などで終了するまでの間は(デフォルト状態であれば)60秒おきに estado をチェックしてその結果をパブリッシュする、という処理を繰り返します:
2015092101
 

IBM Bluemix のユーザーであれば、この結果を簡単に取り出すことができます。Bluemix 上に IoT Foundation Starter または NodeRED Starter のボイラープレートアプリケーションを作成して NodeRED 環境にアクセスします。そして IBM IoT Input ノードを1つ作成して、ノードの属性値に "Quickstart" と DeviceId に上述の Java アプリ実行時にコンソールに表示された deviceId 値と同じものを指定します:
2015092102


そしてとりあえず debug ノードを追加して IBM IoT ノードと線で結んでデプロイするだけで、このノードに60秒おきに停止している Bluemix サービスの情報が送られてくるようになります。
2015092003


このサンプルでは以下のような JSON フォーマットでメッセージを取得します。後はこのメッセージを Node-RED 側でハンドリングしてメールで通知したり、データベースに格納する、といった処理を実装することになります:
{
 "datetime": "2015/09/19T22:53:00+09:00",
 "error_services": [
  "account-usage", "meteringbackgroundprocess", "meteringdatabase", "runtime-usage-calculator", "dotnet", "alchemy_api [Free]", ・・・(止まっているサービス名の配列)・・・
 ] 
}



というわけで、後はこの Java アプリをどこかのクラウド上か、または(24時間電源ONが保証できる)ローカル環境で稼働させておけば、MQTT にステータスを送り続けてくれる環境が出来上がるので、このような Node-RED アプリを作って動かすことも可能になる、ということになります。

MQTT はデバイスを意識して作成された軽量なプロトコルですが、必ずしもデバイスでしか使えない、というものでもありません。今回のようなサーバーの死活情報を扱ってはいけない、というものではないし、現に某有名ソーシャルサイトのメッセージング機能で使われていたりもします。何をパブリッシュして、どこからサブスクライブするか、そしてサブスクライブした情報をどう扱うか(Node-RED はここが簡単にできる、というサービスです)、が重要だと思っています。みなさんも色んなアイデアを是非形にしてみてください。同様のアルゴリズムが実装できれば Java 以外の言語でも実現できると思っていますので、興味のある方は是非移植にも挑戦してみてください。



 

IoT アプリ開発をする上で避けて通れないのが MQTT(Message Queuing Telemetry Transport) プロトコルです。デバイスやセンサーなどのマシン間接続(いわゆる "M2M")用に IBM を中心に提唱された軽量プロトコルで、Node-RED や IBM IoT Foundation Quickstart などでも使われています。

そして、この MQTT をアプリケーション実装する上で便利なライブラリPaho です。これも元々は IBM が開発したものをオープンソースとして Eclipse Foundation に寄贈し、現在は Eclipse プロジェクトの1つとして公開されています:

http://www.eclipse.org/paho/
paho_logo_400


この Paho ライブラリを使うことで MQTT の詳しいプロトコル仕様を理解することなく、MQTT アプリケーションを開発することが可能になります。プログラミング言語としても C/Java/Java Script/Python など、多くの言語に対応しており、PC やスマホ、組込機器など、多くのデバイスで利用することができるようになっています。

そして、この Paho の Java ライブラリを使って、実際に IBM IoT Foundation Quickstart の MQTT ブローカー( quickstart.messaging.internetofthings.ibmcloud.com:1883 )に接続して、MQTT パブリッシュ処理を行うサンプルを作ってみた時の様子をこちらで紹介しています:
QuickStart MQTT ブローカーに Java からパブリッシュする

QuickStart は IBM が公開している MQTT ブローカー(サーバー)で、認証なしであれば誰でも使うことができます。また上記リンク先でも紹介していますが、ここにパブリッシュされたメッセージは IBM BluemixNodeRED アプリケーションを使って簡単に取得したり、データベースに格納したり、データフローを定義することができるようになります。


IoT アプリ開発者にとって、この Paho は慣れておくことが必須のライブラリだと思いました。


Node-RED フローエディタの出現などもあって MQTT プロトコルに新たな可能性を感じています。

MQTT といえば「IoT のプロトコル」というイメージを持っている人もいると思います。必ずしも間違いではないと思っていますが、こんな軽量で便利なプロトコルを IoT のためだけに使うのはもったいないかな、、、とも感じるようになりました。それを実感するためにちょっとしたアプリを作ってみました、という内容です。


今回紹介するための例として選んだのが投資相場情報です。個人的にもたしなむ程度には投資をやってますが、デイトレードするようなタイプの投資家からすると、リアルタイムにより近い情報が提供されるのであれば有用なはずです。ただ IoT と投資を結びつけて考えることはあまりないですよね。でも IBM IoT Foundation や Node-RED と組み合わせて投資を考えるとどうなるでしょうか?

まず、ためしに外国為替の価格情報を表示するような、こんなウェブサービスを作ってみました:
http://fx.mybluemix.net/

↑上記 URL にアクセスすると、そのタイミングでの20種類の為替情報を JSON フォーマットで返してくれます。週末とかでない限り、為替相場は24時間変化し続けます。これ自体はごく一般的な REST のウェブサービスです。(ドメインを見ればわかりますが)これは Bluemix 上で動いていますが、このサービスがどこで動いているかは関係ありません:
2015090701


この仕組をこのまま(必要な時にこの URL にアクセスして取得する形で)使うこともできますが、MQTT を使うとプッシュのような仕組みを実現することもできるようになります。別途 MQTT パブリッシャーのアプリケーションを用意して、例えば1分おきに最新の為替状況を取り出して、MQTT ブローカーへパブリッシュする、という方法です。特にパブリッシュ先の MQTT ブローカーを IBM IoT Foundation の QuickStart(quickstart.messaging.internetofthings.ibmcloud.com:1883) に指定すると、Bluemix 上の Node-RED の QuickStart からも参照できるようになるので、Node-RED を使って簡単に為替情報を取り出すことができるようになります。また取り出したデータをデータベースに格納したり、取り出した数値を元にデータフローを記述して実行することは Node-RED の機能を使って簡単に実現することができるようになります:
2015090702


実際に QuickStart の MQTT ブローカーに対してメッセージをパブリッシュするアプリケーションを Java で開発する場合の詳細はこちらを参照ください:
QuickStart MQTT ブローカーに Java からパブリッシュする


今回のアプリでは ClientID(Node-RED の QuickStart で言うところの deviceId)に "net.mybluemix.fx.mqtt.publish" という文字列を指定して quickstart.messaging.internetofthings.ibmcloud.com:1883 にパブリッシュしています。なので、Node-RED 側でも同じ deviceId を指定すれば取り出せるようになる、というものです:
2015090703


実際にこのアプリを作って、ローカルホストで動かしてみました(MQTT パブリッシャーはローカルホストだろうが、プライベートネットワーク内だろうが、MQTT ブローカーに接続できる環境下であれば動きます)。同時に Bluemix 上の Node-RED では MQTT パブリッシャーと同じ deviceId を指定して QuickStart からデータを取り出してみます:
2015090704


とりあえずは普通に Debug アウトプットノードだけを足してデプロイすると・・・
2015090705


為替情報が(この例では)30秒おきに Debug タブに表示されるようになりました!期待通りに動いてます。
2015090706


この結果を WebSocket にも送るように改良してみます:
2015090707


WebSocket に送られてくるデータを視覚化するような HTML を用意するとこんな感じ。MQTT から送られてくる為替データを元にリアルタイム為替チャートが簡単にできちゃいました:
2015090708


後は為替を売買する(業者の)API があれば、これと組み合わせて実際に売買するシステムが作れちゃいそうです。もちろん為替である必要はなく、株式でも同様のデータが取得できて、同様の売買 API があれば同じような仕組みを作ることもできそうですね。

なお、WebSocket 経由で取得したデータの視覚化方法についてはこのページの情報を参考にしています。具体的には Google Visualization API を使っています:
Node-REDを使ってセンサーデータをWebSocketで出力する


MQTT はデバイスデータやセンサーデータを扱うだけでなく、色んな応用ができそうです。アイデア勝負の世界になりそうな感じですね。


(2015/Sep/11 追記)
この中で紹介している Quickstart MQTT ブローカーに為替情報をパブリッシュする Java アプリケーションのソースコードを GitHub で公開します:
https://github.com/dotnsf/FxQuickstart



このページのトップヘ