まだプログラマーですが何か?

プログラマーネタとアスリートネタ中心。たまに作成したウェブサービス関連の話も http://twitter.com/dotnsf

IBM 版の CloudFoundry である BlueMix を使ってみました。ペースとしては CloudFoundry の PaaS ですが、標準で用意されたアプリケーションサーバーや各種サービスに IBM ベースのものも使える、というもの。なので例えば Java アプリケーションサーバーとしての WebSphere Application Server Liberty Core (と思われるモノ)が選択するだけで使えるようになっています。DB サーバーには IBM DB2 も用意されていますが、MySQLmongoDBRedis といったオープンソース/コミュニティ系DBサーバーを選択することもできます。これら以外にも電話/SMS連携サービスである Twilio も連携サービスとして利用できるようになっているなど、無料で使えるサービスという意味でもアプリケーション開発者としてなかなか興味を惹かれるものがあります。なお "BlueMix" は現在ベータバージョンとしての公開であり、名称もコードネームのようです(今後変更の可能性もあります)。
 

BlueMix を使うには IBM ID および BlueMix のユーザー登録が必要です。IBM ID の新規取得方法についてはこちら(PDF)を参照ください。既に IBM ID を持っている場合、BlueMix のトップページより、"Join us in beta" と書かれたボタンをクリックします:
2014032501

取得済みの IBM ID とパスワードでログインします:
2014032502


IBM ID のメールアドレスにアクセスコードの書かれたメールが届きます。その内容を 300 秒以内にこの画面に入力して Submit します:
2014032503


BlueMix に興味を持った理由を簡潔に記述し、また利用条件に対して "I Accept" を選択して Submit します:
2014032504


この画面が出れば申し込みは完了です。BlueMix が利用可能になるまでしばらく待ちます:
2014032505


審査が滞りなく進んで、BlueMix の利用が可能になると IBM ID のメールアドレスにその旨の通知が届きます。これで BlueMix にログインできるようになりました:
2014032500



ログインができるようになった段階で改めて BlueMix のホームページにアクセスし、右上の "LOGIN" をクリックし、IBM ID とパスワードでログインします:
2014032506


今度はこのような画面になりました。これが BlueMix のダッシュボードページです。この画面から現在の利用アプリケーションサーバーやサービスの状態を確認したり、アプリケーションサーバーやサービスの追加、その紐付け等を行うことができます:
2014032507


今はまだアプリケーションサーバーもサービスも何も動いていません。とりあえずアプリケーションサーバーを1つ追加してみましょう※。

※実は後述のコマンドラインツールを使ってデプロイと同時に直接アプリケーションサーバーを作ってしまうことも可能ですが、このダッシュボードの使い方にも慣れておく必要があるのでここで作成します。

"Add an application" をクリックします: 
2014032508


アプリケーションサーバー(やサービス)として選択可能な一覧が表示されます。現時点では Liberty for Java や Node.js、 Ruby on Rails、Ruby Sinatora が選択できるようになっています。好きなものを選んでいいのですが、ここでは個人的に得意な Java アプリケーションサーバーを使いたいので "Liberty for Java" を選択してみます:
2014032509


選択したアプリケーションサーバーの説明と確認が表示されます。ここで "CREATE APP" をクリックしてアプリケーションサーバーを作成します:
2014032510


作成する Java アプリケーションサーバーの情報を入力します。といってもここで必要な情報はアプリケーションの名前とそのホスト名(***.ng.bluemix.net の *** 部分を指定)だけです。試しにこんな感じで入力してみましたがおそらくどちらも一意の名称である必要があると思います(なので早い者勝ち)。アプリケーション名をベースにホスト名が作られるようですが、後からホスト名だけを編集することも可能です。最後に "CREATE" をクリックします:
2014032511


2014/03/26 訂正
ホスト名は全ユーザー内で一意の必要があるが、アプリケーション名はユーザーごとに一意であればよい、とのことでした。



ダッシュボード画面に戻ります。これだけで Java アプリケーションサーバーが出来て、ダッシュボード画面に追加されています。作成直後はまだ稼働状態にはなっていませんが、しばらく待つとこの Java アプリケーションサーバーが起動し、有効な状態になります:
2014032512


有効な状態になるとこんな画面になります。この段階で(ホスト名である) kkimura1.ng.bluemix.net が公開され、アクセス可能な状態になっています:
2014032513


試しにこの段階でウェブブラウザを使ってアプリケーションサーバーにアクセスするとこんな感じの画面が表示されます。デフォルトでは環境変数の一覧が表示されるようになっている模様です:
2014032514


ではこの Java アプリケーションサーバーに自分で作った Java アプリケーション(warファイル)をデプロイしてみましょう。

現状、BlueMix サーバーとの対話はすべて専用の(というか CloudFoundry 用の)コマンドラインツール("cf")を使って行います。ということでまずは "cf" を入手する必要があります。cf のダウンロードページへ行き、少し下へスクロールすると各種プラットフォーム向けのインストーラバイナリがそろっているので、ここから自分の環境に合った cf インストーラをダウンロード&インストールします。
2014032515


cf コマンドを実行して、コマンドラインヘルプが表示されればインストールは成功です:
2014032516


最初に cf の環境設定を行う必要があります。アクセス先を BlueMix API に設定し、かつログイン情報(IBM ID とパスワード)を設定します。ちなみに入力しているのはピンクの文字部分で、(IBM ID) には IBM ID を、(パスワード)にはパスワードを指定しています:
# cf login -a https://api.ng.bluemix.net -u (IBM ID) -p (パスワード)
API endpoint: https://api.ng.bluemix.net
Authenticating...
OK

API endpoint: https://api.ng.bluemix.net (API version: 2.0.0)
User:         (IBM ID)
Org:          (IBM ID)
Space:        dev

#

これでデプロイ前の準備は完了しました。では実際にサンプルの Java アプリケーションを先ほど作成した kkimura1 アプリケーションサーバーにデプロイしてみます。今回はテスト用に(DBサーバーなどを使わずに)単独で動作する helloworld.war ファイルを使って試してみます。ご自身でデプロイしてみたい WAR ファイルがあればそれを使っていただいても構いません。もし手元にいいのがなくて、紹介するのと同じサンプルでよければこちらからダウンロード可能です: helloworld.war

↑名前から想像できると思いますが、ただの "HelloWorld" 表示アプリです。ブラウザが日本語仕様だと「こんにちは」になる程度の制御はしてますが・・・ BlueMix 用に作ったものではなく、普通のオンプレミス環境や EC2 などクラウド上に Tomcat などが導入されていれば使える、標準的な WAR ファイルです。

カレントディレクトリに helloworld.war が存在している状態で以下のコマンドを実行します。push コマンドに続いてアプリケーション名(kkimura1)、そして -p オプションで war ファイルを指定します:
# cf push kkimura1 -p helloworld.war
Creating app kkimura1 in org (IBM ID) / space dev as (IBM ID)...
OK

Creating route kkimura1.ng.bluemix.net...
OK

Binding kkimura1.ng.bluemix.net to kimura1...
OK

Uploading kkimura1...
Uploading from: /tmp/helloworld.war
2.4K, 6 files
OK

Starting app kkimura1 in org (IBM ID) / space dev as (IBM ID)...
-----> Downloaded app package (4.0K)
OK
-----> Downloading IBM 1.7.0 JRE from http://file.w3.bluemix.net/buildpack/jre/ibm-java-jre-7.0-6.0-linux-x86_64-small-footprint-uncompressed-jar-20140116.tar.gz (0.0s)
       Expanding JRE to .java (2.0s)
Downloading from /icap/jazz_build/build/Core_Managed/build.image/output/wlp/com.ibm.ws.liberty-8.5.5.1-201402080619.tar.gz ... (0.0s).
Installing archive ... (1.3s).
-----> Uploading droplet (92M)

0 of 1 instances running, 1 starting
0 of 1 instances running, 1 starting
0 of 1 instances running, 1 starting
0 of 1 instances running, 1 starting
1 of 1 instances running

App started

Showing health and status for app kkimura1 in org (IBM ID) / space dev as (IBM ID)...
OK

requested state: started
instances: 1/1
usage: 1G x 1 instances
urls: kkimura1.ng.bluemix.net

     state     since                    cpu    memory        disk
#0   running   2014-03-25 01:43:51 PM   0.0%   74.3M of 1G   182.5M of 1G


余談ですが、この出力結果の中に Uploading droplet (92M) とありますね。helloworld.war 自体は数キロバイトなので、共通環境というか、Java アプリ用の前提環境がほとんどだと思います。一回のデプロイで 100Mbyte 近いアップロードがされるのだとしたら容量制限のあるモバイルテザリング環境で何度も試すには厳しいかも。。


さてデプロイできました。この状態で再度 http://kkimura1.ng.bluemix.net にアクセスすると、先ほどまでの環境変数一覧とは変わって、helloworld.war のアプリケーションが稼働している状態になっているのが確認できます:
2014032517


今回用意した helloworld.war は DB も使わないごくごくシンプルな Java アプリケーションではありますが、普通のオンプレミス環境や Amazon EC2 などの一般的な IaaS 環境で動作する WAR ファイルです。それを1バイトも変更することなく、WAR ファイルのまま PaaS 環境にデプロイできる、というのはなかなかよくできているなあ、と感じました。
 
とはいえ、現実には DB を使った場合はどうやって接続するのか? どこを変えないといけないのか? IaaS 用の WAR ファイルパッケージとどこまで互換性を持たせたまま利用できるのか? 何ができて何ができないのか? といった疑問/問題もあります。その辺りをこのブログで引き続きレビューしていければ、と思っています。
 

まずはこの2つのスクリーンショットを見比べてください:

(スクリーンショット1)
2014031401

(スクリーンショット2)
2014031402


どちらもアマゾンのウェブページを同じ Chrome ブラウザで見ている時に取得したものです。全般的に似たような内容ですが、パッと見で「同じではない」ことはわかりますよね。

でもどちらも全く同じページ(同じURL)を指しています。どちらのページもアマゾンのトップページから "ThinkPad" を検索した時の結果ページです。PC 用とモバイル用、というわけでもなさそうですよね。 ではこの違いはなんでしょう?



・・・答は User-Agent の違いでした。(1)は普通の Windows 向け Chrome 標準の User-Agent でアマゾン内を検索したものですが、(2)は Google のクローリングボットの User-Agent(Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)) に偽装してから検索したものです。
2014031403

ここからわかることはおそらくアマゾンはGoogle のクローリングボットが来た時用の、なんらかの手を加えて結果を返すようにしている、ということです。そしてそれはおそらく SEO 対策であろう、と推測されます。

普通に人間がウェブページを見る時に見やすい〈求める)情報と、SEO 対策を重視した画面が同じとは限りません。SEO 的に有利なページを作りたい一方で、ユーザーにはパーソナライズやレコメンドを表示するなど使い勝手を損ないたくもない。そのためにはこのような表示出し分けの対策をしている、ということだと思います。

ちなみに (1) の HTML は約80Kバイト、(2) は約110Kバイトでした。SEO 対策済み(?)のサイトの方が3割程度情報量が多いと考えるべきなのか、人間向けのサイトの方が情報をまとめていると考えるべきなのか。


詳しい内容を調べたわけではないのですが、とりあえずこの2つのページの大きな違いとして、(1) は Shift_JIS 、(2) は UTF-8 で記述されていました。まあ根本的に違うエンジンが使われていると考えるべきでしょうね・・・



UNIX 系システムには cron(d) と呼ばれるジョブの実行デーモンが存在しています。簡単にいえば「指定した日時や時刻に特定のコマンドを実行させる仕組み」です。「毎日午前1時にデータベースのバックアップコマンドを実行する」とか、「1時間おきに特定のスクリプトを実行する」とか、そういうものです。バックアップや集計目的のジョブを自動実行させようとすると cron を使うことになると思います。

例えばですが、毎日午前0時になったら /usr/local/bin/xxx.sh を実行したい、という場合は以下の1行を /etc/crontab に加えます:
0 0 * * * /usr/local/bin/xxx.sh

最初の5要素は実行タイミングです。1つ目が分、2つ目は時、3つ目は日、4つ目は月、5つ目が曜日を指定します。上記例では分に0、時に0が指定されているので「毎日午前零時」を指定していることになります。そして6番目の要素が実行させるジョブです。 というわけで上記の1行は毎日午前0時になったら /usr/local/bin/xxx.sh を実行する、という指定をしていることになるわけです。この程度ならシンプルで分かりやすいですよね。


で、今回やりたかったことはこんな内容でした:
(1) 毎日午前零時になったら、
(2) あるディレクトリ(/usr/tmp/logs/)に移動して
(3) php backuplog.php YYYYMMDD 形式のジョブを実行する
(4) 上記の YYYYMMDD は前日を示す日付文字列

要は backuplog.php という、ログのバックアップを行うような PHP スクリプトが /usr/tmp/logs/ に用意されていて、それを自動実行したいのですが、パラメータとして前日の日付文字列を付けたい(前日分のログをバックアップしたいので、その日付をパラメータで渡す)ということです。例えば今日の日付が 20140314 だとしたら、20140313 という文字列を指定して実行したい、ということです。まあ、この要件自体はさほど珍しくはないかな、と。敢えて付けくわえると、ログファイルの場所の関係もあって、直接 /usr/tmp/logs/backuplog.php を実行するのではなく、最初に /usr/tmp/logs にカレントディレクトリを移してから実行したい、という点が要件にあります。まあ、でも、これも珍しい要件とは言えないのかな・・・

ただ実現できるまで結構ハマりました。いくつか隠れた落とし穴があるんです。この要件を実現する crontab の記述内容をすぐ&正確に言える人ってどのくらいいるんだろ・・・



要件のうち、問題になりそうなところを1つずつ解決していきましょう。まず毎日午前零時になったら、は上記で説明しているので問題ないです。

次にカレントディレクトリを移動してからコマンドを実行する、という点。端末上だと cd /usr/tmp/logs と php backuplog.php YYYYMMDD という2つのコマンドを実行することになるのですが、それをどのように1行で記述するか、という問題です。 ただ、これも実は答はシンプルで単に「;(セミコロン)で区切って記述するだけ」です(端末上でもこの書き方で連続実行ができます)。なので crontab の6つ目の要素は cd /usr/tmp/logs;php backuplog.php YYYYMMDD という書き方になります。

さて、ここからがちょっと難しくなります。前日を示す文字列パラメータをどうやって作成すればよいでしょう? これは date コマンドを使うことになります。UNIX の date コマンドはそのまま実行すると日付時刻を表示するのですが、パラメータによって対象日やフォーマットを変更することができます。まず普通に実行するとこんな感じに表示されます:
# date
2014年  3月 14日 金曜日 04:53:43 UTC

このフォーマットを YYYYMMDD 形式に変えるには + オプションで形式を指定します:
# date +%Y%m%d
20140314

いい感じですね、でもこれは今日の日付です。では「前日」をどのようにすればいいでしょうか? こちらは --date オプションで指定することができるようです:
# date --date '1 day ago' +%Y%m%d
20140313

目的の文字列が取得できました! 後はこの結果をコマンドのパラメータとして渡せればいいので、上記コマンドを `(バッククォート)で括ってこんな感じにすると、目的のコマンドが完成したことになります。試しにコマンドラインから実行すると期待通りの結果が得られます:
# php backuplog.php `date --date '1 day ago' +%Y%m%d`


ということは、全てあわせて crontab に追加する内容はこれでいい、ということに・・・
 0 0 * * * cd /usr/tmp/logs;php backuplog.php `date --date '1 day ago' +%Y%m%d`

・・・実はこれ、(惜しいけど)まだ間違ってます。crontab では % という文字にはエスケープが必要になるのでした。最終的な正解はこちらです:
 0 0 * * * cd /usr/tmp/logs;php backuplog.php `date --date '1 day ago' +"\%Y\%m\%d"`

スケジュールエージェントはデバッグが難しい・・・


 

このページのトップヘ