まだプログラマーですが何か?

プログラマーネタ中心。たまに作成したウェブサービス関連の話も https://twitter.com/dotnsf

2015/11

IDC フロンティア様が運営する IDCF クラウドが(今の形になって)1周年を迎えました。おめでとうございます!
IDCF クラウド1周年記念キャンペーン!
2015112700


私自身は(当時はノアクラウドとか呼ばれてたと思うけど・・・まだ残ってるよね?)以前から IDC フロンティア様のクラウド利用させていただいていたので「1周年」という感覚はあまりないのですが、代名詞※にもなった「ワンコイン(=月額500円)」でありながら一級品のネットワークバックボーンを備えたこの IDCF クラウドが個人のウェブサービス運用では手放せないくらい便利で、使わせていただいています。

「500円 クラウド」で検索すると、広告を抜いたトップは IDCF クラウドになってます。

なお、以前に私が別クラウドを使っていて、IDCF クラウドに乗り換えた時の様子は当時のブログエントリにしているので、そちらも参照ください:
IDCFクラウドに乗り換えました


で、この「ワンコイン」のインスタンスは、IDCF クラウド的には light.S1 と呼ばれるマシンタイプのものです。スペックは 0.8GHz の vCPU 1つ、メモリ 1GB(ここまで200円/月)、ディスク 15GB(300円/月)、これをCentOS などの無料 OS で運用すると 200 + 300 = 500円/月 というものです:
2015112701
2015112702


実際にインターネットに公開するサービスを作ろうとすると、パブリック IP アドレスが必要になります。パブリック IP アドレスは1つに付き 500円/月 ですが、アカウントに対して最初の1つ目(ソースアドレス)は無料で提供されます。なので1インスタンス月額500円運用が可能になります:
2015112703


さて、では2台目のインスタンスを同じスペックで作るとどうでしょう。インスタンス自体は 500円/月ですが、2つ目以降のパブリック IP アドレスは 500 円/月です。つまり2台目以降は1台につき 1000 円/月かかる、ということになります。。。

月500円くらいケチケチすんな! という声が聞こえてきそうですが、でも割合で言えば 500 か 1000 かは倍違います。3台目、4台目となった時にそれなりの差が出てきてしまいます。また IDCF 以外でも IP アドレス付きで1インスタンス500円前後で提供している所はあるので、比較した際に価格的な差も生じてしまいます。

そんな理由で愛する IDCF クラウドが不利になるのは納得できない!

というわけで、2台目以降の light.S1 インスタンスを 500 円で使ってみました(IDC フロンティア様が期待しているのはそういう使い方じゃないかも・・・)。

まずサーバー用途でなく、クローラー用途など、「外部からアクセスして利用するわけではない用途」のインスタンスであれば、そもそもパブリック IP アドレスを付与する必要はありません(あると直接ログインできて何かと便利だけど)。外部に公開する IP アドレスが不要な使い方であれば、プライベート IP アドレスだけで運用すれば月額 500 円です。

次にサーバー用途の場合、こちらが本題です。端的に言えば「ポートフォワーディングでなんとかする」という考え方です。2つ目以降のパブリック IP アドレスに料金がかかるならそこは使わず、1つ目の IP アドレスをうまい具合に流用して2台目以降のインスタンスでも使っちゃおう、というやり方です。多くの人にとっては今更感のある方法かもしれませんが、貴重な無料クーポンを効率よく使う IDCF といえばワンコインクラウド、を実践するための知恵です。

具体的にはこんな感じです。まず現状、light.S1 の仮想マシンが2台あるとします:
2015112704


この2台をそれぞれこんな感じで使えるようにしたい、とします:
1台目(dotnsf-neppico)2台目(dotnsf-misc)
目的接続ポート番号目的接続ポート番号
SSH22SSH10022
HTTP80HTTP1880
MySQL3306MQTT1883


要は1台目は一般的な LAMP サーバーで MySQL まで外部に公開。SSH もデフォルトの 22 番ポートで公開する、というものにします。一方2台目はちょっと目的が異なり、流行りの Node-RED 環境を用意しようとしています。外部に公開するポートは Node-RED サーバーのデフォルトである 1880 と、MQTT ブローカーの 1883、そしてこのサーバーにも SSH でアクセスできるようにしたいのですが、デフォルトの 22 番ポートだと1台目の SSH と衝突してしまうので、2台目の SSH には 10022 番を割り当てるものとしています。

実際には2台目のマシンで MySQL を動かして公開したり、1台目のマシンに別の HTTP を動かしたりすることもできますが、いずれのケースでもポート番号だけは衝突しないようにする必要があります(そしてその結果、デフォルト設定とは違う値を設定する必要が出てきます)。

この内容を IP アドレスの設定に反映させます。まずはファイアウォールの設定で開ける必要のある全ポート番号(上記例では 22(ssh), 80(http), 1880(http), 1883(mqtt), 3306(mysql), 10022(ssh) の6つ)を通すよう設定しておきます:
2015112705


次にポートフォワードの設定です。先程ファイアウォール設定で開けた各ポート毎に振り分け先を指定してあげます。その際、パブリックポートには開けたポート番号を、プライベートポートには実際に動いているポート番号を指定します。多くの場合は同じ数字(実際に動いているポート番号)を指定しますが、今回の例だと2台目の SSH だけは実際には 22 番ポートで動いている SSH に、ファイアウォールで開けた 10022 番ポートから繋がるよう設定する必要があります。そのため、パブリックポートを 10022 に、プライベートポートを 22 に指定しています:
2015112706


これで1つのパブリック IP アドレスを2台のマシンで共有する形で割り振ることができました。なお、実際に2台目のマシンに SSH でログインする場合は、ポート番号に 10022 を指定して接続する必要があります(デフォルトの 22 番だと1台目のマシンに繋がります):
2015112707


これで「2台目以降も 500 円の IDCF クラウド」になりました。

これからも遠慮無く使わせていただきます。よろしくおねがいします。

CentOS デスクトップ計画に不可欠な要素として、やはり動画視聴があります。CentOS で動画を観るには Totem というメディアプレイヤーアプリがあるのですが、これをそのまま入れても非対応のコーデックが多く(例えばそのまま普通に導入すると MP4 や WMV は観れない)、色々不便です。

というわけで「デコーダーも入れて MP4 なども見れる Totem の導入方法」を紹介します。

まず、既に Totem を導入済みの場合は手順の途中で衝突が生じてしまって邪魔なので、一度 Totem を削除しておきます:
# yum remove totem

改めて Totem を導入するのですが、今回は RPMforge の YUM リポジトリを使います。というわけで、まずは RPMforge の GPG キーを導入します:
# cd /tmp
# wget http://dag.wieers.com/rpm/packages/RPM-GPG-KEY.dag.txt
# rpm --import RPM-GPG-KEY.dag.txt

次に RPMforge の yum.repo ファイルを用意します。vi などで /etc/yum.repos.d/rpmforge.repo ファイルを新規に以下の内容で作成して保存します:
# vi /etc/yum.repos.d/rpmforge.repo

[rpmforge]
name=RPMforge RPM repository for Red Hat Enterprise Linux
baseurl=http://ftp.riken.jp/Linux/dag/redhat/el6/en/$basearch/rpmforge/
gpgcheck=1
enabled=0

これで RPMforge リポジトリが使えるようになったので、RPMforge リポジトリからデコーダーなどをまとめてインストールします:
# yum --enablerepo=rpmforge install gstreamer gstreamer-plugins-good gstreamer-plugins-bad gstreamer-plugins-ugly gstreamer-ffmpeg libdvdread libdvdnav lsdvd

最後に RPMforge リポジトリから Totem をインストール:
# yum -y install --enablerepo=rpmforge totem

これで CentOS の GNOME デスクトップの「サウンドとビデオ」メニューから「動画プレイヤー」という名前で Totem がインストールされました:

2015111801


試しに MP4 ファイルを指定して開いても問題なく観れます:
2015111801


これで動画視聴についても CentOS で出来ない理由はなくなりました!

IBM が9月に買収した StrongLoop は、Node.jsExpress フレームワークへのコントリビューションの多く、IBM の Node.js による API 開発の中核的な役割になっていくものと思われます。例えば、以下の Watson API リファレンスのサイトは StrongLoop を使って提供されています:
http://www.ibm.com/smarterplanet/us/en/ibmwatson/developercloud/apis/

この StrongLoop (と、前提としての Node.js)そのものは無料で提供されているので、誰でも自分の環境にインストールして使うことができます。 というわけで、CentOS に(Node.js と)StrongLoop をインストールして使ってみました。


StrongLoop は npm で提供されています。なので、まずは Node.js と npm を yum でインストールします:
# yum install epel-release
# yum install nodejs npm --enablerepo=epel

Node.js と npm がインストールできたら、npm を使って LoopBack と StrongLoop をインストールします:
# npm install -g loopback
# npm install -g strongloop

このインストールにはそれなりに時間がかかりますが、作業としてはこれだけで StrongLoop がインストールできます!


では実際に StrongLoop を使ってデータベースのモデルを作り、その CRUD の REST API を公開してみましょう。 まずは空のディレクトリ(下の例では ~/tmp)を作ってそこに移動します:
# cd
# mkdir tmp
# cd tmp

このディレクトリに loopback 環境を作成します:
# slc loopback
2015111001


アプリケーションの名前と、そのアプリケーションの作成ディレクトリを聞かれます。ここでは両方とも myapp と指定しました:
2015111002


すると必要なモジュールのインストールを含めた作業が始まり、完了すると myapp というディレクトリが作られます:
2015111003


出来上がった myapp ディレクトリに移動して、モデルの定義を行います。以下のコマンドを入力します:
# cd myapp
# slc loopback:model

ここからは API で CRUD を行うモデルとして、以下の様な item モデルを定義することにしましょう:
列名列型必須条件
namestringYES
codestringYES
pricenumber 


実際にはこの定義に加え、自動的に id という列が定義されます。では最初に myapp アプリ内に item モデルを作成し、これらの3つの列を順に定義していきます。まず model name は "item" を入力します。次に data-source は、今回はデフォルトのメモリ DB を使うので "db (memory)" を選びます。またこのモデルは永続性(persistant)を有効にしたいので、その Base class には "PersistedModel" を指定してします。またこの item は REST API で公開したいので Expose するかどうかの質問には Yes を選択。この item モデルの複数形名にカスタムな名称を使うわけではない(普通に items とする)ので、Custom plural form の質問は空のままで Enter を押します。そしてこのモデルは common モデルにするので "common" を選択します:
2015111004


次に各列を順に定義します。最初は name 列を定義します。名前には "name" を指定し、その type には "string" を、そして必須かどうかの属性は必須なので "Y" を入力します:
2015111005


続けて "code" 列を定義します。同様にして名前には "code"、type には "string"、そして必須属性を "Y" で指定します:
2015111006


最後に "price" 列を定義します。名前には "price"、type には "number" 、必須属性を "N" で指定します:
2015111007


これで全ての列を指定し終わったので、最後に名前欄を空欄にして Enter を押します。これでモデルの定義が完了です:
2015111008


ここまでの作業ができたら、カレントディレクトリで node.js を起動します:
# node .

すると、デフォルトでは 3000 番ポートで node.js が待受る形で起動します:
2015111001


この状態で表示されているアドレス(http://(strongloopをインストールしたホスト名):3000/explorer)にブラウザでアクセスしてみると、作成した myapp アプリケーション内に定義されている API の一覧が表示され、その中には item モデルについても含まれているはずです:
2015111002


item と書かれた箇所をクリックすると展開され、この item モデル向けに用意されている API の一覧が表示されます。特に何もしなくても item モデルの定義をしただけで一通りの CRUD 操作ができるような API が準備されていることがわかります:
2015111003


用意された API はこの画面から実際に動かして試してみることもできます。例えば一番上にある /items への GET を実行してみましょう。このエントリの /items を書かれた箇所をクリックして開くと、この GET リクエスト API に関する情報が表示されます:
2015111101


この画面内の "Try it out" と書かれたボタンをクリックすると実際に API を発行することができます。実際にクリックすると curl で実行されたコマンドや実際にリクエストされた API の URL などが確認できます。また Response Body には実行結果が表示されます。この例では実行結果は [] と、空の配列になっているので、実行しても何も得られなかった、ということになります(今はまだ中身がないのでこれで正しい実行結果です):
2015111102


では実際に item レコードを作ってみましょう。レコードを作成するには POST リクエストを実行することになるので、/items への POST エントリを開き、Parameters 欄の data の部分に以下のようなフォーマットの JSON データを入力して "Try it out!" ボタンをクリックします( "id" は自動割り振りされるので、指定してあってもいなくても構いません。また実際に指定するデータは適当で構いません):
{
  "name": "アディゼロ匠 B22875",
  "code": "4055339759613",
  "price": 12050,
  "id": 0
}

2015111103


問題なく処理が成功すると、以下の様な結果が得られます。Response Code が 200 になっていれば成功を意味しており、Response Body には以下の様な JSON が返されます("id" の値として 0 を指定していましたが、自動割り振りされた結果の 1 が付与されています)。このデータが正しく追加された、ということになります:
{
  "name": "アディゼロ匠 B22875",
  "code": "4055339759613",
  "price": 12050,
  "id": 1
}

2015111104


データが正しく追加されたので、改めて再度 /items の GET を実行すると、今度は Response Body の結果は [] ではなく、先程入力したデータが含まれた配列になっているはずです。モデルを定義しただけで自動生成された CRUD の API が( /items の GET と POST だけですが)正しく動いていることが確認できました:
2015111105


RDB のテーブルに相当するレコードを定義すれば、(コードを書くこともなく)即 CRUD API が用意される、という意味では便利です。


いずれはモニタリングやトレーシングなどもできる StrongLoop Arc についても勉強して、ここで紹介するつもりです。



久しぶりに Twitter API キーやアクセストークンを新規に取得しようとしたら、それまで知っていた手順と違っていたので、改めて書き残しておきます。

まず以下のサイトへ行きます。ログインしていない場合は右上に "Sign in" というリンクが表示されるので、そこからログインします:
Twitter Application Management


Twitter Application Management サイトにログインすると、自分が過去に作った Twitter アプリの一覧が表示されます(まだ作ったことがない場合は何も表示されないはずです)。新たに API キーを取得するには新しいアプリを1つ定義します。画面右上の "Create New App" と書かれたボタンをクリックします:
2015111101


新規に作成するアプリケーションの概要を入力します。このうち "Name" はアプリケーションの名称ですが、全半角スペースを含むことができません。また、既に誰かが使っている名称を使うこともできません。1語の単語の形でユニークな名称を指定してください。"Description" はアプリケーションの説明文ですが、空にはできません。"WebSite" はアプリケーションのウェブサイト URL でこれも必須ですが、Streaming API などウェブサイトの存在しないアプリを作る場合もあると思います。ここは http://127.0.0.1 で始まるような名前を指定しても動作には支障なさそうでした。Callback URL は OAuth のコールバック先ですが、必須ではありません:
2015111102


全て入力したら下にスクロールして、Developer Agreement を確認し、内容に同意できる場合は "Yes, I agree" にチェックを入れて、最後に "Create you Twitter application" ボタンをクリックします:
2015111103


指定したアプリケーションの API キーが作成されます。API キーを確認するには、"Keys and Access Tokens" タブを開くと、その中に API Key や API Secret などが表示されているはずです:
2015111104


一方、アクセストークンはこの段階ではまだ作成されていないはずです。アクセストークンが必要な場合はこのページを下にスクロールして、まだ作成されていないことを確認した上で "Create my access token" ボタンをクリックします:
2015111101


処理が成功すると同ページの内容が書き換わり、アクセストークンとアクセストークンシークレットが確認できるようになります:
2015111102



以前の方法だと、最初は https://dev.twitter.com/ からスタートしたような記憶があるんだけど、今はそこからだと API Key 取得ページへのリンクが見当たらないんだよな、、変わったのかな?


話題の分散演算環境である Apache Spark を1台の CentOS 6 に導入する手順を紹介します。今回紹介する内容はプレビルド版を使った方法なので、おそらく CentOS の他バージョンや、RHEL, Ubuntu といった他の Linux ディストリビューションでもほぼ同様の方法で導入できると思います。また分散環境で Spark をインストールするのが本来の使い方だと理解した上で、ここではシェルなどを自由に気軽に試せる環境を作りたいので、1台の CentOS を使う、という方法を紹介します。


Apache Spark は Java VM 上で動きます。なので前提として、Java のランタイム環境が必要です。 まだ導入されていない場合はあらかじめ Java を導入しておいてください。CentOS で OpenJDK 1.7.0 を使う場合であれば、このコマンドで導入できます:
# yum install java-1.7.0-openjdk

Java の導入までできてしまえば後はどの Linux ディストリビューションでも動くと思います。次に Apache Spark 本体をダウンロードします。このブログエントリを書いている時点での最新版は 1.5.2 なので、このバージョンのビルド済みバイナリを入手して、/opt/spark 以下に展開します:
# cd /tmp
# wget https://archive.apache.org/dist/spark/spark-1.5.2/spark-1.5.2-bin-cdh4.tgz
# cd /opt
# tar xzvf /tmp/spark-1.5.2-bin-cdh4.tgz
# mv spark-1.5.2-bin-cdh4 spark

これでインストール完了です。動作確認の意味で Spark-Shell と呼ばれるシェルインターフェースを起動してみましょう:
# cd /opt/spark/bin
# ./spark-shell
2015111001


"Spark" と書かれたそれっぽい画面がバージョン名とともに表示され、各種ライブラリのロードが行われます(Spark context が sc という変数で使える、というメッセージも表示されています)。Spark-Shell のロードが完了すると、 "scala>" というプロンプトが表示されます:

2015111002


では Spark の機能を使って Spark の README.md ファイルの文字数を カウントしてみます。README.md ファイルは Spark ディレクトリ(今回の例では /opt/spark/)の直下にあるので、sc 変数を使って以下のようにプロンプトに入力します。
scala> sc.textFile( "/opt/spark/README.md" ).count()

すると Spark の機能で指定したファイルが読み込まれ、その文字数(以下の例では 98)がカウントされて表示されます:

2015111003


正しく動作していることが確認できました。exit と入力すると、Spark-Shell を終了します。

IBM Bluemix でも Apache Spark を使う機会があると思うのですが、自分の手元に1個インスタンスがあると色々試せて便利ですよね。この後もちょっとした応用的なブログを書くつもりなので、それらはこのインスタンスを使って書いていこうと思ってます。


このページのトップヘ