IBM Bluemix が提供するデータサービスの１つに "Data Connect" があります：
このサービスは DB2, Oracle, dashDB, MySQL, cloudant, ・・・など、異なるデータベースサーバー間でのデータマイグレーションを実現するものです。マイグレーション元とマイグレーション先を定義し、相互システム間の型変換などを考慮してデータを扱い、（必要であれば）マイグレーションの実行スケジュールを指定することでデータのマイグレーション処理をその場で行ったり自動化したりする、というサービスです。更に必要に応じて Secure Gateway サービスを併用することで、クラウド上に公開されたデータベースだけでなく、オンプレミスデータベースを対象にすることも可能です。
今回は Data Connect の紹介例として、社内システムで運用中の MySQL データベースが存在していると仮定し、このデータベースの一部の内容（people テーブルの内容）を統計処理するために、クラウド上の dashDB に週に一度追加マイグレーションしたい、という要望があるものとして、この要望を実現するための設定を紹介します：
こういった処理は JDBC などを使ってプログラミングすることも可能ですが、作成したアプリケーションを自動的に定期実行したり、同様のアプリケーションを作る際の流用性が少なかったりします。 そのような要望を一元的に管理・実現するためのサービスが Data Connect です：
例えば上記のようなケースであれば、
(1) （マイグレーション元とマイグレーション先の２つの）データベースへの接続を定義し、
(2) データセット（マイグレーション元）を定義し、
(3) セータセットとマイグレーション先の２つの結びつきを定義し、
(4) マイグレーションの実行タイミングを定義して実行
することになります。 以下ではそれぞれの手順を実際の画面を使って紹介します。
まず IBM Bluemix で Data Connect サービスインスタンスを作成し、そのサービスインスタンスの画面を開くと、このように表示されます。画面内の "LAUNCH" ボタンをクリックすることで Data Connect サービスのダッシュボード画面に移動します：
Data Connect のダッシュボード画面です。左上の "Data Connect" という箇所をクリックすると、いつでもこの画面に戻ってこれます：
まずは上記 (1) の（マイグレーション元とマイグレーション先の）２つのデータベースへの接続方法を定義します。左メニューで "Connections" を選択します。現在は何も定義されていないので、画面には何も表示されないはずです。では画面右上の "Create Now" をクリックします：
接続データベースの種類を選択する画面です。今回のケースではまずマイグレーション元となる MySQL の定義をするため、"MySQL" を選択します：
次に MySQL の詳細情報を入力します。接続名、説明（オプション）、ホスト名、ポート番号、データベース名、Secure Gateway の利用有無、そしてユーザー名／パスワードを入力し、最後に右上の "Create Connection" をクリックします：
（おまけ）
なお、もし対象とするデータベースサーバーがプライベートネットワーク環境内にある等、インターネットから直接参照できないような場合は、Bluemix の Secure Gateway サービスを併用します。Secure Gateway サービスがプライベートネットワーク環境とのセキュアなトンネリングを実現し、このトンネルを経由してプライベートネットワーク環境のデータベースを対象とすることができるようになります。なお Bluemix の Secure Gateway の利用手順については別途紹介したエントリがあるのでこちらを参照ください：
Secure Gateway サービスを利用する場合の Connection 定義は以下のようにして行います。"Use a secure gateway" にチェックを入れ、設定済みの Secure Gateway 接続名を選択します。その上でデータベースサーバーのホスト名（IPアドレス）やポート番号は、プライベートネットワーク内でのものを指定します：
なお、この Secure Gateway を使ってプライベートネットワーク内のデータベースに接続する場合ですが、データベース側はゲートウェイクライアント（または同一ネットワーク）から指定したユーザー名とパスワードで外部接続できるような設定をあらかじめ行っておく必要がある点に注意してください。例えばあるユーザーに同一ネットワーク（192.168.0.*）からの参照アクセスを許可する場合であれば以下のような MySQL コマンドを実行することになります：
このコマンドの後でないと（外部からの接続ができないため）上記の接続定義が作成できないはずです。設定変更後に再度接続定義を行ってください。
（おまけ終わり）
接続定義の作成に成功すると１つ前の画面に戻り、いま作成した MySQL データベースへの接続情報アイコンが追加されていることが確認できるはずです。では続けてもう１つの（マイグレーション先の）接続情報を定義するため再度 "Create New" をクリックします：
再び接続先データベースの種類を選択する画面です。今回は IBM dashDB に接続するので、"IBM dashDB" を選択します：
データベースの種類によって入力する詳細項目が異なります。接続先が IBM dashDB の場合は接続名、説明（オプション）、ホスト名、データベース名、Secure Gateway の利用有無、そしてユーザー名／パスワードを入力し、最後に "Create Connection" をクリックします：
先程の画面に戻り、今度は dashDB の接続情報アイコンが追加されたことが確認できるはずです。今回はこの２つの接続情報だけで充分ですが、マイグレーションで対象とする接続先の数だけこの作業を繰り返します（または後から追加します）：
次に (2) のマイグレーション元となるデータセットを定義します。今回は MySQL データベース内の people というテーブルの情報を dashDB にマイグレーションすることが目的なので、データセットは MySQL 内の people テーブルということになります。
このテーブルをデータセットとして定義するため、Data Connect ダッシュボードの左メニューから "Data Sets" を選択します。ここでも定義済みのデータセットがまだ存在していないので何も表示されません。では画面右上の "New Data Set" をクリックします：
定義済みの接続情報名が（下画面では２つ）表示されます。今回は MySQL データベース内のデータを取り出したいので、MySQL の接続情報名を選択します：
次にこのデータベース接続で対象とするデータベース名を指定します。今回は１つしか定義していないので、ただ１つ表示されるデータベースを選択しますが、複数ある場合は対象のものを選択します：
次に対象となるテーブルやビューを選択します。今回は people テーブルを対象としたいので、"people" を選択します：
必要であれば、このテーブルから取り出す列をカスタマイズします。全ての列を取り出す場合はデフォルトのまま全てにチェックを入れてください。最後に画面右上の "Publish Data Set" をクリック：
すると１つ前の画面に戻り、データセット一覧に今作成した people テーブルが追加されたことが確認できます。これで (2) の作業も完了しました：
続いて (3) データの結びつきと (4) マイグレーションスケジュールを定義します。今回の例では MySQL データベースの people データセットを dashDB データベースにマイグレーションしたいので、この関係を定義します。
改めてダッシュボード画面の左メニューから "Activities" を選択します。ここに定義済みのアクティビティ一覧が表示されますが、この時点ではまだ何も表示されていません。画面右上の "Create New" で新たに１つ追加します：
アクティビティではまずマイグレーション元を指定します。今回は最初に作成した people データセットをマイグレーション元とするので、"Data Sets" を選択します：
Data Sets 一覧から people を選択（１つしかないけど）します。全ての列にチェックが入っていることを確認して、次にマイグレーション先を指定するため画面右上の "Copy to Target" をクリックします：
マイグレーション先は dashDB のデータベースなので、"Connections" の dashDB の接続情報名を選択し、マイグレーション先となるデータベーススキーマを指定します：
people テーブルをマイグレーションするのですが、このデータベースが指定したスキーマに存在していない場合はどのようにマイグレーションするかを選択します。下図では "Recreate the table"（テーブルごと作り直してマイグレーションする）を選択しています。これで定義自体は完了で、必要に応じてこのアクティビティ定義に名前を指定することもできます（画面左上から編集できます）。 そしてこの定義を保存（Save）するか、そのまま実行（Run）することもできますが、今回は更に実行スケジュールを指定します。画面右上の "Schedule Activity" をクリックします：
カレンダーが表示されます。このマイグレーションアクティビティを実行する日付を指定します：
次に実行時刻（指定日の何時に実行するのか）を指定します。１回だけ実行するのであればこのまま "APPLY" をクリックしてもいいのですが、定期的に繰り返して実行する場合は "Schedule this activity to repeat" を選択します：
引き続いて繰り返しの条件を指定します。下図の例では毎日（Daily & Every 1 day）実行して、終了日を指定せず（Never）に定義しています。繰り返し条件が確定したら "APPLY" をクリックします：
指定した実行スケジュール（の直近のもの）が画面右側に表示されます。内容を確認して画面右上の "Done" をクリックします：
１つ前の画面に戻り、いま定義したアクティビティが追加されたことが確認できます。このアクティビティの内容を確認したり、内容を変更する場合はこのアクティビティを選択します：
この画面からアクティビティそのものを編集したり、スケジュールを変更したり、或いはスケジュールに関係なく一度実行したりすることができます：
このアクティビティが実行されると、元の（MySQL の）データが dashDB へマイグレーションされます。ちなみにこちらが両者のテーブル内をプレビューした様子です（前者が MySQL 、後者が dashDB）：
↑MySQL
↑dashDB
マイグレーションの定義とスケジューリングができ、正しく動いていることが確認できました。今回のケースであれば、いわゆるトランザクション用途で使っていた MySQL のデータを、統計処理目的で dashDB に移したかったわけですが、それが簡単に実現できたことになります。
このような異なるデータベース間のデータマイグレーションは、まあパターンが１つ程度であればプログラミングで可能になるかもしれませんが、何種類ものデータベースを対象としたり、順序などが複雑に絡み合っていたり、その実行スケジュールを考慮したりすると、システマチックに済ませたくなります。そんなケースで手軽にマイグレーションが行える Data Connect はかなり便利だと感じました。
このサービスは DB2, Oracle, dashDB, MySQL, cloudant, ・・・など、異なるデータベースサーバー間でのデータマイグレーションを実現するものです。マイグレーション元とマイグレーション先を定義し、相互システム間の型変換などを考慮してデータを扱い、（必要であれば）マイグレーションの実行スケジュールを指定することでデータのマイグレーション処理をその場で行ったり自動化したりする、というサービスです。更に必要に応じて Secure Gateway サービスを併用することで、クラウド上に公開されたデータベースだけでなく、オンプレミスデータベースを対象にすることも可能です。
今回は Data Connect の紹介例として、社内システムで運用中の MySQL データベースが存在していると仮定し、このデータベースの一部の内容（people テーブルの内容）を統計処理するために、クラウド上の dashDB に週に一度追加マイグレーションしたい、という要望があるものとして、この要望を実現するための設定を紹介します：
こういった処理は JDBC などを使ってプログラミングすることも可能ですが、作成したアプリケーションを自動的に定期実行したり、同様のアプリケーションを作る際の流用性が少なかったりします。 そのような要望を一元的に管理・実現するためのサービスが Data Connect です：
例えば上記のようなケースであれば、
(1) （マイグレーション元とマイグレーション先の２つの）データベースへの接続を定義し、
(2) データセット（マイグレーション元）を定義し、
(3) セータセットとマイグレーション先の２つの結びつきを定義し、
(4) マイグレーションの実行タイミングを定義して実行
することになります。 以下ではそれぞれの手順を実際の画面を使って紹介します。
まず IBM Bluemix で Data Connect サービスインスタンスを作成し、そのサービスインスタンスの画面を開くと、このように表示されます。画面内の "LAUNCH" ボタンをクリックすることで Data Connect サービスのダッシュボード画面に移動します：
Data Connect のダッシュボード画面です。左上の "Data Connect" という箇所をクリックすると、いつでもこの画面に戻ってこれます：
まずは上記 (1) の（マイグレーション元とマイグレーション先の）２つのデータベースへの接続方法を定義します。左メニューで "Connections" を選択します。現在は何も定義されていないので、画面には何も表示されないはずです。では画面右上の "Create Now" をクリックします：
接続データベースの種類を選択する画面です。今回のケースではまずマイグレーション元となる MySQL の定義をするため、"MySQL" を選択します：
次に MySQL の詳細情報を入力します。接続名、説明（オプション）、ホスト名、ポート番号、データベース名、Secure Gateway の利用有無、そしてユーザー名／パスワードを入力し、最後に右上の "Create Connection" をクリックします：
（おまけ）
なお、もし対象とするデータベースサーバーがプライベートネットワーク環境内にある等、インターネットから直接参照できないような場合は、Bluemix の Secure Gateway サービスを併用します。Secure Gateway サービスがプライベートネットワーク環境とのセキュアなトンネリングを実現し、このトンネルを経由してプライベートネットワーク環境のデータベースを対象とすることができるようになります。なお Bluemix の Secure Gateway の利用手順については別途紹介したエントリがあるのでこちらを参照ください：
Secure Gateway サービスを利用する場合の Connection 定義は以下のようにして行います。"Use a secure gateway" にチェックを入れ、設定済みの Secure Gateway 接続名を選択します。その上でデータベースサーバーのホスト名（IPアドレス）やポート番号は、プライベートネットワーク内でのものを指定します：
なお、この Secure Gateway を使ってプライベートネットワーク内のデータベースに接続する場合ですが、データベース側はゲートウェイクライアント（または同一ネットワーク）から指定したユーザー名とパスワードで外部接続できるような設定をあらかじめ行っておく必要がある点に注意してください。例えばあるユーザーに同一ネットワーク（192.168.0.*）からの参照アクセスを許可する場合であれば以下のような MySQL コマンドを実行することになります：
> grant select on （データベース名）.* to （ユーザー名）@"192.168.0.%" identified by '（パスワード）';
このコマンドの後でないと（外部からの接続ができないため）上記の接続定義が作成できないはずです。設定変更後に再度接続定義を行ってください。
（おまけ終わり）
接続定義の作成に成功すると１つ前の画面に戻り、いま作成した MySQL データベースへの接続情報アイコンが追加されていることが確認できるはずです。では続けてもう１つの（マイグレーション先の）接続情報を定義するため再度 "Create New" をクリックします：
再び接続先データベースの種類を選択する画面です。今回は IBM dashDB に接続するので、"IBM dashDB" を選択します：
データベースの種類によって入力する詳細項目が異なります。接続先が IBM dashDB の場合は接続名、説明（オプション）、ホスト名、データベース名、Secure Gateway の利用有無、そしてユーザー名／パスワードを入力し、最後に "Create Connection" をクリックします：
先程の画面に戻り、今度は dashDB の接続情報アイコンが追加されたことが確認できるはずです。今回はこの２つの接続情報だけで充分ですが、マイグレーションで対象とする接続先の数だけこの作業を繰り返します（または後から追加します）：
次に (2) のマイグレーション元となるデータセットを定義します。今回は MySQL データベース内の people というテーブルの情報を dashDB にマイグレーションすることが目的なので、データセットは MySQL 内の people テーブルということになります。
このテーブルをデータセットとして定義するため、Data Connect ダッシュボードの左メニューから "Data Sets" を選択します。ここでも定義済みのデータセットがまだ存在していないので何も表示されません。では画面右上の "New Data Set" をクリックします：
定義済みの接続情報名が（下画面では２つ）表示されます。今回は MySQL データベース内のデータを取り出したいので、MySQL の接続情報名を選択します：
次にこのデータベース接続で対象とするデータベース名を指定します。今回は１つしか定義していないので、ただ１つ表示されるデータベースを選択しますが、複数ある場合は対象のものを選択します：
次に対象となるテーブルやビューを選択します。今回は people テーブルを対象としたいので、"people" を選択します：
必要であれば、このテーブルから取り出す列をカスタマイズします。全ての列を取り出す場合はデフォルトのまま全てにチェックを入れてください。最後に画面右上の "Publish Data Set" をクリック：
すると１つ前の画面に戻り、データセット一覧に今作成した people テーブルが追加されたことが確認できます。これで (2) の作業も完了しました：
続いて (3) データの結びつきと (4) マイグレーションスケジュールを定義します。今回の例では MySQL データベースの people データセットを dashDB データベースにマイグレーションしたいので、この関係を定義します。
改めてダッシュボード画面の左メニューから "Activities" を選択します。ここに定義済みのアクティビティ一覧が表示されますが、この時点ではまだ何も表示されていません。画面右上の "Create New" で新たに１つ追加します：
アクティビティではまずマイグレーション元を指定します。今回は最初に作成した people データセットをマイグレーション元とするので、"Data Sets" を選択します：
Data Sets 一覧から people を選択（１つしかないけど）します。全ての列にチェックが入っていることを確認して、次にマイグレーション先を指定するため画面右上の "Copy to Target" をクリックします：
マイグレーション先は dashDB のデータベースなので、"Connections" の dashDB の接続情報名を選択し、マイグレーション先となるデータベーススキーマを指定します：
people テーブルをマイグレーションするのですが、このデータベースが指定したスキーマに存在していない場合はどのようにマイグレーションするかを選択します。下図では "Recreate the table"（テーブルごと作り直してマイグレーションする）を選択しています。これで定義自体は完了で、必要に応じてこのアクティビティ定義に名前を指定することもできます（画面左上から編集できます）。 そしてこの定義を保存（Save）するか、そのまま実行（Run）することもできますが、今回は更に実行スケジュールを指定します。画面右上の "Schedule Activity" をクリックします：
カレンダーが表示されます。このマイグレーションアクティビティを実行する日付を指定します：
次に実行時刻（指定日の何時に実行するのか）を指定します。１回だけ実行するのであればこのまま "APPLY" をクリックしてもいいのですが、定期的に繰り返して実行する場合は "Schedule this activity to repeat" を選択します：
引き続いて繰り返しの条件を指定します。下図の例では毎日（Daily & Every 1 day）実行して、終了日を指定せず（Never）に定義しています。繰り返し条件が確定したら "APPLY" をクリックします：
指定した実行スケジュール（の直近のもの）が画面右側に表示されます。内容を確認して画面右上の "Done" をクリックします：
１つ前の画面に戻り、いま定義したアクティビティが追加されたことが確認できます。このアクティビティの内容を確認したり、内容を変更する場合はこのアクティビティを選択します：
この画面からアクティビティそのものを編集したり、スケジュールを変更したり、或いはスケジュールに関係なく一度実行したりすることができます：
このアクティビティが実行されると、元の（MySQL の）データが dashDB へマイグレーションされます。ちなみにこちらが両者のテーブル内をプレビューした様子です（前者が MySQL 、後者が dashDB）：
↑MySQL
↑dashDB
マイグレーションの定義とスケジューリングができ、正しく動いていることが確認できました。今回のケースであれば、いわゆるトランザクション用途で使っていた MySQL のデータを、統計処理目的で dashDB に移したかったわけですが、それが簡単に実現できたことになります。
このような異なるデータベース間のデータマイグレーションは、まあパターンが１つ程度であればプログラミングで可能になるかもしれませんが、何種類ものデータベースを対象としたり、順序などが複雑に絡み合っていたり、その実行スケジュールを考慮したりすると、システマチックに済ませたくなります。そんなケースで手軽にマイグレーションが行える Data Connect はかなり便利だと感じました。
コメント