まだプログラマーですが何か?

プログラマーネタとアスリートネタ中心。たまに作成したウェブサービス関連の話も http://twitter.com/dotnsf

Linux ラブ!なプログラマーが陥った罠(おそらく多くの人が陥る罠)を紹介します。業務で Windows 機を使い、開発したアプリは Linux で上で動かす、という(よくある)環境で育ってきました。個人では Linux をデスクトップ用途でも使ってます。

なお、以下では全角文字で「¥(円)」と「\(バックスラッシュ)」を記述していますが、全て半角文字の時に起こる問題です。


そんな自分が Mac mini を支給され、Mac OS で Node.js の開発をしていた時です。「テキストファイルを読み取って、行ごとに分解(して何らかの処理を)する」という、珍しいとも思えない行分解プログラムをこんな感じで正規表現を使って書いてました:
const fs = require( 'fs' );
var text = fs.readFileSync( "xxxx.txt" );
var lines = text.split( /¥r¥n|¥r|¥n/ );     //. 改行コードがどうなっているのかわからないので、考えられる3通りで
console.log( "#lines = " + lines.length );  //. 試しに何行のデータだったのかを確認

これで改行コードが LF+CR でも LF でも CR でも、どのパターンのファイルでも split できるはず! と思っていたのですが、どんなファイルを試しても
  #lines = 1
と表示されてしまうのでした。"1" ということは1行、つまり分割ができておらず、元のデータがまるごと1つの配列要素になっただけ、ということ。

あれ? 正規表現の指定の仕方はこれじゃないかな?? ちょっと自信がなくなって、改行コードをオペレーティングシステムの設定値から取得するように変えてみたのですが、これでも結果は変わりません(そりゃそうだ、元のファイルの改行コードが OS の設定値になっている保証はない):
const fs = require( 'fs' );
const os = require( 'os' );
var text = fs.readFileSync( "xxxx.txt" );
//var lines = text.split( /¥r¥n|¥r|¥n/ );
var lines = text.split( os.EOL );           //. オペレーティングシステムの改行コードを指定
console.log( "#lines = " + lines.length );  //. 試しに何行のデータだったのかを確認

今まで普通にできていたことが急にできなくなって、ついに若年性ナントカの症状が・・とか不安になったのですが、このことを先人に相談したら一発で解決しました。
  「マックは¥(円マーク)と\(バックスラッシュ)のコードが違う」


え?、どういうこと?? 何言ってるのかよくわからないんですけど。。 

というわけで、歴史的にもややこしい経緯ごと振り返って紹介します。以下は表記上でわかりやすくするために全角で¥と\を書きますが、実際は半角文字だと思ってください。

昔々、国際規格においては(日本の通貨記号である)¥という文字はありませんでした。国際規格では\という文字がキー文字として定義されており、その文字コードは 0x5C でした。ここまでは何の問題もありません。

ここから話がややこしくなってくるのですが、この 0x5C というコードには国際規格的には\(バックスラッシュ)文字が定義された上で「各国が別の文字記号を割り当ててもよい」とされたのでした。そこで日本ではよく使われる¥(円)文字を割り当てました。つまり日本規格では¥というキー文字が定義されており、その文字コードはやはり 0x5C となりました。ここまでもあくまで割り当てルールの話なので、まあわからなくもないです。


そして時代は流れ、コンピュータが世の中に普及してくるにつれ、これまでの先進国だけでなく発展途上国でも使われるようになってきました。すると、これまでのコンピュータ文字体系の仕組みの中で新しい言語を更に追加して個別に扱うことに無理が生じてきました。そして「あらためて世界中の文字を単一体系で表現できるようにしよう」というユニコード(Unicode)の規格が生まれ、これが広まっていきました。このユニコードでは\(バックスラッシュ)と¥(円)も別の文字として区別して定義されました。基本的にはこの Unicode が現在も世界中で使われている規格です。


この新しい規格では¥と\がちゃんと区別されたのはいいのですが、これに移行するにあたってこれまでに日本語のファイルの中で "¥" として書かれた文字は、ユニコードでは "¥" とするべきなのか "/" とするべきなのか、という正解のない新しい問題が生じてしまいました。

この時に、内部的にシフト JIS というコードを採用していた当時のマイクロソフトの日本語版 Windows では Unicode 対応するにあたって「シフト JIS の日本語の¥は、Unicode では全て\として扱う。ただし表示では¥とする」という「見た目を変えない」ことを重視した解決策を取りました。つまり日本語版 Windows で¥のつもりで入力していたものは、実際には全て\でした。その表示上の見た目だけが(本来は異なる)¥になっていたのでした。見た目を変えない現実的な方法だったと思いますが、これがわかりにくい混乱の原因にもなったのでした。

一方、アップルの Mac OS X では元から Unicode 規格が採用されていました。つまり元から¥と\は区別されていました。日本語版のキーボード右上の¥キーを表示されるものは、あくまで¥であり、Option キーと一緒に¥キーを押して表示されるものが\でした(つまり Mac OS X では \ を出す方がややこしい)。


僕自身はこの段階でも「この違いって普通に使ってて問題にならないの?」と感じたのですが、実際はあまり大きな問題にはなっていないようです。マイクロソフトの「見た目を¥にして、内部的に\を使う」という解決策がいかに現実的なものだったかということだと思いますし、なにより自分がいままで¥のつもりで入力していた文字が実は(内部的には)\だった、ということを知りませんでした。知らなくてもどうにかなっていた、という事実の説得力がとても大きく感じられます。


これで¥と\をめぐる歴史的な問題は解決されました。めでたし、めでたし・・・ というわけにはいかない問題が残ってました。日本語でも英語でもない、プログラミング言語が関わった場合の話です。


多くのプログラミング言語においてはバックスラッシュはタブや改行などの目に見えない制御文字を定義する時に使うなど、特殊な意味を持つ記号とされています。この特殊記号が日本のコンピュータ規格では(バックスラッシュではなく、同じコードを共有する)¥とされていました。例えばタブ記号は国際規格的には "\t"(バックスラッシュ+t) ですが、同じものが日本では "¥t" と表示されていたのでした。見た目は異なりますが、元々\と¥は 0x5C という同じコードを共有していたので「要するに同じ文字」で、この段階では日本においては ¥ イコール \ と思っておけばまあ問題ない、とされていました。事実自分も「この2つは同じもので、使うシステムやフォントによって表示時の見た目が変わる」程度に理解していました。

ところが厳密に Unicode が使われるようになると話が変わってきます。例えば画面上で "¥t" と表示されている文字の内部コードは、タブを意味する「バックスラッシュ+t」のことなのか、「円記号+t(こちらは特別な意味のない2文字)」のことなのかが、使っている機種によって違ってくる、という事態が起こってしまいました。例えば Windows を使っている人が書いた "¥t" という文字列(正確には「画面上で "¥t" と表示されている文字列」)と、Mac OS を使っている人が書いた "¥t" という文字列は内部的には別のものになる、ということになります。


で、冒頭の話です。自分はもともと Windows を使っていて(Linux を使う時も Windows のターミナルアプリから使っていて)、その感覚で改行コードは「¥r¥nと¥rと¥nの3種類を考えればいい」と判断して、
var lines = text.split( /¥r¥n|¥r|¥n/ );  //. 本当は全部半角

という、改行制御を行う特殊記号を指定した正規表現の書き方にしました。でもこれは Mac OS では特殊記号を指定する時には¥ではなく\を使って、
var lines = text.split( /\r\n|\r|\n/ );  //. 本当は全部半角

のように書くのが正解だったのでした。要するに慣用的に「¥と\は一緒」と思ってしまうと、この落とし穴に気付くことができず、見て写したり、コピペしたりした結果動かなくなる、という症状に悩まされることになるのでした。

プログラミング以外にも、文字コードで一致を探す検索の機能などでも意識する必要があると思うのですが、裏を返すとプログラミングとかしない人にとっては特に¥と\の違いを意識する必要もなく Mac も Windows も使えているわけで、すごい歴史の一端を垣間見る経験でした。


この週末に猛威を振るった(振るう?)ランサムウェア "WannaCry" 。影響範囲が大きく、公式なサポートが終了した Windows XP/Vista 向けにも対策パッチが提供される事態になりました。サポートが終了しているとはいえ、使われていることは事実だし、その状態で使われた結果(被害者ではなく)加害者側になってしまう可能性があることで例外的に対策パッチが提供される判断に至ったのだと思います:
http://thehackernews.com/2017/05/wannacry-ransomware-windows.html


私自身は Windows XP/Vista を普段使っているわけではないのですが、仮想デスクトップ環境として「冷凍保存」しています。まあ懐古趣味みたいなものです(ちなみに Windows 2000 や OS/2、 PC-DOS 環境も冷凍保存してますw)。この環境を一時的に解凍してパッチを適用してみたので、その手順を紹介します。

まず Windows XP を起動し、Windows Update を実行・・・してもサポートが終了しているので何もできません。そりゃそうだ。 今回のパッチを XP や Vista で適用するには Microsoft Update カタログから OS 毎のパッチを直接ダウンロードして実行する、という手順を取る必要があります。

というわけで、XP で InternetExplorer を起動し、Microsoft Update カタログ(catalog.update.microsoft.com)にアクセスし、今回の対策対象である "MS17-010" を検索します:
2017051401


すると OS 毎の検索結果が見つかってリスト表示されます:
2017051402


今回は Windows XP 用のパッチが目的なので、"Windows XP" と書かれたものを探して「追加」します(僕が確認した時の日付は 2017/05/13 でした):
2017051403


で、これをダウンロードして実行してパッチを適用します:
2017051404


最後に再起動して適用完了、です。



(参考)
世界中で感染が拡大中のランサムウェアに悪用されているMicrosoft製品の脆弱性対策について(IPA プレスリリース)
マイクロソフト セキュリティ情報 MS17-010
ランサムウェア WannaCrypt 攻撃に関するお客様ガイダンス(Microsoft TechNet)




 

このブログでも紹介させていただいたのですが、最近「手書きイラストから『いらすとや』のイラストを検索するアプリ」を作りました:
手書きイラストで「いらすとや」のイラストを検索する




この時の技術を応用して、「ツイッターに手書きイラストを添付してつぶやく」ことができる「イラツイ」というアプリを作って、UI/UX とかまだ全然ダメダメですがとりあえず動くようになったのと、自分が使っていて面白かった(大事)ので公開してみました:
http://iratwi.mybluemix.net/


PC のブラウザからも(マウスやタッチパッドで)使えるつもりですが、一応スマホブラウザからの利用を想定して画面を最適化しています。PC やスマホのウェブブラウザで上記の URL (http://iratwi.mybluemix.net/) にアクセスすると、こんな↓画面になります。画面左上の "t" マークをクリックして、ご自身の Twitter ID でログインしてください:
IMG_0745


↓こんな感じの画面になったら(左上が自分の Twitter アイコンになったら)ログイン成功です。画面は「イラツイ」と「一覧」という2つのタブから構成されています。デフォルトの「イラツイ」でキャンバス(画面中央の白い部分)にマウスや指などでイラストを手書きしてください。線の色や太さはキャンバスの上から選択できます:
IMG_0746


例えば試しにこんな感じのを書いてみました。このイラストをツイートするには画面下部の "Tweet" をクリックします:
IMG_0742


するとツイートメッセージを入力する画面が表示されます。ここに適当にメッセージを入力して、「ツイート」ボタンで投稿します:
IMG_0743



「一覧」タブに切り替えると、自分のツイートした内容が新しい順に表示されます。先程ツイートしたスマホのも無事投稿できたようです(この画面をもう少し有効活用したいなあ、とは思ってます):
IMG_0744


実際のツイッタークライアントからも投稿されていることが確認できます:
2017051401


と、まあこんなシンプルな感じです。小さな集まりの中で画力対決みたいな企画を開く際にも(ハッシュタグを統一しておけば)簡単に集計できるし、意外と使えるかな、、と評価しています。自分自身は「絵心ないエンジニア」ですが、落書きは嫌いじゃないので、意外と楽しんで使えそうです(自信作の「宇宙選択ヤマト」です):
2017051400


今回はツイッタークライアントとして作りましたが、実用面を考慮すると LINE とかのほうが使われる機会多そうかなあ、とか、インスタとはユーザー層が違いそうだなあ、、とか考えてます。 まだ「とりあえず動く」レベルで公開しただけなので、使っていただける皆さんからの要望などあればいただきたいです。


このページのトップヘ