まだプログラマーですが何か?

プログラマーネタ中心。たまに作成したウェブサービス関連の話も https://twitter.com/dotnsf

我ながら分かりにくいタイトルになってしまいましたが、やりたいことはこういうことです:

データベースに Postgres を使っているケースで、テーブルのある bigint 列にそのレコードの作成日時が記録されているものとします(これ自体はそこまで珍しくないと思っています):
create table items( id varchar(50) primary key, name varchar(100), created bigint );

上の例では items テーブルの "created" 列が bigint 型で定義されていて、このレコードが作成された日時の(ミリ秒単位の)タイムスタンプ値が格納されているものとします。

そしてこの items テーブルに格納されているレコードから、created の値が(例えば)1月17日のものだけを取り出す、というクエリーを実行するにはどのような SQL にすればよいか、という命題です。

要は facebook の思い出(過去のこの日)機能のような「何年か前の今日と同じ日付に作成したデータ」を取り出したくなることがあるのです。年や時分秒は違ってもいいので、月と日だけが一致している過去のデータを取り出したい、というケースです。日付が文字列で記録されていれば部分一致検索すればいいだけなので難しくはないと思いますが、これを bigint 型のタイムスタンプで格納されている中で実現するにはどのような SQL を実行すればよいか? というのがやりたいことでした。

で、その方法です。PostgreSQL には to_char() という組み込み関数が存在していて、この関数を使うと(PostgreSQL の)タイムスタンプ値をフォーマットを指定した文字列に変換することができます。また to_timestamp() という組み込み関数もあり、こちらは bigint などの値を(PostgreSQL の)timestamp 型に変換してくれます。

この2つの関数を併用して、例えば、
select id, name, created from items where to_char( to_timestamp( created / 1000 ), 'MM-DD' ) = '01-17' order by created desc

のように実行すると、
  • まずミリ秒単位の created が created / 1000 によって( timestamp 型と同じ)秒単位になり、
  •  to_timestamp( created / 1000 ) によってタイプスタンプ型に変換され、更に、
  •  to_char( to_timestamp( created / 1000 ), 'MM-DD' ) によってタイムスタンプ値が '月-日' というフォーマットの文字列に変換される
といった一連の処理が実行されます(上の SQL 例では、その結果が '01-17' となるレコードの id と name と created を、 created の新しい順に取り出す、という処理をしています)。


さらにおまけを。上の SQL は正しく実行できるのですが、タイムスタンプ値は UTC 時間で計算されるので、このままだと「UTC 時間で1月17日」のデータを取り出すことになります。

これを「日本時間で1月17日」のデータを取り出す場合は9時間のオフセットを考慮して、
select id, name, created from items where to_char( to_timestamp( created / 1000 ) + 9 * 3600, 'MM-DD' ) = '01-17' order by created desc

のように実行することで実現できます。後はこの "9" の部分をプログラムで動的に取得するとか、外部からパラメータ指定できるようにすれば色々なロケールでの過去の同じ月日のデータを取り出すことができる、ということになります。


自作アプリに思い出機能を実装しようとする時に役立つ情報・・・だと思ってます。


RHEL(RedHat Enterprise Linux) を「インターネットから隔離された状態で」使う、というのが本ブログエントリのテーマです。セキュリティ要件など何らかの事情があってインターネットに接続することが許されていない環境下で RHEL を使う、という場合の設定手順を紹介します。

これ、CentOS だと特に意識することもなく、インストール用の DVD などを用意して普通にインストールできるし、(インターネットに接続できない不便さはあっても)そのまま使い続けることもできます。ただ同じことを RHEL でやろうとするとうまくいかないことがあって、それを回避するにはどうすればよいか、を自分なりに調べた内容のアウトプットです。


【RHEL と CentOS との違い】
まず RHEL は CentOS と同じように使えないのでしょうか? その違いは何で、どのような影響があるのでしょうか?

今回のテーマとしてとりあげる問題はサブスクリプションマネージャー(subscription-manager)にあります。RHEL は CentOS とは異なり、サブスクリプションがないと使えません。サブスクリプションは有償のものであったり、開発者向けに無償で提供されているものもありますが、なんらかの登録を行い、その登録情報をインストール中に入力することで使えるようになります(下画面ではインストール中に表示される「Red Hat に接続」という部分で正しいサブスクリプション情報を入力しないと先に進めません。つまりこの時点ではインターネット接続が必要です):
2024010701

2024010702


なお一部のクラウドベンダーでは初めから RHEL がインストールされたイメージを使うことができますが、この場合もサブスクプションを無視して使えているわけではなく、特殊なサブスクリプションが適用された状態になっています(RHEL のサブスクリプション料金がクラウドの料金に含まれているはずです)。サブスクリプションマネージャーはこのサブスクリプション情報を管理するシステムを提供しています。


【サブスクリプションマネージャーが管理しているもの】
このサブスクリプションマネージャーが管理しているものの1つが「yum(dnf) のリポジトリ」です。例えば RHEL の場合、RedHat が提供しているツール類に加えて ansible など RHEL のサブスクリプションを所有している前提で使うことのできるツールが提供されていて、その利用のためのリポジトリ情報(yum などでインストールするためにサーバー情報や鍵情報)がサブスクリプションマネージャーによって管理されています。サブスクリプションマネージャーが yum リポジトリを管理していることで(インターネットに繋がっている RHEL や、特定のクラウド環境内で使っている RHEL は)RHEL 向けに提供されているツールを使うことができる、という仕組みになっています。そしてその仕組みを管理しているのがサブスクリプションマネージャーということになります。


【サブスクリプションマネージャーが有効な場合に不都合となるケース】
そしてこの適用されているサブスクリプション情報は、インストール後の利用時にも影響を与え続けることになります。たとえネットワークインターフェースを無効にするなどしてインターネットに(物理的/論理的に)繋がっていない状況を作り出したとしても、サブスクリプション情報はシステムに残り続けます。

これが「インターネットに接続していない環境」だと不都合な問題が発生します。以下、具体的な画面(VirtualBox 内にインストールした RHEL 9.3 の画面)を交えて紹介します。

まず RHEL 9.3 をインストールします。上述のようにサブスクリプション情報を入力/認証する必要があるため、初期セットアップ時にはインターネット接続が必要です。この時点では VirtualBox 側のネットワーク設定でアダプター割り当てを「NAT」にしていました:
2024010801


この状態で(インターネット接続がある状態で) "yum repolist" を実行して現在有効な yum のリポジトリを確認すると2つのリポジトリが有効に登録されていました。そして "yum install tmux"(tmux というツールをインストールする際のコマンド)を実行すると登録されているリポジトリから必要なモジュールを探し、「インストールしますか?」と聞かれるところまで実行できました("n" を押してインストールをキャンセルします)。期待通りの挙動になっています:
2024010802


この状態からネットワークを無効にします。今回は VirtualBox 側の割り当て設定を「未割当」にしました。RHEL 側からはネットワークアダプターそのものは認識できるが、DHCP などで IP アドレスが割り当てられることもなく、実質的に使えない状態になるはずです。こうすることで物理的なサーバーをインターネットが使えない環境に移動させた時と近い状況が作り出せているはずです:
2024010803


この状態で先ほどと同じコマンドを実行してみます。"yum repolist" を実行すると先ほどと同じ結果になり、リポジトリそのものは2つ登録されたままになっていることがわかります。しかし "yum install tmux" を実行して tmux をインストールしようとすると、今度は(ネットワークが使えず)リポジトリ先にアクセスすることができないため失敗してしまいます。これもここまでは期待通りの挙動と言えます:
2024010804


ただ問題は「使えないリポジトリが登録されたままになっている」点です。この状態から tmux などのツールを追加インストールするにはローカルリポジトリを作成するなどすることで可能ではあるのですが、この使えないリポジトリは邪魔なので消す必要があります。

リポジトリの情報は /etc/yum.repos.d/ フォルダ以下に .repo という拡張子を持ったファイルを用意しておくことでシステムに認識させることができます。RHEL の場合も /etc/yum.repos.d/redhat.repo というファイルが用意されており、ここでサブスクリプション情報に合わせたリポジトリが使えるようになっています。 というわけでいったんこのファイルを(redhat_repo などに)リネームして、RHEL のリポジトリが無効になるよう更新してみます。 本来ならばこれで登録リポジトリは空になるはずだと期待していたのですが、実際にやっていると登録リポジトリは変わらず2つ存在したままで、しかもリネームしたはずの /etc/yum.repos.d/redhat.repo ファイルがいつの間にか復活(!?)していました:
2024010805


これがサブスクリプションマネージャーの挙動です。ansible など RHEL のサブスクリプションがないと使えないリポジトリも含めて管理されており、何かの手違いでサブスクリプション情報が消えてしまわないよう(ansible などがインストールできなくなってしまわないよう)リポジトリ情報はリポジトリファイル以外でも管理されていて、変更が加わってもリポジトリの更新時に再度自動で復活させるような挙動を見せます。

この挙動により RHEL をインターネット接続がない環境で使おうとした際の、上述の「使えないリポジトリが登録されたままになっている」点を解決しようとしてもすぐに元に戻ってしまう、という問題が残ってしまうのでした。


(↓以下補足)
自分だけのケースかもしれませんが少し補足します。上述のようなインターネット接続が使えない環境下で RedHat OCP(OpenShift Container Platform) をローカルインストールしようと試みた際に RedHat が提供している ocp4-helpernode というツールを使おうとしました。 その時も上述のように RedHat のリポジトリが自動で復活する問題を抱えていたのですが、「ローカルリポジトリを作って、自動復活する前に各種ツールをインストールして準備」したつもりでした。 が、それだと最終的に ocp4-helpernode を使おうとした段階になって RedHat のリポジトリが復活してしまい、「準備ツールをインストールした時と環境が異なっている」ことが検知されたようなエラーメッセージ(↓)が表示されて止まってしまいました:

  :
  :
TASK [set_fact] ****************************************************************
ok: [localhost]

TASK [Install needed packages] *************************************************
fatal: [localhost]: FAILED! => {"changed": false, "failures": [], "msg": "Unknown Error occurred: Some packages from local repository have incorrect checksum", "rc": 1, "results": []}

自分の場合はもともとこの環境を作りたくて調べていたのですが、CentOS とは異なり、RHEL だとこのリポジトリを管理するサブスクリプションマネージャーをどうにかしないといけない、ということがわかったのでした。

なお、同じこと(OCP をネットワーク接続のない環境で物理サーバーにインストール)を RHEL ではなく CentOS を使って行うことも検討したのですが、こちらの場合は RHEL のサブスクリプションには含まれている ansible や ansible の関連ツールのインストールが別途必要になったり、上で紹介した ocp4-helpernode 自体が RHEL 向けだけに提供されていたりして、別の部分で余計にややこしそうだったのであきらめました。
(↑以上補足)


というわけで、RHEL のサブスクリプションマネージャーは便利な反面、利用形態によっては邪魔になってしまうケースもあることがわかったのでした。


【サブスクリプションマネージャーを無効にする方法】
前置きの長いブログになってしまいましたが、このような背景からサブスクリプションマネージャーを無効にしたい、という需要も少なからずあるように感じています。もちろん無効にすることで RHEL が管理している最新のリポジトリは使えなくなってしまうし、ansible など RHEL のサブスクリプションと合わせて提供されるツールもインストールできなくなってしまうというリスクがあります。そのリスクを理解した上で「それでも無効にしたい」場合だけ実施するようにしてください(私は責任取れません)

RHEL のサブスクリプションマネージャーは以下のコマンドで無効にできます:
# subscription-manager config --rhsm.manage_repos=0

上述のような「インターネット接続がない環境下でいろいろなツールをセットアップ」しないといけないようなケースでは、まず上のコマンドを実行してサブスクリプションマネージャーを無効化した上で、DVD などから必要なモジュールを取り出し、あるいはファイルのみダウンロードしたりした上で、必要に応じてローカルリポジトリを用意してインストール/セットアップを行う、という手順が必要になると思います。

自分のように OCP をネットワーク接続のない環境でセットアップ、、なんて無茶なことをやろうとする場合に自分が調べてこのブログにまとめた関連情報(躓きそうな箇所に関する情報)を以下に記載しておくので参考にしていただけると嬉しいです:




(参照)
ネットワークが制限された環境でのクラスターのベアメタルへのインストール
OpenShift on Power 完全オフライン環境でのインストール

 

クラウドインスタンスだったり、VM だったりで RHEL9.x を使う機会が増えてきました。個人的にはどちらかというと最近は Debian/Ubuntu 派で、Ubuntu の選択肢がある場合は Ubuntu を使うことが多かったと思っています。CentOS 6 はヘビーユーザーでしたが、しばらく CentOS/RHEL を使っていなかったこともあり、久しぶりに使って戸惑うこともでてきています。まあググればなんとかなることが多いんですけど、

そんな中でも解決までに特に時間を要したというか、"RHEL9 からの変更点" の影響を受けて戸惑ったのが SSH 接続でした。SFTP も含めて RHEL9 に SSH 接続したり、RHEL9 から SSH 接続する際にうまく動かない(接続できない)ことが頻発して対処に手間取ったことを、その原因や対処法含めて以下にメモしておきました。


【そもそも何が起こったのか】
IBM Cloud を使って RHEL9.x(正確には 9.2)の VM を作りました。RHEL 8.8 を使うこともできて、8.8 では SSH 秘密鍵ファイルを指定して TeraTerm で接続していました(何も問題ありませんでした)。

そして RHEL 8.8 で使っていた時と全く同じ SSH 鍵ペアを使って RHEL 9.x の VM インスタンスを構成し、TeraTerm を使って SSH で VM に接続しようとして・・・ 接続できませんでした??
2024010401


あれ? 鍵ペアファイルは全く同じなのに、なんで RHEL8.x だと接続できて、RHEL9.x だと接続できないの?? ・・・という点に気付いたのが事の起こりでした。


【RHEL9.x で何が変わったのか】
挙動から考えると「RHEL8.x と RHEL9.x で、SSH 接続に関する何らかの仕様変更があった」と推測するのが自然だと思いました。そういうキーワードで調べているうちに以下の記事を見つけました:
Tera Term で Rocky9/RHEL9 にログインできない(2022/12/7)


キーワード的には自分の手元で起こっている現象に近いことが書かれているような気がして調べてみました。記事内の情報をまとめると、このようなことが書かれていました:
  • RHEL8.x までは OpenSSH の認証方式に RSA/SHA-1 をデフォルトとして使っていた
  • TeraTerm 4.x 以前も OpenSSH の認証方式は RSA/SHA-1 だった
  • RHEL9.x からは RSA/SHA-256 などのより強い認証方式がデフォルトとして採用された
  • TeraTerm 4.x 以前のものでは接続できないので、TeraTerm の対応を待つか、RSA/SHA-256 をサポートした別の SSH クライアントを使う必要がある
なるほど、とりあえず RHEL9.x で認証方式の変更があって、それが原因らしい、ということまではわかりました。

なお同じ理由で RHEL9.x から古い認証方式だけをサポートしたシステムへの SSH 接続もできなくなっています:
2024010402


【RHEL9.x への SSH ログイン】
さて原因が分かったところで、改めてどうすればよいか? を考えます。まずは「RHEL9.x への SSH ログイン」です。

こちらは実は上の記事の最後に追記があり、
  • TeraTerm 5.x では対応済み
になっています。したがって TeraTerm 5.x をダウンロード/インストールして使うことで RHEL9.x へも SSH ログインができるようになります。

TeraTerm のダウンロードはこちらから:
https://github.com/TeraTermProject/osdn-download/releases


【RHEL9.x からの SSH ログイン】
もう1つ、反対方向の SSH ログインについて、こちらは少し厄介な問題です。接続先からすると全く知らない(未対応の)認証方式でアクセスされるので接続先を RSA/SHA-256 対応するよう、アップグレードするしかないような気もします(それが可能な場合はその方法でも対応できます)。

ただそうはいかないケースが多いと思うので、対応策の1つとして「一時的に RSA/SHA-1 をデフォルトにするよう暗号化ポリシーを変更」する方法を紹介します。

RHEL9.x では "update-crypto-policies" という CLI コマンドで暗号化ポリシーの確認や変更ができます。まず root でログインしている状態から、以下のコマンドでデフォルトの暗号化ポリシーを確認してみます(青字が出力結果):
# update-crypto-policies --show
DEFAULT

"DEFAULT" とだけ表示されました。これは特に何も設定されていない(つまり初期値の暗号化ポリシーが使われている)ことを示しています。この状態から変更する必要があります。

では一時的に "SHA1" に変更してみます:
# update-crypto-policies --set DEFAULT:SHA1
Setting system policy to DEFAULT:SHA1
Note: System-wide crypto policies are applied on application start-up.
It is recommended to restart the system for the change of policies
to fully take place.

この状態で再度デフォルトの暗号化ポリシーを確認してみます:
# update-crypto-policies --show
DEFAULT:SHA1

今度は "DEFAULT:SHA1" と表示されました。これでデフォルトの暗号化ポリシーが "SHA1" に変更できました。この状態であれば古い Linux へも SSH 接続が可能になっています。

目的の SSH 接続が完了してログアウトまでしたら、最後にデフォルト暗号化ポリシーも元に戻しておくことにします:
# update-crypto-policies --set DEFAULT
Setting system policy to DEFAULT:SHA1
Note: System-wide crypto policies are applied on application start-up.
It is recommended to restart the system for the change of policies
to fully take place.

# update-crypto-policies --show
DEFAULT

これで元の暗号化ポリシーに戻すこともできました。

 

このページのトップヘ