Proxmox VEの基盤リプレース

次第に暑さを増してきますね。皆様体調は如何でしょうか。

さて、事務所内ラボとして使用していた4×4 BoxによるProxmox環境ですが、どうも一台起動しなくなってしまいました。まあ原因はだいたいわかっちゃあいるのですが。

ノードを除去してProxmoxを入れなおせば回復するとは思うのですが、そこまでするなら別にこのノードでなくてもいいんですよ。という、いつもの物欲ゴブリンにくっころ騎士みたいなことを吐き捨てて、とりあえずなんだかんだでminiPCが置いておくのにかわいくてよいのと、何より安い。

小さいのに安いって最高ですね。まあ拡張性がゴミ以下ですが、欲しいのはコア数とスレッド数、そしてそこそこのメモリです。ストレージはだいたいNASがありますし、CephFSなんで2.5インチのSSD刺せば増えるわけで、条件としてはM.2のブートディスクが刺せて、2.5インチのマウンタとIF持ってて、NICが2ポート。そして、できればスレッド数たくさんください。ARMじゃないやつで。

※ARMでもいいんだけど、既存クラスタがx86だからね…ProxmoxでARMとx86混在クラスタってどういう扱いになるのか知らないので、今度Raspberry Piでも参加させようかとは画策しています。Pi5買ったし、仕事で使うのが終わったら、ですが。Pi 3なら余ってますけど貧弱だしねぇ…。

で、いろいろ悩んで(結局最終的にリプレースを推し進めるなら4×4からSODIMMもM.2もSSDも引っぺがしてしまえると思ったら、別になんでもいいんですが…)、決めたのがこれ

最近人気のminis forumのNAB9。Core i9で12Core/20Thread、プラットフォームとしても大変よろしい、っていうか4×4のRyzen Embeddedの4Core/8Threadからおおよそ2.5倍のスレッド数になるので、実機数を減らせる、というのがうれしいですね。7台が3台で済むよ!とか言いつつ、どうせ4×4も予備機予備機とか言いながら動かしている未来の自分しか見えないですけど。

まあ入手性も良さそうなのと、選択の中にM.2もメモリも非搭載のベアボーン仕様もあったので。今回は導入試験ということもあり、一応メモリもM.2も載っているのを購入しましたが、4×4から転用できるので最終的にはベアボーンでそろえることになるでしょう。

4x4BoxはASRockですけれど、ASRock Industryの製品なので、通常のASRockの販路じゃないため、いまいち入手性が悪い(とはいえヨドバシにもAmazonにもあるんですが)のが購入時にちょっとこまった点ではありました。要するに在庫補充に時間かかってたんですよね。いまは知りませんが、どちらにせよ工業系製品は一般販路にはあまり載りませんので、一般製品で済ませよう、という。

Proxmox自体のインストールは楽なもんで、さくっと終わらせたらネットワークをOVSでクラスターに合わせる形で構築。ダウンしたノードはなんやかんやで結構消すのは大変でしたが、無事さようなら。
なぜかGUIには/etc/pve/nodesも消してあるのに残り続けていて気持ち悪いですが、pvecm nodesに出てこないんだから問題ないだろ。という。画面系のデータどこで持ってるのかわかんないw

そもそもダウンノードの使ってたノードIDを追加ノードが使っちゃってるし。

CephにもなぜかosdにダウンノードのosdがGUI上は残り続けていますが、設定回りは強引に全部消してあるので特に文句も言わずに新規ノードが正常稼働。

まあそのうち消えてくれるんじゃないかな。ceph osd statsにも残ってないし。キャッシュだよキャッシュ(と思いこむことにする)。

XenやESXiに比べるとちょっとGUI周りが弱いな、という感じはありますし、実際になにかやろうとするとGUIだけで完結しないでpvecm叩くことが以外と多い、というのはありますが(ESXiとかだと障害でもなけりゃあまり叩かないよね)、それでもpvecm自体そんなに難しいコマンドでもないので言われた通りやればだいたい問題ない、ってのは悪くないですね。

一昔前のクラスタとか言われた通りやっても論理破綻起こすやつとか普通にいましたしねw

まあ、なんだかんだといっても中身はそもそもKVMとCephFS、corosyncの合わせ技みたいなもんなので、Proxmoxだから、というよりそれらのOSSが成熟してきた、ということなのでしょうけれど。

で、なぜいきなりそんなことやっているかというと、ちょっと前にはEC2上で動かして遊んではいたんですが、Storage Gatewayが欲しくなったわけです。EC2で動かすとかなり遅いし、やはりここは近場にキャッシュサーバはいるべきだ、ということで、StorageGatewayをProxmoxで動かしてS3をもっと使いやすく利用したい。FSx持ち出すのはちょっと大仰だし。

Storage Gatewayの要件が4Core/16GBという、おま、それ4×4のリソースの半分持っていくじゃねぇか。という外道だったので、せめてコア数だけでも増やさないと。メモリはまあ半導体安くなったらごっそり買ってきて入れ替えればいいんですが、コア数はもう本体買うしかないので。

あとやっぱりADが欲しい。ADないと台数多くなってきたWindowsの管理がめんどくせぇ。シングルでいいからAD欲しい。バックアップ要らないから。ProxmoxがHAするから(暴論)。

フリーランスで一人商売なのになんでそんなにWindowsあるんだよって言われてもそこはほら、私もよくわかんないけどw

Essentialsでいいんで買うかなぁ…。OEM限定なのでVMに入れてしまいたい私としてはライセンス条項にマッチしない気もするんですが、1VMライセンスついてくるんだっけ…。ハード買わないといけないんじゃなかったかなぁ…。いまいちWindowsServerのライセンスって使いにくいんですよね。Oracleほどじゃないけど、同じ匂いがする。かといってStandardはさすがにたけぇ。2~3年おきに15万だせって強盗かよ。Essentialsをなんか適当なハードウェアとセットで売ってくれ。32GBSODIMMMメモリモジュールx2とかと売ってくれないかなぁ…。

※やっているのかどうかは知らない。Essentialsで見たことあるのは基本、サーバ一式とセット。たぶんOEM条件がそうなんだと思う。

OSはOS単体ライセンスでやってほしいんだけど、そうもいかないのは中国の違法ライセンス野放し状態のせいなんだろうなぁ…。

NAB9の同梱Windowsはチェックもしないで消したので知りませんが、この手のminiPCで中国製の安い製品はかなり多いですし、それらがWindows 11 Proなんかをバンドルしていることも珍しくはありません。というか値段的にはかなり怪しい部類。minis forumだって香港だしね。台湾だとだいぶ安心して買うんだけど、中国はちょっとライセンス周りは嫌ですね。

※買った時点でダメだろ、という話もあるがw

OEMライセンスなら購入ハードウェアと一緒に使わないとダメ、VLは同一組織条件なので論外で、Proxmox入れる時点でどっちにしろ将来的にも使わない(使えない)し、転用するよ!とかもライセンス的にはすべてアウトなので、起動もしないで消すのが私のポリシー。要るなら買うよ、Windowsくらいwwww ちなみにノートのWindowsとかもOEMライセンスがほとんどなんで、ノート買い換えるけど古いノートからWindowsのライセンス持ってきて、もアウト。まあ、中小企業の経営層のおっちゃんにこれ説明してもわかってもらえないけど。

中国製のこれらminiPC含め、多くの製品はボリュームライセンスを悪用したライセンス違反での使用状態で出荷されているものもかなりあります。というか、Windows 11 Pro(ふつうに1.5万しますし、OEMでやすくなっても1万くらいはしていると思う)付きの時点で3万とかでだせるわけないんだよ、N100コアだったとしても。ハードウェアの原価割れる。

なので基本買えるならOSなしで買いますし、Linux載せているならそちらを買うようにはするのですが、一般流通製品ってその選択ができないことも多いんですよね。ハードウェアだけよこせや。

なんとなく意図しないでライセンス違反使用をしてしまう、というのはできれば避けたいもの。しらんうちに使えなくなった、とかある日マイクロソフトの人が「JASRACから来ました」とか乗り込んでくるとかほんと勘弁してほしいので、基本バンドルソフトウェアで怪しいのは全部最初からなかったことにする、というのがなんかこういう中華製品買うときは鉄則な気がします。

ビジネスPC買うときは、信用できるとこから買いましょうね、hpとかDELLとかIBMとか。

IBMは中国に売却されたとは言え、さすがにThinkpadの名前を冠している以上んなことしてこないでしょうとは思いますが。でも怖いなら普通にアメリカかヨーロッパか台湾か国内メーカー買いましょう。

というわけで、Proxmoxの画面に0/20 Cpu(s)と出てきたノードを見てニマニマ気持ち悪い顔しています。←いまここ