遅まきながら、ProxmoxをVE8にシフト完了です。
こんにちは、Infrabbitです。
もともと4×4 V1000Mの6台構成でしたが、NAB9やらほかのMiniPCやらをちょいちょいと追加したおかげで、少ない台数でも十分にメモリもvCPUも確保できる見通しが立ったため、リプレイスしてローカルラボの環境整理を兼ねて、という感じです。めんどくさかったですが、6台構成の4×4を台数減らして電気代にも地球にも優しいインフラに変わっていこうと思います。
よーし、できたー。MiniPC 7台構成のProxmoxクラスター！
…言いたいことはわかるが黙っとけ。
とりあえず、i9-12900HKが3台、続投の4×4ノードのRyzen Embedded V1605Bが二台、Ryzen 7 7735Uが一台、Ryzen 7 5825Uが一台、総スレッド数にして20 x 3 + 8 x 2 + 16 x 2=108スレッド。奇しくも煩悩の数と同じとは、何かの予言でしょうか。
いや、言い訳すると単にCephの総ストレージ量を減らしたくなかっただけ、というか。LowCPU/LowMemoryで動くVMのHAクラスタとHighCPU/HighMemoryを要求するVMのクラスタ分けたかったというか。まあそんなくだらない理由です。
さて、とりあえず置き換えたのはいいものの、SDNが実装されているとなると従来の外部アクセス用のNICとストレージ＋マネージドネットワーク用のNIC、みたいな構成にしていたのですが、ちょいと考え直したい。
全部タグVLANで済ませてSDNにVMのネットワークはふっちまってはどうだろうか。
そもそもすでにケーブルお化け状態で、リプレイス最中も数本ケーブル死んだり断線しかかってるのを見つけたりでいい加減このごちゃつき具合も何とかしたい。ついでにスイッチをなんとかラック仕立てて操作しやすくしたい。
というわけで、SDNの仕様をさらっと眺めてみる。
シンプルはいわゆるVPCみたいなもんなので、別にどうとでもなるだろう。せっかくのラボなので、やりたいことをやんなくちゃ。
というわけで、一番基本であるシンプルをさらっと無視して、ほかのを見ていく。VLAN。ああ、タギングさせてくれるのかな。いいね。ネットワーク屋にはわかりやすくていい。QinQ。おお、二重タギングもサポートしてるのか。やるね。VxLAN。まあQinQあるならあるよね。拡張VLAN。
…EVPN…だと…。
まあそりゃあLinux自体には実装されてるんだから実装できるんだろうけど、いやいやいやいやｗｗｗ
コントローラー覗いてみる。BGP,IS-ISに混ざってEVPN。うわ、マジか。EVPNで遊んでいいのか！自前で作るとめんどくっせぇから逃げてたけど！ｗ
いやー、これだけ選択肢があると普通にProxmoxでクラウド事業者始められるじゃん。やらんけど。少なくともVPCの真似事みたいなことはできてしまう。セキュリティレイヤーがどうしようって感じだけど、VNetsとかVNETファイアウォールってENIとSecurityGroupだよなぁ…。
やべ、超楽しいｗｗｗｗｗｗ こうなってくると10Gbpsとは言わないから2.5Gbpsのスイッチ欲しい。もりもり物欲がわいてくる。CephでvSANの真似事して、Distributed Switchも実装しちゃったらコマンドライン叩くのに苦じゃない人はVM要らないじゃん。VMもコンバートできるんだし、いやー、なんかいろいろなアプライアンス引っ張ってきて動かしたくなりますね。
とりあえずクラスタとしては安全運航の状態にはなったので、これで適当にノード止めても障害にならないので、いまからやらなきゃいけないのは確実にラックの大掃除と大整理といろいろ付け替えちゃったケーブルの再タグ付けです。死にたい。10Gスイッチのお値段でも見て心を落ち着けよう。
…何も落ち着く要素がなかった。XS724EMで30万するのか、まだ。だいぶ下がってきたなぁ、とは思うけど、普通の一般のご家庭で「PCつなぐハブに30万だします」って言ったらたぶんご家族が助走つけてぶん殴りに来る。その金でハワイとか連れて行かされる。
まあもうちょい待つかね。本音を言えばちゃんとスタックできる子が欲しいんだけどｗ
さて、そんなこんなでいろいろラボをいじってたりはするのですが、自作していたバカでかいストレージもちょいちょい放熱問題に引っかかるのでいい加減退役させてNASにその辺はお任せしてしまおう、という決意を固めたので、スイッチのポートがごっそり空く。目算では24+24あれば事足りる。基幹部分だけだけど。ちゃんと計算はしていないが…。
とりあえずスチールラックでやるのいい加減やめて、ちゃんとラック買おうかなぁ…。でも安いからと言って２ポストラックはサーバ屋さんには無理です。あれは搭載機器が軽量な音響機器用だと思います。2ポストに1Uサーバ載せてる猛者とか居るんですかね？
ま、ラック買ってもマウントサーバーは買わないけどねぇ。うるさすぎて死ぬし。できればMiniPCの筐体にはVESAマウントだけじゃなくて19インチラック用のマウントキット用意してほしいなあ…。あとみんな電源ユニットどうしてますか。きれいに整理できなくて本当に困ってるのだけれど。
