春といえば初夏の前、つまりそろそろSummitのご案内が来るということです。まあ4月になるんでしょうけど。
今年のSummitは6/24～25です。ホテル押さえなきゃ、会場は毎度の幕張です。
さて、そんな春先になってくるとどうしてもあれですよね。花粉症でおうちから出たくない。いや、年がら年中出たくないって言ってるだろ、って突っ込みは気にしません。春だから出たくないのです。
家から出られないということは、家の中でやれることをする必要がありますね。そうです、ラボのアップデートです！ いでよ物欲モンスター！
春なのでしようがないのです。
というわけで、ProxmoxクラスタさんにVE 7がもうサポート切れるからさっさとVE 8に載せ替えろボケ、と文句を言われたということもあり、4×4 Boxクラスタに試験的に突っ込んでいたNAB9を中心としたクラスタに切り替えていくことを決意しました。
もともと4×4 BoxはRyzen Embeddedなので4Core/8Threadなのですが、NAB9はノートPC用最強クラスのi9 12900HK、すなわち14Core/20Threadとかいう化け物なのです。コンテナをちゃかぽこ気軽に立ち上げる私としてはありがたい限りで、1台で4×4の二倍以上のお仕事ができるのですから、現在の6台体制から3~4台体制に減らせるというわけですよ。
もちろん、上を見ればRyzen 7950HXだとか、Core Ultraなんかもいるわけですが、32Threadはともかく22Threadのために一台10万オーバーはちょいとコスパ悪い。Copilot＋も別に要らないしね。一応LLMやらせるのにGPUはほしいとは思うんだけど、Proxmoxの対応次第だし…。Oculinkへの対応とVMへの割り付けがどうなってるのか、まだ調べてもいない。GPUパススルー出来るのは知ってるけど、OculinkのGPUって同列で扱えるのかな。デバイス持ってないからわからないのよ。買えばいいっちゃそれまでだけどさ。Pocket AI買おうかな…。ただ、NAB9はThunderbolt持ってないので、USB-C 3.2で動かすことになるんだよな。
4×4がなんで6台もあるんだよという突っ込みは聞きたくありません。NAB9も3台でいいだろなんで一台余計に増やしてんだよという突っ込みも聞きません。
ついでにメモリも最近じゃあ32GBでは手狭、ということもあり、NAB9の上限である64GBまで突っ込んでおきたい。2万円もあったら買えますから、気軽に買っていきたいところ。SSDとNVMeは4×4から強奪すればヨシ。だってメモリやCPUに比べてこっちはそこまで劇的に変わってきていないし、そこまで容量要らないんだよね。
というわけで、NAB9を3台くらい追加で買いたい。でもメモリとディスクとOS要らないからベアボーンでほしい。でもAmazonさんとかには売ってない。どーしよっかなーと思ってうろついていたら、MinisForumの公式通販ならベアボーンあるじゃないか。しかも52,000ほどで。でも支払いがPayPalかG Pay。まあ会計ソフトがPayPal対応してるからPayPal使うか…。
いやだってさすがに中華企業にナチュラルにクレカ登録したくないですよ！ｗ
春先に大量に来る税金と保険やらなんやらの支払い済ませたら買おう。どかんと出費するからキャッシュを気軽に減らせないのが春。しかし同時に払い終わったぁ！こんなにのこってるううう使わなきゃああああってなるのも春。バカか、バカなんだなたぶん。
でもまあ7万円くらいで一台アップデートできるってことです。素敵ですね。消耗品扱いで経費が初年度で計上終了です。めんどくさい減価償却の設定しなくていいのはとても素敵です。
僕の時間と手間とめんどくささとつぶれる休日のことを無視すれば。そしてついでにぼろぼろ余る4×4 Boxとメモリのことを考えなければ、21万円＋既存のNAB9のメモリ代くらいでラボを拡張できますね。4台構成の20Threadなら80CPU/256GBが使えるわけですひゃっほう。HPCクラスタ組みたくなってくるね！ｗ ついでにNASもでかくしたくなってきますね、でっかくする理由があまりないけれど。
あ、でもCephの構成クラスタ数が下がるからストレージが減るのか…それはちょっと困るから、Ceph用に4×4も2台残しておくか。それとも2TBのSSDに順番に更新していくかなぁ？
で、そんなの作って何するんだ、って話ですけどちょっとコレ気になってるんですよ。
要するに、LLMに「自分」を示す情報を食わせて、RAGで拡張させたもう一人の自分、にあたるFMを生み出す、というソフトウェアというかフレームワークというか。
別に手元のメインマシンで動かしゃあいいんですが、もう一人の自分がそもそもなんかのマシンに同居させられるのを僕がヨシとするか、と思ったらそりゃあヨシとはしないよなぁと。俺の自由になる俺の世界をよこせとか言い出すにきまってます（そんなAIいるわけねぇだろ。
なのでまあ普通にVM環境いっこまるごとあげようかと。どうせLLMなんだからメモリもくそほど食べるにきまってる（偏見
僕の分身ってことはきっとメモリ至上主義者でコア数原理主義者に違いないので、メモリもコア数も与えないと聖書の角でぶん殴られるかもしれません。まあ別にコレ遊びでやってるわけじゃなくて、仕事でかかわってるLLMが自己認知だとかそういうのをやってるから、その一環にもならんかな、という目論見もあるんですが、9割方面白そう遊んでみよう、以上の意図がございません。
とってつけたような理由をこねくっておけば経費になるからとかそんな理由です、たぶん。
まあ、やらかした後の問題として4×4と16GBメモリモジュールがたいそう余る、ということなんですけどね…。SODIMMだから流用もしにくいしなぁ…。
どこかにSODIMMが8本とか刺さるマザーないかな。。。（ねぇよ
昨今のメモリはCPU直結なのでCPU1個＝4スロットまで、です。つまり8本のメモリスロット＝DualCPUマザー、ということになり、そんなのはサーバ用マザーしかないので、基本でかくて広いマザーなのでSODIMM使う理由がゼロ、というネタです。ネタの解説はカッコ悪いなぁ。
まあ16GBx2のSODIMMなのでなんか使い道考えましょう。ミニPC増やすとか（ぉぃ
僕にとっての春、とはこういう季節です。だって夏は暑いからサーバいじりたくないし。
