あけましておめでとうございます（二度目）、Infrabbitです。
さて、年末から年初にかけて、ちょっとした伝手でLLMをがっつり調べていました。その結果。
メモリが、足らない。
なんだこのベクトルデータ。数値データのくせにうん十GBとか100GBに迫る勢いのデータの塊で、しかもオンメモリ展開するってバカか。
GPGPUなんて民生の4000系列なんか12GB程度しかVRAMないんだから、メインメモリから割かなきゃいけないんですが、どう考えても足りません。
自宅のメイン機はコンシューマーマシンとしてはそこそこパフォーマンスのある機械ですが、それでも32GBしか積んでいません。64GB積んでるのはストレージサーバくらいですが、その大半はデデュープ処理とキャッシュに充てられています。
ちょっとローカルで賢いLLMのテストしよう、と思ってもできないですね、コレ。Llamaのパラメータ数の少ないやつなんてこんにちわに対しての回答がバカすぎて吐きそうになりました。
かといってコンシューマー機で128GB積めるマザーなんてなかなかないです。サーバ用マザーまた買わないとだめなんか、これ。
まあ128GBはともかく、これは64GBは積まないとLLM関連の話を気軽にお受けできないですね。ちょっと前にRyzen買うついでに買い替えたから、まだ現役なんですが、マザーの仕様おぼえてない…。B450だった気がするんですけど。
まあメモリ行けたとしてもフルATXが邪魔なんでITXにしちゃったから、32GBモジュールx2。
死にたくなりますね。今いくらなんですかね、DDR4の32GBモジュール。ECCじゃないだけマシなんですけれど。
そんな気分で価格.comで攫ってみると、なんだ、たったの１万円くらいか。じゃ、買おう。メモリバンクだけ気にしないとなぁ。
しかしLLMはメモリ食いですね。up to 128GBとかそれ以上のマザー探し始めようかな…。サーバ系マザー持ってくればすぐなのはわかってるんですが、あいつらECC要求するのと、ちょっといいの買うとすぐE-ATX規格になるんでこれ以上ケース増えてほしくないんですよ。まあ、普通に見てたらASUSのROGの分際でE-ATXいたけど。帰れや。
Infrabbitは極端なメモリ信仰を推奨しておりますので、これからぱそこん買いたいです、とかご検討の皆様、メモリは常に許容される上限いっぱいまで積みましょう。メモリ以外はうんこで構いません（よくねぇよ）。
特にインフラ屋をこれから目指すとかわけわからん目標を持っている方、PCの中にサーバが数台VMで立ち上がっても屁とも思わないくらいメモリが載るのが理想形です。できれば256GBとか512GBとか載せましょう。
メモリチャンネルの関係で2CPUで4本チャネルの8本仕様までいってようやく64GB x 8の512GBなんですけど。ECCチャネル付き64GBって普通に６万位しますので、メモリだけで48万くらいしますが、気にしたら負けです。128GBモジュールよりは安いしいいじゃん。
だから1万円くらいのメモリなんか自販機でジュース買うくらいの感覚で買っていいです（そんなわけがあるか）。
サーバ屋（というかインフラ屋）の金銭感覚ってこういうところはかなりおかしいので、普通の人はたぶん真似しないほうがいいです。
民生用ももっとメモリ積めるようにならんかなー…。
