人は皆、年末になると、一年を省みるふりをしつつ
新しいことにチャレンジする予備動作をはじめる
これは
LLM とくにローカルLLM を試してみたくなった
2025年末から2026年始の記録
NVIDIA
CUDA・クーダ・Compute Unified Device Architecture
安心、王道
だが高価
AMD
ROCm・ロックエム / ロッカム？・Radeon Open Compute
挑戦、オープン
決して安くはないが NVIDIA よりリーズナブル
どちらもすばらしい
Apple
MPS・エムピーエス・Metal Performance Shaders
安定、ブラックボックス
メモリ山積みすると、それなりに高価
LLM は大量（かつ高速）メモリがつよいが、画像生成などは現時点ではなんともかんとも
Draw Things など、手軽なものも用意があるのがうれしい
ちなみに、普段使いしているのは M4 32GB Macbook Air
2025年末、グラボはもちろんメモリも高騰。SSDも徐々に値上がりする気配。
2025年末、現れ進化がとまらない ローカルLLM
ComfyUI 試してみた
M4 Mac もそこそこがんばる
Draw Things 試してみた
M4 Mac もそこそこがんばる
私の利用方法想定は
セキュアなデータを扱うこともないだろう
自前の大量のデータを外部に渡したいわけでもないだろう
ローカルではなくクラウドのほうが
リーズナブルにいつも最新の環境を
利用できるであろう
“コスパ” はきっとクラウドが正解
アタマでそう理解はしていても
やっぱりなにか手元に欲しい
相棒のようなマシーンが
この欲求はなんなのだろう
時代の変化をほんのすこし一段深く感じたいだけなのかもしれない
それは幻想かもしれないが
まずは王道 NVIDIA を普通に調べて普通に欲しくなる
NVIDIA GeForce RTX 5090 がトップアイドル 50万円〜
NVIDIA RTX 6000 Ada は高嶺の花 100万円超
そして秋口から
NVIDIA DGX Spark そしてその互換機たちが世に出てきた
メモリ帯域幅 273 GB/秒 と RTX 5090 の 1792 GB/秒には劣るが
メモリ搭載量 128GB と RTX 5090 32GB の4倍積んでいるそれら
※ 厳密には RTX 5090 は VRAM, DGX Spark はコヒーレントメモリ
※ コヒーレントメモリ：CPUとGPU間で共有される一貫性のあるシステムメモリ
LoRA チューニング重視なら 5090 かもしれない
メモリの帯域幅の強さは魅力的だ
コア数ももちろん魅力的だ
とはいえ今は母艦がない
5090 を楽しむなら
マザーボードもメモリもSSDもあれもこれも買い揃えたくなる
とはいえ実はそこまで楽しむ時間も取りづらい
2020年ごろに組んで、先日壊れた
2080ti 時代のミドルタワーが物悲しく・・・デスクの横に佇んでいるが・・・
ごめんね
君を復活させるのはもうたいへんなんだ
ケースと電源はつかえる
SSDもサブの保存領域にはつかえるけれど
それ以外は・・・
DDR4 も品不足らしいので、16GB x 4 など売ることを考え始める・・・
思考がそれていく・・・
ということでオールインワンで
見た目もかっこいい DGX Spark およびその互換機を調査
ドスパラさんで、ASUS の GX10 が 585,530円
これが個人が一番リーズナブルに入手できそうなプラン
※大学特別割引や大口割引はわからない
ほんとうに見た目もかっこよくてかわいい
本家の DGX Spark も、ほかの互換機も
静音や外部コネクタなど若干の違いもあるかもしれないが
基本スペックは変わらない（と自分の中で結論づけた）
※いろいろ調べたがここでは省略
お値段ベースで GX10 1択
ほかはやっぱり少し高価 60万円〜70万円〜
なお GX10 に限ってみても
ドスパラさん以外の販社ではお値段がやや高めになっていたり
「在庫なし」「次回2月以降」のような表記やクチコミも散見される
そう、手に入らないと思うと、ぐっと欲しくなり
ポチる数秒前
何度もクレジットカード入力して、やっぱりもう一晩考えてみようを繰り返し
年末年始あれこれ忙しいし
GX10 が届いても思っているよりも遊べないよなと
優柔不断しているうちに
年が明けた
あけましておめでとうございます
年が明けても時間はただ過ぎてゆく
実験的に
ComfyUI したり
Cloudflare Workers AI たたいたり
Runpod を思い出したり
ローカルの Macbook で
Ollama したり
mlx_lm たたいたり
promptfoo いれてみたり
Draw Things 眺めてみたり
M4 Macbook 32GB もそこそこがんばるなぁと感じたり
ときどき “CUDA” が必要になったり
“mlx-community/Qwen3-30B-A3B-mixed-3-4bit” あたりを叩いていると
“mlx-community/foo-ba-baz” あたりを叩いていると
私の指示 ~ Prompt ~ がいまいちなので
改良したつもりが改悪になって
Try and Error がつづく
繰り返し、繰り返し、繰り返し
Again, again and again.
Model はとっても賢いはずなのに
私が使いこなせていない
やるせなさでもなく
いきどおりでもなく
ストレス系の感情が芽生える
よくないな
もっと AI と仲良くしよう
たくさん会話してみよう
こっちのタイプスピードは限界があるけれど
LLM の thinking 時間を待つ時間を減らせれば
もっとたくさん試せるはず
LoRA でフォローできたなら
ほんのすこしのすれ違いだったことに気づけるかも
お財布的な予算に限りはあるけれど
やはり手法を変えるべきタイミング
年末に調べたことを思い出し
NVIDIA DGX Spark および OEM機の
在庫確認や納期問い合わせをしてみる
品薄 〜 需要と供給 〜
お値段も徐々に上がっている気配を感じる
よ〜し購入だ！
でもふとよぎる「このライセンスは、商用サーバーとしては使えません」の一文
again
実際、家庭内LANにおいての商用サーバー運用の段階まではすすまないだろう
生真面目な性格が首をもたげる
ちょっと貸して欲しいひとにポートを解放したり
VPNに招待したりして
有料で貸すとそれは商用なのだろうか
対価がお金ではなく「今度食事ごちそうするね」も商用なのだろうか
生真面目な性格が首をもたげる
AMD ROCKm はオープン
みてみぬふりをしてきた
そう AMD
CUDA じゃないからきっとときどき困るだろうなと
みてみぬふりをしてきた
でもふと
「きっとときどき困る」って大好物かもしれない
AMD は NVIDIA よりコスパはいい
AMD は NVIDIA よりタイパはよくない
〜 利用にあたってどうしても試行錯誤が多くなる 〜
でもそのタイパって「悩んで調べて楽しい」時間かも？
私の中のなにかが逆転した
よーし AMD だ！
※カーネルレベルとかハードウェアに近づくと ROCm も完全オープンではないらしい
Strix Halo, AMD Max+ 395 を搭載したさまざまな AI ready PC を調べる
10月ごろから市場にでてきた
当時は メモリ 128GB / SSD 2TB がクーポンや Black Friday で 30万円をきっていた
これも目につく全て見比べた（主に価格とコネクター種類）
日本で入手できる一番リーズナブルなのが GMKtec EVO-X2 36万円前後
みためも好みだ
ときに CES 2026 でもさまざまな発表
AMD 本体が満を持して DGX Spark のような動き
これは今世にでている Strix Halo 系のものがベースになる気配
ほぼ近しい構成と思える
ハードの性能はメモリがすこし速いとか排熱効率がよいなど
若干いいのがでてくるかもしれないけれど
この発表はなにより
ROCm の進化速度や
model の ROCm 対応速度が
段違いに速くなるというニュースだ
私の好みはやはりこちらかもしれない
CUDA に後ろ髪をひかれつつ
最終
なんとなく 「MAX+ 395」だから、395,000円を超えない程度で
手に入れたいなと妄想していたところ
Minisforum MS-S1 MAX ¥487,999（税込）通常価格¥609,999
Amazon.co.jp だと ￥574,200 など値上がりが始まっているそれを
出会いがあり
ちょうどよい価格で入手
GMKtec EVO-X2 にほぼほぼしようとおもっていた
数万円だがそっちの方がリーズナブル
ただ IP-KVM にロマンを感じており
クラスター用の PIN が基板から生えているというのが最終の決定打となった
遠隔からの再起動なんて、まず滅多に使わない機能だけど
Power sw pin と直結できなくとも
Wake on Lan なり
物理電源ボタンに IoT物理遠隔操作スイッチつけたり
AC電源をスマートプラグつかったりすれば
同様のことを実現できるのだけど
※ WoL 構成は異常状況だと電源OFFはできない
そこはそう
ロマンだから