生成AI ラボ / Generative-AI Lab

AIを、実機で叩く。

次々と登場する生成AIを、実際に手元で動かして検証する研究ログ。モデルもツールもサービスも、ベンチマークから実用性まで——カタログ値や評判ではなく、自分で確かめた結果だけを記録していきます。

23 実験ログ
LLM MLX / Ollama
2026.09.17 最終更新

Latest experiment

全ログを見る →

All logs

【検証】RTX 4080 32GB改造品の実力：Qwen3.8-27Bの262K・125B MoE・MiniMax H3動画生成を実測レビュー

中国市場で流通するRTX 4080の32GB改造品を実機検証。Qwen3.8-27BのQ8_0が全層GPUに収まり22.47 tok/s、ネイティブ262,144トークンもKV q8_0により26,240MiBで動作。生成速度はTesla V100 32GBと同等ながらprefillは最大3.2倍。125B MoE（Qwen3.8-Flash-Next）のCPU併用やMiniMax H3動画生成、16GB/24GB制限時の挙動まで詳しく測定しました。

【検証】AIのAPI代は本当に減らせる？コンテキスト圧縮ツール「Headroom」を導入して実測してみた

AIエージェントのトークン消費を最大95%削減すると謳うOSS「Headroom」を実際にMacへ導入し、ログ・JSON・コード・RAGの4種データで実測。コード79.8%・JSON59.2%・ログ31.0%削減、多段デバッグセッション全体では47.5%削減を確認しました。導入手順から仕組み、コスト試算、向き不向きまで正直にレビューします。

Topics

#ローカルLLM 3 #ベンチマーク 2 #GGUF 2 #llama.cpp 2 #量子化 2 #Qwen3.8 2 #Tesla V100 2 #生成AI 2 #vLLM 1 #AI 1 #HBM2 1 #自作PC 1 #AliExpress 1 #Chrome拡張 1