【Gemma DeepSeek】GTX1070でもある程度LLM鯖って動いちゃうんだぜ

GTX1070 8GBを1.2万円で買ってみた
こんなカスGPUだが、意外とローカルLLM鯖にできた
ってことでそのメモ。

スペック

DRAMもそれなり～に多くしてみたよ

SDのセットアップがめんどくさいから適当にEasyReforgeでエロ画を生成しまくってるよ
だいたい1日に500枚程度生成してるかな

1度に4枚生成して高解像度補助オン、TIPOオン、CFGスケールはだいたい3~3.5くらい

これで結構十分ないい感じのエロ画を生成できています
写真なんか貼るわけないけど

openwebuiって窓でも動くんだよねー
ってことでgemma3:4bやdeepseekR1:7b、llama3:7bとか動かしています

ちなgemma3:4bの速度は以下
VRAM8の間に収まるパラメーターなら結構快適に動くよ。1070も負けたもんじゃないよね。

適当にM4 Macの推論速度知りたかったから質問してみたよ。うーんchatGPTみたいに推測ぐらいでもいいから数字出してほしかったなー。
でも結構動くし使えるっしょ

いやVRAM8かーとか思ってたけど案外動くよね。
元々は3060 12GBが欲しかったけどしばらくはこれでいいかなーって感じ
今回なんか内容薄いけど、まぁいいや

まぁガチ勢の皆さんはVRAM48とかMacのthunderbolt networkingで70bとかdeepseekR1:671bでも動かしてるんでしょう。お金が無限にほしいよ～～～～～～