量子化– tag –

ChatGPTを使っていると、 「このAIを自分のパソコンの中だけで動かせないの？」 と思うことがあります。 インターネット上のAIサービスへアクセスするのではなく、 AIモデルそのものをWindows PCへ保存して、自分のCPU・GPU・メモリを使って動かす。 これ...

ローカルLLMを始めたいと思ったとき、最初に気になるのがパソコンの性能です。 「普通のノートパソコンでも動くのか」 「GPUがなければ使えないのか」 「メモリとVRAMは何が違うのか」 「何GBあれば実用的なのか」 スペック表にはCPU、GPU、メモリ、VRAM、...