ツール — 002

ローカルLLMを試す前に確認する4点

手元で動かす利点と、そこで詰まりやすい場所を先に並べます。

手元の端末でモデルを動かすと、外部に文章を出さずに試せます。ただし詰まる場所がはっきりしているので、始める前に4点だけ確認します。

01メモリとモデルサイズ

動かせるかどうかは、ほぼメモリで決まります。搭載量の半分を超えるモデルは、他の作業と同時に使うと落ちます。まず小さめのモデルで動きを見て、必要なら上げます。

ファイルサイズを落とす形式がいくつかあり、落とし方によって日本語の崩れ方が変わります。同じモデル名でも別物になるので、配布ページの説明を読みます。

英語中心に調整されたモデルは、日本語で急に崩れます。日本語のやり取りが主なら、最初から日本語を含むデータで調整されたものを選びます。

GUIのアプリから入ると、設定の意味が見えにくいまま終わります。コマンドで一度動かすと、どこで何が起きているかが分かります。ここを飛ばすと、あとで詰まったときに手が止まります。

社外に出したくない文の整形や、言い換えの試行には向きます。一方で、重い推論や長い文書の要約は、手元の計算資源では厳しいままです。用途を絞って使います。

小さく始める、配布ページを読む、コマンドで一度動かす。この順番を守れば、環境構築で一日を溶かすことは減ります。