【体験レポ】GPT-OSSを試してみたけど激重すぎて断念した話（Intel iMac 2019での挑戦）
今回は話題のGPT-OSSをローカル環境で動かしてみた体験について記載しようと思います。
導入しようと思った経緯としては、以下のようなメリットが考えられたからです。
・ローカルマシン上で起動してくれるのでネットワークの速度に影響せず動作する
・秘匿性の高い質問（例えば私の住所を含んだ質問）をしようとしたときに安全に使える
また、私のPCで期待した動作が保証できれば娘のPCにも導入して宿題や学習の相談などにも使えるのでは、と思ったことも理由の一つです。
結果としては、期待とは裏腹にパフォーマンスが非常に厳しく、残念ながら途中で断念することになりました。
同じようにローカルで大型言語モデルを試してみたい方の参考になればと思い、私の環境や試行錯誤の過程をまとめました。
目次
私の環境について
・マシン：iMac 2019（Intelチップ搭載モデル）
・メモリ：標準8GBのところを16GBに増設済み
安定したmacOSの環境は気に入っていますが、最近のApple Silicon搭載Macとは動作の前提が異なるため、そのあたりも試行時のポイントとなりました。
LM Studioを試すも、Intel Macでは非対応
最初に試したのは「LM Studio」というGUIツールの導入です。
公式サイトからダウンロードし、楽しみに起動を試みましたが…起動すらできませんでした。
調べてみると、LM StudioはAppleのM1/M2チップに最適化されており、Intelチップ搭載のMacでは動作しないとのこと。残念ながら、この時点でIntel Macユーザーは別の選択肢を探す必要がありました。
Ollama＋Open WebUIで再チャレンジ
次のアプローチとして、「Ollama」というコマンドラインツールを利用し、GPT-OSSモデルを動かす方法を試しました。
・Ollamaを公式サイトからダウンロードしてインストール。
・初回起動は少し時間がかかりましたが、無事に起動。
・続いて、ollama pull gpt-oss:20b コマンドでGPT-OSS 20Bモデルのダウンロードを開始。
このダウンロードには約30分ほどかかりました。モデルのサイズが大きいため時間がかかってはいますが、ここまでは順調に来れました。
いざ起動。しかし…
ollama run gpt-oss:20b コマンドでモデルを起動すると、最初の数分は「動きそうだ」と期待を持ちました。
しかし、ここから状況は一変します。
次のような挙動が起こるようになってしまいました。
・起動に異様に時間がかかり始める
・マシン全体が非常に重くなる
・他のアプリケーションが停止し始める
アクティビティモニターでリソースを確認すると、Ollamaがなんと13GBものメモリを消費していることが判明。これは16GBメモリのマシンには厳しすぎます。
やむなくアンインストールを決断
このままでは正常に使うのが難しいと判断し、Ollamaを強制終了しました。
その後、マシンの動作は安定を取り戻しましたが、GPT-OSSをローカルで快適に動かすには、この環境ではスペック不足であることを痛感しました。
結果として、速やかにOllamaおよびGPT-OSSをアンインストールしました。
まとめ
今回の体験から得られたポイントは以下の通りです。
・Intel iMac 2019（16GBメモリ）でのGPT-OSS実行は非常に厳しい。
・LM StudioはIntelチップ非対応であるため選択肢にならない。
・Ollama＋GPT-OSSもメモリ消費が激しく、起動に時間がかかりすぎる。
・本気でローカル実行したいなら、M1/M2 Macやより強力なGPU搭載マシンが望ましい。
大型言語モデルのローカル環境での運用は、思った以上にハードルが高いことを痛感しました。今後は、いままで通りブラウザ版で使おうと思います。
以上、GPT-OSS体験レポートでした。最後までお読みいただきありがとうございました。
