環境
macOS 12.6.5
準備
ver1.7は、そのままではインストールできなかったので修正します。
requirements_apple_intel.txtを開いて
この行を
https://github.com/oobabooga/llama-cpp-wheels/releases/download/metal/llama_cpp_python-0.2.31-cp311-cp311-macosx_12_0_x86_64.whl; platform_system == "Darwin" and platform_release >= "21.0.0" and platform_release < "22.0.0" and python_version == "3.11"
これに変更します。
https://github.com/abetlen/llama-cpp-python/releases/download/v0.2.33/llama_cpp_python-0.2.33-cp311-cp311-macosx_10_9_x86_64.whl; platform_system == "Darwin" and platform_release >= "21.0.0" and platform_release < "22.0.0" and python_version == "3.11"
ポートが1111と同じなので CMD_FLAGS.txt を変更します。
--cpu --listen --listen-port 7861
※--listenは、外部から接続する時に必要です。一台で使う場合は消してください。
インストール
コマンドプロンプトを起動してインストールしたいフォルダーに移動します。
私は、デスクトップのAIフォルダーにインストールしました。
cd ~/Desktop/AI
git clone https://github.com/oobabooga/text-generation-webui.git
cd text-generation-webui
start_macos.sh
ブラウザで localhost:7861 を開くと表示されます。
初期設定だと、GPT4Allの方が速い気がする。
設定
ダークモード解除
Sessionを開いてToggleボタンを押す。
Save UI defaults to settings.yamlボタンで保存する。
Modelタブ
llama.cpp
threads を CPUの物理コア数にする。私は、2
threads_batch をコアの合計数 (物理 + 仮想)にする。私は、8
Parameters
Generation
プリセット
指示用: Divine Intellect、Big O、simple-1。
チャット用: Midnight Enigma、Yara、Shortwave、Mirostat
gpt4allのデフォルト
temperature: 0.7
top_p: 0.4
top_k: 40
設定項目が無いパラメーター
Promt Batch Size:128
Repeat Penalty:1.18 repetition_penaltyかな？
Repeat Penalty Tokens:64
指示テンプレート
Parameters → Instruction template
gpt4all falconの場合は、Alpacaかな？
使い方
Chat
会話用
Parameters->Cjaracterで役割みたいなのを設定できる
Default
テンプレートに記入してくれる
Notebook
[デフォルト] タブとまったく同じですが、出力が入力と同じテキスト ボックスに表示される点が異なります。