Så let kører du DanskGPT på din laptop

Du skal have et basalt kendskab til brug af kommandolinjen på din computer.

Følgende skulle fungere på MacOS og Linux. På Windows er det muligvis nødvendigt med mindre modifikationer.

Installer Ollama #

Ollama er en slags ramme om de enkelte sprogmodeller og Ollama gør det nemt at installere de enkelte modeller lokalt. Som navnet antyder fungerede Ollama indledningsvist med facebooks frigivne Llama LLM, men understøtter nu et utal af afledte modeller.

Gå i din kommandolinje og udfør følgende:

curl -fsSL https://ollama.com/install.sh | sh

Når Ollama er på plads, er det på tide at installere Mads Henrichsens danskGPT ved hjælp af Ollama:

ollama run mhenrichsen/danskgpt-tiny-chat

Så får du et lille prompt hvor du kan interagere med modellen i din kommandolinje.

Ønsker du et interface som minder mere om det de fleste kender fra den gratis udgave af OpenAI’s ChatGPT, så kan du installere open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI), men det køres som regel i docker og er for omfattende at komme omkring her.

Bonus - brug danskGPT i AIChat #

Jeg bruger selv mest AIChat som jeg har integreret med Nushell så jeg kan løse nogle mere komplekse opgaver end bare chat.

Vil du bruge DanskGPT med AIChat og Ollama, skal du ændre config.yaml for AIChat hvor du skal tilføje følgende under clients:

- type: ollama
  api_base: http://localhost:11434
  models:
    - name: mhenrichsen/danskgpt-tiny-chat

Start nu aichat med DanskGPT

aichat --model ollama:mhenrichsen/danskgpt-tiny-chat

Læs mere om AIChat · Kiils