begrep
Kvantisering
Å redusere tallpresisjonen i modellvektene (f.eks. til 4-bit) for å bruke mindre minne. Kan gi litt kvalitetstap.
Norsk referanse for lokal AI — registre, planer og ærlige tester.
Ordbok
Korte norske forklaringer av ord, verktøy og formater du møter når du bygger lokal AI.
Sist sjekket:
Hvert kort har type, kort forklaring og lenke. Verktøy og modeller viser lisens fra offisiell kilde der vi har verifisert den. Se også kilder og lisenser.
filformat
GGUF
Filformat brukt med llama.cpp for å pakke (ofte kvantiserte) vekter i én fil som er enkel å laste lokalt.
begrep
Token
Minste tekstbit modellen leser eller skriver. Et norsk ord kan være ett eller flere tokens.
begrep
Kontekstvindu
Hvor mange tokens modellen kan holde samtidig. Større vindu krever mer minne (VRAM/RAM).
begrep
Inferens
Å kjøre en ferdigtrent modell for å generere svar — i motsetning til trening.
begrep
VRAM
Minne på grafikkortet. Lokale LLM-er bør helst få plass her; ellers blir det tregere via system-RAM.
begrep
Unified memory
Felles minne for CPU og GPU (Mac, Jetson). OS og modell deler samme budsjett — legg inn margin.
begrep
Harness
Rammeverk eller agent-skall rundt en modell: verktøy, minne og grensesnitt — ikke selve vektene.
begrep
Runtime
Programvaren som laster og kjører modellen (llama.cpp, Ollama, MLX, vLLM …).
verktøy
Ollama
CLI og lokal API for å hente og kjøre modeller, ofte via GGUF. LM Studio er det vanlige GUI-alternativet.
verktøy
LM Studio
Skrivebordsapp med grafisk grensesnitt for å søke, laste ned og kjøre lokale modeller (GGUF/MLX m.m.) med lokal server.
verktøy
llama.cpp
C/C++-runtime for lokale LLM-er med bred GGUF-støtte på CPU og GPU.
begrep
LoRA
Low-Rank Adaptation: lett finjustering via små adapter-matriser i stedet for hele modellen.
begrep
RAG
Retrieval-Augmented Generation: hent egne dokumentbiter og gi dem til modellen som kontekst.
begrep
Embedding
Tallvektor som representerer tekstbetydning. Brukes til søk og RAG.
begrep
TOPS
Tera Operations Per Second — markedsføringstall for akseleratorer. Ikke det samme som tokens/s i praksis.
maskinvare
Jetson
NVIDIAs innebygde datamaskiner med GPU for edge/AI. Unified memory og lavt strømforbruk.
verktøy
MLX
Apples maskinlæringsrammeverk for Apple Silicon (unified memory), med mlx-lm for språkmodeller.
verktøy
vLLM
Inferensmotor for høy gjennomstrømming, typisk på Linux med NVIDIA-GPU.
modell
Whisper
OpenAIs tale-til-tekst-familie. Kjører lokalt via faster-whisper, whisper.cpp m.fl.
verktøy
faster-whisper
Rask Whisper-implementasjon (CTranslate2) for lokal tale-til-tekst på CPU eller GPU.
begrep
Agent
System som bruker en modell med verktøy og flere steg — mer enn én chat-respons.
begrep
Finjustering
Å trene videre på en ferdig modell med egne data. Tyngre enn inferens; LoRA er en lett variant.
begrep
Checkpoint
En lagret versjon av modellvekter. Alltid sjekk LICENSE for akkurat den filen.