Hugging Face Hub
Største åpne modellbiblioteket. Her ligger safetensors, GGUF og mange andre formater, med modellkort og lisensfiler.
Norsk referanse for lokal AI — registre, planer og ærlige tester.
Kilder til lokale modeller
Hubber, kvantiseringskilder, kjøreverktøy og norske modeller — pluss et grovt minnefilter og en GPU-oversikt.
Sist sjekket:
Lisens først. Hver modell har egen lisens. Les filen på modellkortet før kommersiell bruk. Se også lisensregisteret. Tall for minne er omtrentlige og avhenger av kvantisering og kontekstlengde.
Modellbiblioteker og hubber
Ollama Library
Katalog over modeller du kan hente med ollama pull. Enkel for lokal kjøring; typisk GGUF under panseret.
LM Studio
Skrivebordsapp med grafisk grensesnitt for å søke, laste ned og kjøre lokale modeller (bl.a. GGUF og MLX), med lokal server. GUI-alternativ til Ollama.
ModelScope
Alibabas modellhub med mange kinesiske og internasjonale modeller. Nyttig speil når Hugging Face er tregt.
Kaggle Models
Modellkatalog hos Kaggle. Krever ofte Kaggle-konto for nedlasting.
NVIDIA NGC / build.nvidia.com
NVIDIAs kataloger for containere, SDK-er og modeller. Relevant for CUDA- og Jetson-miljøer.
NVIDIA Jetson AI Lab
Oppskrifter og containere for lokal AI på Jetson (Orin m.fl.). Passer edge og lavt strømforbruk.
Civitai
Hub for bildemodeller (Stable Diffusion m.m.). Mye brukergenerert innhold — sjekk lisens og innholdsmoderering selv.
GPT4All
App og modellkatalog for lokal chat på vanlig PC. Åpen kildekode (MIT for klienten); modellene har egne lisenser.
Jan
Åpen skrivebordsapp for lokal AI-chat med støtte for flere runtimes og modellkatalog.
Kvantiserte varianter (Hugging Face)
Disse organisasjonene publiserer ofte ferdige GGUF/MLX-varianter. Sjekk alltid hvilken base-modell og lisens checkpointen arver.
bartowski
Aktiv Hugging Face-organisasjon med mange GGUF-kvantiseringer (ofte Q4/Q5/Q8) klare for llama.cpp og Ollama-lignende verktøy.
unsloth
Organisasjon kjent for effektive finjusteringsverktøy og utgitte kvantiserte/optimaliserte modellvarianter på Hugging Face.
lmstudio-community
Fellesskapskvantiseringer tilpasset LM Studio, typisk GGUF på Hugging Face.
mlx-community
MLX-konverterte modeller for Apple Silicon (Metal/unified memory).
ggml-org
Organisasjonen bak ggml/llama.cpp-økosystemet på Hugging Face — nyttig for GGUF-relaterte ressurser.
Verktøy for å laste ned og kjøre
llama.cpp
C/C++-runtime for lokale LLM-er med bred GGUF-støtte på CPU og GPU (CUDA, Metal, Vulkan m.m.).
Ollama
Enkel CLI og lokal API for å hente og kjøre modeller. LM Studio er det vanlige GUI-alternativet.
LM Studio
Grafisk app for nedlasting og lokal kjøring, med innebygd server. Passer deg som vil slippe terminalen.
MLX / mlx-lm
Apples rammeverk og Python-verktøy for modeller på Apple Silicon med unified memory.
vLLM
Høyytelses inferensmotor, mest brukt på Linux med NVIDIA-GPU. Mer serverorientert enn hobby-GUI-er.
KoboldCpp
Enkel app bygget rundt llama.cpp, populær til lokal tekstgenerering med GUI.
Open WebUI
Nettbasert chat-grensesnitt du kan koble til Ollama eller andre lokale backends.
Norske og nordiske modeller
NorwAI (HF)
Norske LLM-er fra SFI NorwAI (bl.a. Mistral-7B-instruct). Sjekk modellkort og vilkår før bruk — lisensfeltet er ikke alltid utfylt i API-et.
NbAiLab
Nasjonalbibliotekets AI-lab på Hugging Face. Blant annet nb-whisper for norsk tale-til-tekst (Apache 2.0).
NorMistral (LTG UiO)
Åpen norsk LLM-familie fra Language Technology Group / NORA.LLM. NorMistral-11B-warm er merket Apache 2.0 på Hugging Face.
NorBERT3 (LTG)
Norske encoder-modeller (ikke chat-LLM) for klassifisering og liknende NLP-oppgaver. Apache 2.0.
Modeller etter minne
Omtrentlig minnebehov for populære åpne modeller. Q4-tall er fortrinnsvis Ollama-filstørrelse (typisk 4-bit-kvant). Q8 er grovt estimat (~dobbelt vekter + litt overhead) der vi ikke har egen filstørrelse. Unified memory (Mac, Jetson) deles med operativsystemet — legg inn margin.
Tallene er omtrentlige og avhenger av kvantisering, kontekstlengde og runtime. Filtrer under krever JavaScript; uten JS vises hele tabellen.
| Modell | Parametre | ≈ Q4 | ≈ Q8 | Lisens | Lenke | Kilder |
|---|---|---|---|---|---|---|
| Llama 3.2 1B | 1B | ~1,3 GB | ~2,5 GB | Llama 3.2-lisens (sjekk HF-kort) | Modellside | Ollama, HF |
| Llama 3.2 3B | 3B | ~2,0 GB | ~4,5 GB | Llama 3.2-lisens (sjekk HF-kort) | Modellside | Ollama, HF |
| Llama 3.1 8B | 8B | ~4,9 GB | ~10 GB | Llama 3.1 Community | Modellside | Ollama, HF |
| Llama 3.1 70B | 70B | ~43 GB | ~85 GB | Llama 3.1 Community | Modellside | Ollama, HF |
| Qwen2.5 3B | 3B | ~1,9 GB | ~4,5 GB | Qwen Research / ikke Apache — ofte begrenset kommersielt | Modellside | Ollama, HF |
| Qwen2.5 7B | 7B | ~4,7 GB | ~9 GB | Apache 2.0 (denne størrelsen) | Modellside | Ollama, HF |
| Qwen2.5 14B | 14B | ~9,0 GB | ~18 GB | Apache 2.0 (denne størrelsen) | Modellside | Ollama, HF |
| Qwen2.5 32B | 32B | ~20 GB | ~40 GB | Apache 2.0 (denne størrelsen) | Modellside | Ollama, HF |
| Qwen3 8B | 8B | ~5,2 GB | ~10 GB | Apache 2.0 (HF-kort) | Modellside | Ollama, HF |
| Gemma 2 2B | 2B | ~1,6 GB | ~3,5 GB | Gemma Terms | Modellside | Ollama, HF |
| Gemma 2 9B | 9B | ~5,4 GB | ~12 GB | Gemma Terms | Modellside | Ollama, HF |
| Gemma 2 27B | 27B | ~16 GB | ~35 GB | Gemma Terms | Modellside | Ollama, HF |
| Gemma 3 4B | 4B | ~3,4 GB | ~6 GB | Gemma Terms (HF: gemma) | Modellside | Ollama, HF |
| Gemma 3 12B | 12B | ~8,2 GB | ~16 GB | Gemma Terms (HF: gemma) | Modellside | Ollama, HF |
| Mistral 7B | 7B | ~4,4 GB | ~9 GB | Apache 2.0 | Modellside | Ollama, HF |
| Mistral Small 24B | 24B | ~14 GB | ~28 GB | Apache 2.0 | Modellside | Ollama, HF |
| Phi-3.5 mini | 3,8B | ~2,2 GB | ~5 GB | MIT | Modellside | Ollama, HF |
| Phi-4 14B | 14B | ~9,1 GB | ~18 GB | MIT (HF-kort) | Modellside | Ollama, HF |
| DeepSeek-R1 distill 8B | 8B | ~5,2 GB | ~10 GB | MIT (HF-kort for Distill-Llama-8B / tilsvarende) | Modellside | Ollama, HF |
| DeepSeek-R1 distill 14B | 14B | ~9,0 GB | ~18 GB | Sjekk konkret HF-kort (varierer per distill-base) | Modellside | Ollama, HF |
| DeepSeek-R1 distill 32B | 32B | ~20 GB | ~40 GB | Sjekk konkret HF-kort | Modellside | Ollama, HF |
| gpt-oss 20B | 20B | ~14 GB | — | Apache 2.0 (HF-kort) | Modellside | Ollama, HF |
| gpt-oss 120B | 120B | ~65 GB | — | Apache 2.0 (HF-kort) | Modellside | Ollama, HF |
| NorMistral 11B warm | 11B | ~7 GB | ~13 GB | Apache 2.0 | Modellside | HF (estimat Q4) |
| NorwAI-Mistral-7B-instruct | 7B | ~4,5 GB | ~9 GB | Sjekk lisens på modellkortet (ikke satt i HF API) | Modellside | HF (estimat Q4) |
GPU-er for lokal kjøring
For lokale LLM-er er VRAM (eller unified memory) det viktigste tallet. Modellen bør helst få plass der; ellers lastes deler til system-RAM og kjøringen blir tregere. Bruk minnefilteret over mot VRAM-en din, og husk margin til kontekst og OS.
Typer maskinvare
NVIDIA GeForce (RTX 30/40/50)
Vanlige spillkort. VRAM-klasser rundt 8, 12, 16 og 24 GB er vanlig i 40-serien; sjekk alltid produsentens spesifikasjon for akkurat ditt kort. GeForce-oversikt · 40-serien · 50-serien.
NVIDIA arbeidsstasjon (RTX A / Ada)
Kort ment for arbeidsstasjoner, ofte mer VRAM og andre driverrutiner. Se NVIDIA RTX for design.
NVIDIA Jetson
Innebygde kort (f.eks. Orin) med unified memory og lavt strømforbruk. Se Jetson Orin, Jetson AI Lab og vår byggeplan.
Apple Silicon — unified memory
CPU og GPU deler én minnepool. Det gjør det ofte billigere å få mange GB til lokale modeller enn med et separat NVIDIA-kort — men Mac er vanligvis tregere på prompt/compute enn sterke CUDA-GPU-er, og uten CUDA faller mange serververktøy (f.eks. typisk vLLM) bort. Kjør med MLX, llama.cpp (Metal), Ollama eller LM Studio (MLX-motor).
| Unified memory | Omtrentlig modell (Q4) |
|---|---|
| ~32 GB | ~14B |
| ~64 GB | ~32B |
| ~128 GB | ~70B |
AMD Radeon
Støtte via ROCm eller Vulkan finnes, men er mer variabel enn CUDA. Start med ROCm-dokumentasjon og Radeon-oversikt.
Intel Arc / CPU-only
Arc og CPU kan brukes via OpenVINO, Vulkan eller ren CPU i llama.cpp — tregere, men greit for små modeller. Verktøy: OpenVINO · dokumentasjon.
Hvorfor NVIDIA passer godt — og ulempene
CUDA er standarden de fleste verktøy bygger for først (llama.cpp CUDA, vLLM, PyTorch, TensorRT-LLM). Økosystemet er stort, og det finnes flest guider og feilrettinger. Tensor-kjerner og høy minnebåndbredde hjelper på større modeller. Ulemper: høy pris per GB VRAM, merkbart strømforbruk, og rimelige kort har ofte for lite VRAM til store modeller. Se CUDA Zone.
VRAM / minne → hva du typisk kan kjøre
| Minneklasse | Typisk bruk (Q4-ish) |
|---|---|
| ≤ 4 GB | 1–3B-modeller (f.eks. Llama 3.2 1B/3B, Gemma 2 2B) |
| ≤ 8 GB | 7–9B-klassen (Llama 3.1 8B, Qwen2.5 7B, Gemma 2 9B) |
| ≤ 16 GB | Opp mot ~14–24B (Qwen2.5 14B, Mistral Small, gpt-oss 20B) |
| ≤ 32 GB | Rundt 27–32B (Gemma 2 27B, Qwen2.5 32B) |
| ≤ 64 GB | Store 70B-kvantiserte (Llama 3.1 70B) med lite margin |
| > 64 GB | Svært store vekter (f.eks. gpt-oss 120B-kvant) eller lange kontekster |