To-trinns destillasjonspipeline
NorwAI-modellen produseres gjennom en to-trinns destillasjonsprosess. Hvert trinn har et distinkt formål: Trinn 1 komprimerer generell intelligens, Trinn 2 injiserer norsk domeneekspertise.
Trinn 1: Knowledge Compression (27B → 7B)
Qwen 2.5-27B-modellen fungerer som lærer i Trinn 1. Dette er en modell med 27 milliarder parametere med sterke flerspråklige evner og dokumentert kompetanse innen juridisk og analytisk resonnering. Læreren behandler et kuratert datasett med juridiske dokumenter og genererer Chain-of-Thought (CoT) treningspar i JSONL-format.
Lærerens rolle er pedagogisk: den produserer strukturerte resonneringsspor som avslører hvordan en stor modell analyserer juridisk tekst — identifiserer relevante lovbestemmelser, kryssrefererer presedens, evaluerer prosessuell etterlevelse, og når konklusjoner. Disse resonneringssporene blir treningssignalet for eleven.
Eksempel på generering av treningspar:
7B-elevmodellen lærer fra lærerens resonneringsspor via LoRA-finjustering. Resultatet er Alpha-modell v0.1 — en kompakt modell som har internalisert 27B-lærerens analytiske tilnærming, men kjører med omtrent 4× høyere inferenshastighet.
På dette stadiet er Alpha v0.1 en generell juridisk resonneringsmodell. Den kan analysere juridiske tekster og produsere strukturert resonnering, men har enda ikke spesialisert kunnskap om norsk lovgivning, terminologi eller prosedyrenormer. Det er dette Trinn 2 tilfører.
| Parameter | Verdi | Begrunnelse |
|---|---|---|
| LoRA Rank | 48 | Balansert for juridisk resonnering uten overparametrisering |
| LoRA Alpha | 96 | Alpha/rank-forhold 2.0 for konsistent adapterskalering |
| Målmoduler | q, k, v, o, gate, up, down | Full attention + MLP for omfattende resonneringsoverføring |
| Læringsrate | 2 × 10-4 | Noe høyere enn CO2-modellen grunnet større domenomfang |
| Kontekstlengde | 4 096 tokens | Tilstrekkelig for juridiske dokumentutdrag + CoT-blokker |
| Treningsdata | ~3 000 par | Blanding av juridiske spørsmål/svar, resonneringskjeder og grenseeksempler |
Trinn 2: Norsk juridisk finjustering
Trinn 2 tar Alpha v0.1-modellen og anvender en ny runde med LoRA-finjustering med et kuratert norsk juridisk korpus. Dette korpuset inkluderer:
Primærlovgivning
Barnelova, Barnevernsloven, Menneskerettsloven, Forvaltningsloven
Rettspraksis og avgjørelser
EMD-avgjørelser (Strand Lobben mot Norge, Abdi Ibrahim mot Norge), Høyesteretts familierettslige presedenser
Regulatorisk veiledning
Bufdirs retningslinjer, Barneombudets rapporter, kommunale barnevernstjenesters prosedyremanualer
Språktrening
Norsk juridisk terminologi på bokmål og nynorsk, profesjonelt register for offentlig og akademisk publikum, tospråklige EN↔NO oversettelsespar
Resultatet er NorwAI Alpha v0.1-NO: en 7B-modell som kombinerer 27B-lærerens resonneringsevner med dyp kunnskap om norsk familierett, barnevernsprosedyrer og tospråklig norsk-engelsk kompetanse. Den leser og responderer som en norsk juridisk fagperson, ikke en generisk chatbot.
