DFØ gjennomfører analyser av konkurransegrunnlag for å skaffe innsikt i hvordan klima- og miljøhensyn ivaretas i offentlige anskaffelser, i tråd med anskaffelsesforskriften. Tekstanalysen benytter et KI-verktøy for å identifisere krav og kriterier.
Bakgrunn og metode
Behovet for kunnskap om omfanget av grønne anskaffelser i Norge har vært kjent over lengre tid, og dette ble tydeliggjort av Riksrevisjonen i 2022. De konkluderte med at det mangler statistikk og styringsinformasjon om status for grønne offentlige anskaffelser. I tillegg har det i forbindelse med endring av anskaffelsesforskriften §7-9 oppstått et behov for bedre kunnskap om etterlevelsen av klima- og miljøhensyn i henhold til forskriften.
DFØ har derfor analysert anskaffelsesdokumenter (konkurransegrunnlag) ved hjelp av kunstig intelligens (KI) for å identifisere klima- og miljøkrav og -kriterier, samt unntaksbegrunnelser. Analyse av etterlevelse av blant annet hovedregelen om å vekte miljø med 30 % eller mer er utfordrende. Dette er fordi de vanligvis ikke oppgis i strukturerte felter, men snarere beskrives ustrukturert i ulike former i konkurransegrunnlagene. Derfor har det vært nødvendig å bruke KI til å forstå konteksten og dermed automatisk identifisere tildelingskriterier og vektingen som benyttes. I tillegg søker KI-modellen etter miljøkrav, kontraktsvilkår, kvalifikasjonskrav og unntaksbegrunnelser i henhold til anskaffelsesforskriften §7-9.
KI-løsningen som benyttes, er basert på GPT-4 Turbo 128k-modellen, og har blitt testet med ulike parametere. Det brukes et systemprompt som beskriver:
- hva ulike former for krav og kriterier er
- hvilke kategorier krav og kriterier kan tilhøre (bl.a. pris, klimagassutslipp, sirkulær økonomi, klimavennlig mat, mv.)
- hva unntaksbegrunnelse for uvesentlighet og for bruk av miljøkrav er
- hvordan modellen skal returnere svaret i et JSON-format
Løsningen er designet slik at den kjører daglig basert på nye data. Resultatene på denne nettsiden vil derfor bli oppdatert månedlig. Utvalget av konkurransegrunnlag er ikke komplett, men dekker omtrent 1/3 av kunngjøringer av konkurranser på Doffin. Vi har lastet ned og analysert data fra tre måneder i 2023 for å kunne lage en nullpunktsmåling, før endringer av anskaffelsesforskriften trådte i kraft. Systemet har også analysert anskaffelser fra midten av mars 2024 og framover. Resultatene inkluderer data frem til og med 13. august.
Siden utvalget er en mindre del av de totale anskaffelsene på Doffin, vil det være usikkerheter knyttet til skjevhet og representativitet. Likevel viser en gjennomgang at dette utvalget var noenlunde representativt for både virksomhetstype og størrelse, sammenliknet med andre kunngjøringer av konkurranse på Doffin.
Vi ser at KI-verktøyet plukker opp rett miljøvekting når den først finner tildelingskriteriene i konkurransegrunnlagene, men det er flere anskaffelser der den ikke finner noen tildelingskriterier. Vi baserer derfor våre beregninger kun på anskaffelsene der KI-verktøyet har funnet tildelingskriteriene. Samtidig er det usikkerheter knyttet til oppdeling av tildelingskriterier for klima og miljø, der KI-verktøyet kan misforstå vekting grunnet ulik oppsett og oppdeling av tildelingskriterier.
KI-verktøyet kategoriserer krav og kriterier i henhold til tema (hva de handler om). Verktøyet er gitt en liste med temaer den skal kategorisere innenfor, men modellen har laget mange nye temaer som er delvis like. Antall kategorier er derfor høyt. Listen over temaer som er antatt å handle om klima eller miljø og som er med i analysen, finnes i dokumentet under.
Behovet for tekstanalyse av ustrukturerte dokumenter kan reduseres framover ved bruk av kunngjøringsdata (eForms) fra Doffin. Strukturerte felter i eForms kan bli en viktig kilde til å måle etterlevelse etter § 7-9 dersom flere oppdragsgivere fyller ut frivillige felter om etterlevelse av forskriften, slik DFØ veileder om.
Usikkerhet
Data og statistikk fra KI-verktøyet om klima- og miljøhensyn er beheftet med usikkerhet. På overordnet nivå, der alle konkurranser er aggregert til statistikk, anslås usikkerheten som moderat, mens den på detaljnivå er høy. Vi har observert flere tilfeller der KI-verktøyet har gjort feil, enten ved at det ikke klarer å lese dokumenter, ikke finner krav og kriterier, eller ved at det kategoriserer krav og kriterier feilaktig. Manuelle gjennomganger viser at det er store forskjeller i usikkerhet mellom ulike innkjøpskategorier. Likevel, der KI-verktøyet har klart å identifisere krav og kriterier korrekt (det vil si at rett dokument har blitt forstått), er resultatene i hovedsak riktige.
Vi anslår derfor at usikkerheten i statistikken om miljøvekting med 30 % til å være lav, mens usikkerheten i funn av miljøkrav er moderat. Grunnen til at miljøkrav er mer krevende å estimere enn miljøvekting, er både fordi det er utfordrende å kategorisere noe som miljørelatert (altså en vurdering av intensjon), og fordi ambisjonsnivået spiller inn (om kravene fører til reelle klima- eller miljøeffekter). KI-verktøyet har ikke tatt høyde for ambisjonsnivået, men har kun kategorisert krav og kriterier etter tema.
Utvikling over tid
Resultatene viser en tydelig trend mot økt bruk av klima- og miljøhensyn i offentlige anskaffelser. Andelen anskaffelser hvor miljø vektes med 30 % eller mer, som er hovedregelen i forskriften, har økt markant fra 2023 til 2024 (blå linje i figuren under). Mens dette tidligere utgjorde en liten andel av anskaffelsene, ser vi nå at omtrent 30 % av anskaffelsene følger hovedregelen. Bruken av miljøkrav har også økt, fra omtrent halvparten av anskaffelsene i 2023 til rundt 60 % i 2024. Merk at KI-verktøyet ikke har vurdert ambisjonsnivået til kravene, og har derfor en liberal tolkning av miljøkrav. Vi finner samtidig at innholdet i kravene ser ut til å endre seg over tid (se neste del).
Totalt sett har omtrent 75 % av anskaffelsene en miljøvekting på 30 % og/eller inkluderer miljøkrav i 2024 (grønn linje), sammenlignet med rundt 50 % i 2023. Dette indikerer et økende fokus på klima- og miljøhensyn i offentlige anskaffelser, i tråd med anskaffelsesforskriften. Figuren viser også andelen som benytter andre former for klima- og miljøhensyn (gul linje). Dette inkluderer anskaffelser som kun har en lav miljøvekting eller som stiller kvalifikasjonskrav knyttet til miljø. Andelen slike anskaffelser har blitt halvert fra 2023 til 2024. Samtidig har andelen anskaffelser uten noen form for klima- og miljøhensyn (grå linje) også nesten blitt halvert, fra i underkant av 40 % i 2023 til rundt 20 % i 2024.
Hva miljøkrav og -kriterier handler om
Analysen omfatter mer enn 5600 miljøkrav og 370 miljøkriterier i månedene april, mai og juni i 2023 og 2024, der KI-verktøyet har kategorisert kravene og kriteriene etter hva de handler om. Her er det betydelig usikkerhet, da krav kan handle om flere hensyn, og KI-verktøyet kan feiltolke intensjonen i kravene. Til tross for denne usikkerheten ser vi tydelige økning i bruk av krav og kriterier mellom 2023 og 2024, i tillegg til endringer i hva kravene og kriteriene handler om.
I bruken av miljøkrav har det vært en tydelig økning i antallet krav, med økning innenfor alle kategorier, bortsett fra forurensning. Miljøstyring er den største kategorien, og inkluderer temaer som miljøledelse, miljøsertifisering, miljøansvarlig, og at leverandøren skal arbeide på en bærekraftig måte. Det er spesielt stor økning innenfor krav som handler om klimagassutslipp, der dette inkluderer for eksempel lavutslipps- eller nullutslippskjøretøy og anleggsmaskiner, ladestasjoner og tomgangskjøring. Kategorien "Andre klima- og miljøkrav" inkluderer krav som ikke har blitt nærmere kategorisert enn å omhandle klima og miljø, og kan derfor være feilplassert.
Bruken av miljøvekting med 30 % eller mer har hatt en stor økning siden 2023. Dette gjelder spesielt kategorien "Andre klima- og miljøkrav", som inkluderer krav som ikke har blitt nærmere kategorisert enn å omhandle klima og miljø, og kan derfor være feilplassert. Også for kriterier ser vi en stor økning i fokus på klimagassutslipp.
Unntak fra bestemmelsen når klimaavtrykket og miljøbelastningen er uvesentlig
Etter FOA §7-9 (5) kan oppdragsgivere velge å ikke bruke miljøvekting eller miljøkrav i anskaffelsen sin hvis anskaffelsen etter sin art har et uvesentlig klimaavtrykk og miljøbelastning. Dette må da begrunnes i anskaffelsesdokumentene. Analysen viser at det i juli, som er siste hele måned med data, har 16 % av anskaffelsene begrunnelse for å ikke bruke miljøvekting eller -krav (mørkeblå linje).
Figuren over viser at utviklingen av bruken av unntak grunnet uvesentlig klimaavtrykk og miljøbelastning i stor grad følger utviklingen av andelen av anskaffelsen uten miljøhensyn (grå). Det er likevel noen anskaffelser som ikke inneholder miljøvekting eller -krav, og heller ikke har en begrunnelse for unntak. Dette kan bidra til å forklare gapet mellom linjene i figuren som viser anskaffelser uten miljøhensyn og anskaffelser hvor KI-verktøyet finner en begrunnelse knyttet til uvesentlig klimaavtrykk og miljøbelastning.
Innkjøpskategorier
Blant innkjøpskategoriene som er analysert er det store variasjoner i om klima og miljø hensyntas i anskaffelsene. Det store bildet viser at anskaffelser innen innkjøpskategorier med betydelig klima- og miljøbelastning bruker i større grad enten minst 30 % miljøvekting eller miljøkrav.
I kategorier som omhandler tjenesteanskaffelser, for eksempel konsulenttjenester og andre tjenester, er det vesentlig mindre bruk av 30 % miljøvekting eller miljøkrav (grønn stolpe) sammenlignet med innkjøpskategorier som omhandler produktanskaffelser. Dette samsvarer med det som står i veilederen til DFØ om at man skal vurdere anskaffelsens art når man skal vurdere klima- og miljøhensyn, og at det ofte er ubetydelig miljøbelastning og klimaavtrykk i slike anskaffelser.
Innkjøpskategorier – praksis i mer detaljer
Når en ser nærmere på hva som gjøres innenfor de ulike innkjøpskategoriene, ser vi at innenfor alle kategoriene anvendes det miljøkrav i større grad enn miljøvekting. Analysen viser også at det er brukt miljøvekting i alle innkjøpskategoriene, også de som har en lav eller ubetydelig miljøbelastning og klimaavtrykk.
Hvis oppdragsgivere ønsker å bruke miljøkrav i stede for 30 % miljøvekting må dette begrunnes i anskaffelsesdokumentene. Analysen finner at noen innkjøpskategorier har lav bruk av hovedregel i tillegg til høy bruk av miljøkrav, men fortsatt lav forekomst av unntaksbegrunnelser (for eksempel innkjøpskategorien "Annet utstyr og produkter" i figuren over).
Over og under EØS-terskelverdi
Analysen gjør det mulig å skille på anskaffelser over og under EØS-terskelverdi, der anskaffelsene bruker ulike skjemaer i kunngjøringene som ligger på Doffin. Resultatene viser at det er små forskjeller på praksis mellom over og under EØS-terskelverdi. Dette vitner om at oppdragsgiverne praktiserer anskaffelsesforskriften §7-9 relativt likt uavhengig av om det er en nasjonal kunngjøring eller om den i tillegg skal kunngjøres i EU gjennom TED.
Endringen av anskaffelsesforskriften §7-9 har fått betydelig oppmerksomhet, noe som sannsynligvis har bidratt til tilsvarende etterlevelsen både over og under EØS-terskelverdien.