I dette vedlegget finner du forklaringer på 30 prosent vekting, evalueringsmetodikk, ulike modeller og eksempler.
1. Evalueringsmetodikk
DFØ mener at hovedregelen om å vekte miljø minimum 30 prosent ikke hindrer bruk av evalueringsmodeller som prissetter kvalitet, og dermed ikke oppgir den relative vektingen i prosent. Oppdragsgiver kan velge å regne om fra en poengmodell for å finne nivået for påslag eller fratrekk, men det må også være mulig å begrunne konkret hvorfor den valgte modellen ivaretar kravet til 30 prosent vekt.
1.1 Hva betyr det å vekte 30 prosent?
Ved å gi tildelingskriteriene en relativ vekt, gir oppdragsgiver uttrykk for at noen egenskaper ved ytelsen er viktigere enn andre. Denne informasjonen er nyttig for leverandørene, fordi det gir dem mulighet til å tilpasse tilbudene sine, slik at de både tilfredsstiller oppdragsgivers ønsker, og gir dem større mulighet til å vinne konkurransen.
Regelverket for offentlige anskaffelser har ikke beskrevet hvordan den relative vektingen skal oppgis, og hvordan evalueringen skal gjennomføres. Fagmiljøene har derfor utviklet forskjellige metoder for evaluering, med tilhørende metoder for å uttrykke relativ vekt.
Nye § 7-9 bestemmer at klima- og miljøhensyn skal vektes med minimum 30 prosent. Det innebærer noen evalueringsmessige utfordringer som forskriften ikke gir løsninger på. Det er hovedsakelig to spørsmål som må besvares:
- Hvordan ivareta krav til 30 prosent vekt, når regelverket ikke gir nærmere veiledning om hvordan man beregner hva som tilsvarer 30 prosent?
- Hvordan ivareta krav til 30 prosent vekt, hvis man bruker evalueringsmodeller som ikke oppgir vektingen i prosent?
1.2 Hva tilsvarer 30 prosent vekt?
Et fellestrekk ved de aller fleste evalueringsmodellene er at tilbudenes styrker og svakheter sammenliknes indirekte. Et forsprang som et tilbud får på priskriteriet som følge av lav pris, kan utlignes av forsprang som et annet tilbud med bedre kvalitet får på kvalitetskriteriet.
Det er en rekke modeller for evaluering anses lovlige. Du kan lese mer om forskjellige modeller i DFØs veileder i evaluering av tilbud. Siden modellene har ulike metoder for belønning av meroppfyllelse av tildelingskriteriene, kan forskjellige modeller gi forskjellige resultater ved evaluering av de samme tilbudene. Dette er en konsekvens av at det foreløpig ikke finnes en universelt anerkjent evalueringsmodell, som er egnet i alle anskaffelser. De forskjellige modellene har styrker og svakheter, og egner seg i forskjellige typer anskaffelser.
De grunnleggende forskjellene mellom modellene er hva som skal til for å få maksimal uttelling på et tildelingskriterium, og hvilke forskjeller mellom tilbudene som skal tilsvare ett poeng (eller tilsvarende) uttelling.
I de fleste modellene vil maksimumsnivået også fungere som en referanseramme som påvirker uttellingen for annen oppfyllelse av tildelingskriteriet. De relative evalueringsmodellene gir maksimal uttelling til det beste tilbudet i konkurransen og bruker dette nivået som en referanseramme. De absolutte evalueringsmetodene fastsetter nivået for maksimal uttelling uavhengig av tilbudene i konkurransen og gir maksimal uttelling til et tenkt idealtilbud som også brukes som referanseramme.
At forskjellige modeller gir ulike resultater ved evaluering av de samme tilbudene, kan eksemplifiseres slik:
Eksempeltilbudenes priser skal evalueres med fire forskjellige modeller som gir dem poeng fra 1-10. Pris skal ha 30 prosent vekt. Prisene som har kommet inn ser slik ut:
| Tilbud | Pris (kroner) |
|---|---|
| A | 900 000 |
| B | 1 100 000 |
| C | 1 500 000 |
Først evalueres tilbudene ved bruk av en relativ lineær modell, hvor tilbudet med lavest pris gis 10 poeng, og det dobbelte gis 0 poeng:
| Tilbud | Pris (kroner) | Poeng | Vektet poeng (30 %) |
|---|---|---|---|
| A | 900 000 | 10 | 3 |
| B | 1 100 000 | 7,78 | 2,33 |
| C | 1 500 000 | 3,33 | 1 |
Deretter evalueres tilbudene ved buk av en relativ lineær modell, hvor tilbudet med lavest pris gis 10 poeng, og 50 prosent høyere pris gir 0 poeng:
| Tilbud | Pris (kroner) | Poeng | Vektet poeng (30 %) |
|---|---|---|---|
| A | 900 000 | 10 | 3 |
| B | 1 100 000 | 5,56 | 1,67 |
| C | 1 500 000 | -3,34 | -1 |
Noen ganger kan det være hensiktsmessig for oppdragsgiver å bruke en lineær modell hvor tilbudet med lavest pris gis 10 poeng og 200 prosent høyere pris gir 0 poeng:
| Tilbud | Pris (kroner) | Poeng | Vektet poeng (30 %) |
|---|---|---|---|
| A | 900 000 | 10 | 3 |
| B | 1 100 000 | 8,89 | 2,67 |
| C | 1 500 000 | 6,67 | 2 |
De samme tilbudene evalueres så med en lineær absolutt modell. I eksempelet har oppdragsgiver på forhånd bestemt at tilbud på 500 000 kroner eller lavere får 10 poeng, og tilbud på 1 500 000 kroner eller høyere får 0 poeng:
| Tilbud | Pris (kroner) | Poeng | Vektet poeng (30 %) |
|---|---|---|---|
| A | 900 000 | 6 | 1,8 |
| B | 1 100 000 | 4 | 1,2 |
| C | 1 500 000 | 0 | 0 |
Som det fremgår av eksemplene gir modellene tilbudene ulik poengscore og ulike poengforskjeller mellom tilbudene. Det er poengforskjellene som får betydning når uttellingen på priskriteriet holdes opp mot uttellingen på de andre tildelingskriteriene. Hvis det var liten poengforskjell på kvalitetskriteriene, kunne valget av modell for evalueringen av priskriteriet blitt avgjørende for utfallet av konkurransen.
Ideelt sett skulle det fantes et vektet poengtall som var «korrekt» for det enkelte tilbudet i enhver anskaffelse. Det vil si en fasit, som man kunne sjekke evalueringen mot, og avgjøre om det var gjort riktig eller ikke. Det finnes dessverre ikke en slik fasit, fordi evalueringen er en konkret vurdering, hvor målet er å måle pris- og kvalitetsforskjeller opp mot hverandre. Både EU-domstolen og norske domstoler har anerkjent at oppdragsgiveren trenger et skjønnsmessig handlingsrom for å finne de best egnede modellene. Den rettslige kontrollen knytter seg ikke til valg av modell, men til modellenes utslag. Modellene skal utmåle poeng (eller lignende) som gjenspeiler de relevante forskjellene mellom tilbudene.
Når man ikke har et fasitsvar på hvordan man bestemmer evalueringsmodell, eller hvilke forskjeller som skal gi 1 poengs uttelling, er det heller ikke noe fasitsvar på hvordan pris og kvalitet (inkludert miljø) skal holdes opp mot hverandre. Det gjør det også noe usikkert hva det – helt konkret – betyr at miljø er vektet 30 prosent.
At det ikke finnes en fasit på hva som utgjør 30 prosent innebærer på den annen side at oppdragsgivere, også etter innføringen av kravet om 30 prosent miljøvekt, må kunne fortsette å bruke forskjellige evalueringsmodeller, til tross for at modellene gir forskjellige resultater ved bruk på de samme tilbudene.
2. 1 Ivaretakelse av 30 prosent vekt med modeller som ikke oppgir vekt i prosent – påslag- og fratrekksmodeller
2.1 Problemstillingen
Ved bruk av evalueringsmodeller som prissetter kvalitet, gis ikke tilbudene poeng for meroppfyllelse av tildelingskriteriene. Tilbudene belønnes i stedet ved at den tilbudte kvaliteten gis en verdi i kroner og øre, som deretter trekkes fra eller legges til tilbudsprisen. Den nye summen kalles evaluert tilbudspris, og tilbudet med den laveste evaluerte tilbudsprisen vinner konkurransen.
Ved bruk av disse modellene oppgir man ikke nødvendigvis kriterienes vekt i prosent. Vektingen kan i noen av modellene isteden leses ut av det maksimale mulige fratrekket /påslaget som kan oppnås på det enkelte kriteriet. Hvordan kan man ivareta kravet om 30 prosent vekt på miljø ved bruk av slike modeller? DFØs oppfatning er at krav om 30 prosent vekt ikke skal påvirke oppdragsgivers frihet til å velge evalueringsmodell.
Siden det ikke finnes noen fasit for hva som utgjør 30 prosent, må oppdragsgiver ved fastsettelsen av påslag eller fratrekk kunne begrunne med faglig skjønn hvorfor og hvordan dette nivået vil oppfylle kravet om 30 prosent vekt. Det er også mulig å benytte omregningsmetoder som tar utgangspunkt i poengmodeller. Eksempler på slike omregningsmetoder er beskrevet under punkt 2.2 og 2.3. Andre eksempler kan tenkes.
2.2 Fratrekksmodell – prissetting av kvalitet
Når oppdragsgiver vekter et kriterium 30 prosent, er det i realiteten betalingsviljen som kommuniseres. For å vite nøyaktig hvilken betalingsvilje som vektingen og poenggivningen uttrykker, må man foreta en omregning. I tabellen under vises prisen per tildelte poeng i en konkurranse hvor laveste tilbudte pris er 1 000 000. I eksemplet er det brukt en lineær poengskala fra 0-10, hvor tilbudet med lavest pris gis 10 poeng på priskriteriet, og det dobbelte gis 0 poeng.
NB! Det er eksempler som gis nedenfor for å illustrere hvordan dette kan gjøres. Det er flere andre måter å gjøre denne beregningen på, med utgangspunkt i forskjellige modeller for poengberegning.
| Tildelingskriterier | Vekt i % | Pris pr. poeng | Pris for 3 poeng | Pris for 10 poeng |
|---|---|---|---|---|
| Pris | 50 | |||
| Kvalitet | 20 | 40 000 | 120 000 | 400 000 |
| Miljø | 30 | 60 000 | 180 000 | 600 000 |
Denne omregningsmodellen gjør det mulig å beregne hvor stort maksimalt fratrekk kan være på miljøkriteriet for å oppfylle krav til 30 prosent vekt. Denne beregningen skal gjøres før tilbudene åpnes1, slik at oppdragsgiver gjør en forsvarlig vurdering av hvilke priser som forventes i innkommende tilbud.
Her kan det eksempelvis også være mulig å bruke metoder hvor man fastsetter fratrekket etter tilbudsåpning ved å angi i konkurransegrunnlaget at den laveste prisen danner grunnlaget for omregningen. En slik modell vil være like forutberegnelighet som poengmodeller som tar utgangspunkt i den laveste prisen.
Oppdragsgivers betalingsvilje ved 30 prosent vekt kan illustreres på en annen måte. I eksempelet under er pris og miljø vektet 50/50, og prisen evalueres med en lineær relativ modell hvor den laveste prisen gis 10 poeng, og det dobbelte gis 0 poeng.
| Tilbud | Pris (kroner) | Poeng pris (50 %) | Poeng miljø (50 %) | Vektet poeng (30 %) |
|---|---|---|---|---|
| A | 1 000 000 | 10 | 0 | 5 |
| B | 2 000 000 | 0 | 10 | 5 |
Tilbud A og B får lik poengsum, til tross for at tilbud B er dobbelt så dyrt. Oppdragsgiver er villig til å betale 1 000 000 kroner ekstra for tilbudet med full uttelling på miljøkriteriet, men ikke mer. Vi kan derfor si at oppdragsgivers betalingsvilje på miljøkriteriet er 1 000 000 kroner. Hvis miljø var vektet enda høyere, ville det kreve en enda større prisforskjell for å oppnå lik poengsum med denne modellen. Oppdragsgivers betalingsvilje øker i takt med høyere vekting av miljø, fordi de representerer det samme.
2.3 Evalueringen
I en anskaffelse med laveste pris på 1 000 000 kroner, og med den relative vektingen 50 prosent på pris, 20 prosent på kvalitet og 30 prosent på miljø, ser vi over at maksimalt fratrekk kan settes til 400 000 kroner på kvalitetskriteriet og 600 000 kroner på miljøkriteriet. Hvordan tilbudene evalueres på kvalitetskriteriene, er ikke annerledes ved bruk av denne modellen, men oppdragsgiver bør være oppmerksom på et par ting.
Der oppnåelsen på tildelingskriteriet er kvantifiserbar, må en skala for fratrekk fastsettes. Eksempelanskaffelsen i tabell 7 viser hvordan dette kan gjøres. Her ble antall kg CO2-ekvivalenter brukt som tildelingskriterium:
| Leverandør | Pris (kroner) | Kg CO2e |
|---|---|---|
| A | 65 391 381 | 1 689 384 |
| B | 66 182 797 | 1 863 975 |
| C | 60 887 131 | 1 954 660 |
Hvis oppdragsgiver har svært god kjennskap til markedet, og vet godt hva som er god/dårlig oppnåelse av tildelingskriteriet, kan det oppsettes en absolutt skala. Hvis oppdragsgiver mener at det er for usikkert, kan oppdragsgiver isteden bruke en relativ skala. Nedenfor gis det et eksempel på en modell, med en relativ skala hvor det beste tilbudet gis full uttelling, og det som har dobbel verdi ingen uttelling. Andre fremgangsmåter kan imidlertid benyttes, for eksempel kan oppdragsgiver selv bestemme hvor mange kg CO2e som skal tilsvare ett poengs forskjell. Da kan oppdragsgiver samkjøre evalueringsmodellen slik at poengutslagene svarer til betalingsvilligheten for x kg CO2e.
| Kg CO2e | Fratrekk (kroner) |
|---|---|
| 1 689 384 | 36 532 279 |
| 3 378 768 | 0 |
For å finne det nøyaktige fratrekket i kroner, må det gjøres en matematisk utregning (lineær interpolasjon). DFØ har laget et enkelt verktøy i Excel, hvor verdiene kan fylles inn:
| FL | Maksimalt fratrekk | 365 322 79 |
| FH | Minimalt fratrekk | 0 |
| CL | Laveste tilbudte mengde CO2 | 168 938 4 |
| F | Tilbudte mengde CO2 | 195 466 0 |
| CH | Laveste tilbudte mengde x 2 | 337 876 8 |
| B | 730 645 58 | |
| F | Fratrekk | 30 795 787,57 |
Vi kan nå finne riktig fratrekk for alle tilbudene, og foreta evalueringen.
| Leverandør | Pris (kroner) | Kg CO2 | Fratrekk (kroner) | Evaluert tilbudspris (kroner) |
|---|---|---|---|---|
| A | 65 391 381 | 1 689 384 | 36 532 279 | 28 859 102 |
| B | 66 182 797 | 1 863 975 | 32 756 816 | 33 425 981 |
| C | 60 887 131 | 1 954 660 | 30 795 788 | 30 091 343 |
Tilbud A har fått den laveste evaluerte tilbudsprisen, og vinner konkurransen. Etter konkurransen kan det være nyttig å undersøke hvor effektivt kriteriet man har brukt på miljø var. I eksempelet i tabell XX kan vi regne ut hvor mye hver kg CO2 koster oppdragsgiver, sammenliknet med det nest beste tilbudet. Altså, hvor mye ekstra betalte oppdragsgiver for hvor mye mindre utslipp? For å regne ut dette må vi først regne ut differansen i pris mellom tilbud A og C, og deretter differansen i antall kg CO2.
| Leverandør | Pris (kroner) | Kg CO2 |
|---|---|---|
| A | 65 391 381 | 1 689 384 |
| C | 60 887 131 | 1 954 660 |
| Differanse | 4 502 250 | 265 276 |
Oppdragsgiver betalte her 4 502 250 kroner ekstra, som ga en besparelse på 265 276 kg CO2. Vi deler beløpet på antall kg for å finne pris pr. kg: 4 502 250 / 265 276=16,97. Oppdragsgiver betalte omtrent 17 kroner pr. sparte kg CO2. Dette tallet kan si noe om hvor godt kriteriet traff i den konkrete anskaffelsen. Prisen blir positiv når oppdragsgiver betaler mer for å få lavere utslipp. Hvis dette blir et veldig høyt positivt tall, kan det indikere at oppdragsgiver har betalt uforholdsmessig mye for lavere utslipp, og at kriteriet ikke var treffende i anskaffelsen. Er tallet derimot negativt, hadde ikke oppdragsgiver betalingsvilje nok til at tilbudet med lavest utslipp vant. Eventuelt var tilbudet billigst, og det hadde lavest utslipp.
Denne modellen gir en effektiv metode for å evaluere kvantifiserbare kriterier. Den må imidlertid brukes med varsomhet. Som ved poengmodeller, er det essensielt at kriteriene som brukes er egnet til å skille tilbudene fra hverandre. I konkurranser med relativt lave utslipp og liten forskjell mellom tilbudene, kan oppdragsgiver ende med å betale uforholdsmessig mye for en liten miljøgevinst.
Dette kan oppdragsgiver for eksempel unngå ved å bestemme hvor mange kg CO2e som skal svare til ett poeng.
2.4 Påslagsmodell
Påslagsmodeller gir i likhet med fratrekksmodeller de kvalitative egenskapene ved tilbudet en verdi i kroner. Påslagsmodellene gir imidlertid påslag for negative kvalitative egenskaper, framfor fratrekk for positive. Det kan også gis påslag for mangel på positive kvalitative egenskaper. I eksempelet i tabell XX vil evalueringen av den samme eksempelkonkurransen som i punkt 2.2 gjennomføres med bruk av en påslagsmodell. Modellen tar utgangspunkt i de tilbudte prisene, og gir påslag på 5 kroner pr. kg CO2 regnet fra det tilbudet med lavest mengde tilbudt CO2. Det beste tilbudet får altså ikke påslag.
De innkomne tilbudene ser slik ut:
| Leverandør | Pris (kroner) | Kg CO2 |
|---|---|---|
| A | 65 391 381 | 1 689 384 |
| B | 66 182 797 | 1 863 975 |
| C | 60 887 131 | 1 954 660 |
De innkomne prisene gis 5 kroner påslag pr. ekstra kg CO2 sammenliknet med det beste tilbudet:
| Leverandør | Pris (kroner) | Kg CO2 | Påslag (kroner | Evaluert tilbudspris |
|---|---|---|---|---|
| A | 65 391 381 | 1 689 384 | 0 | 65 391 381 |
| B | 66 182 797 | 1 863 975 | 872 995 | 67 055 792 |
| C | 60 887 131 | 1 954 660 | 1 326 380 | 62 213 511 |
Her er det verdt å merke seg at vinneren av konkurransen ble tilbud C, mens ved bruk av fratrekksmodellen vant tilbud A. Utregningen av pris pr. kilo Co2 i slutten av punkt 2.3 viste at oppdragsgiver betalte ca. 17 kr pr. sparte kilo Co2. For å oppnå det samme resultatet med påslagsmodellen, måtte påslaget pr. kilo Co2 vært 17 kr. Dette tallet sier noe om forskjellen mellom tilbud nr. 1 og nr. 2, og vil derfor variere stort fra anskaffelse til anskaffelse.
Dette viser et viktig poeng: siden man før åpningen av tilbudene ikke kjenner til de variablene som er bestemmende for resultatet, er det umulig å sikre konsekvente resultater. Prisen oppdragsgiver betaler pr. sparte kilo Co2 vil variere, og denne risikoen vil man alltid ha ved bruk av relative metoder. Men over tid kan oppdragsgiver ofte finne et nivå som gir den riktige balansen mellom pris og miljø.
Dette er bakgrunnen for at DFØ mener at oppdragsgiver burde kunne fortsette å bruke disse modellene, og begrunne konkret hvorfor de ivaretar tilsvarende 30 prosent vekt på miljøkriteriet. Oppdragsgiver burde alltid prøve å forutse hva slags tilbud som vil komme inn, og teste ut forskjellige scenarier med forskjellige modeller. På den måten reduserer man sjansen for at evalueringen gir uheldige resultater.
Mer informasjon om evalueringsmodeller
For mer informasjon om evalueringsmodeller, se presentasjonen "evaluering av tilbud" i opptaket fra lansering av veilederen om klima- og miljøhensyn i offentlige anskaffelser.
Hør en podkast-episode om hvordan evaluere de nye miljøbestemmelsene:
Fotnoter
1 Hvilken evalueringsmodell som skal brukes må fastsettes før tilbudene åpnes, jf. EU-sak C-6/15 Dimarso.