Vurdering av evaluering

Helt siden tidenes morgen har vi vurdert tilbud opp mot hverandre i håp om å ende opp med det beste.

Hvis du kan kjøpe to helt like skrutrekkere for henholdsvis 10 og 12 kroner, gir det seg selv: den rimeligste er totalt sett den beste.

Men hva gjør du når skrutrekkerne ikke er helt like? Da må du frem med det innkjøpsfaglige skjønnet og finne en metode for å vurdere den beste kombinasjonen av pris og kvalitet.

Det er søren meg ingen enkel oppgave, og det er ikke mye hjelp å spore heller.

La oss se på den hjelpen du kan få. Her er Departementets veileder, side 305:

Kravet til begrunnelse innebærer at oppdragsgiveren skal beskrive hvilke konkrete egenskaper ved det valgte tilbudet som gjorde at det samlet sett kom best ut i evalueringen av tilbudene i henhold til de angitte tildelingskriteriene. Oppdragsgiveren må derfor gi en beskrivelse av hvordan det valgte tilbudet ble evaluert under hvert tildelingskriterium.

Det var jo logisk og enkelt.

Da kan man jo tenke seg at man skriver det slik:

“Oppdragsgiver har vurdert de to skrutrekkerne opp mot hverandre, sett i forhold til pris og kvalitet. Skrutrekker A var rimeligst med 10 kroner, men den hadde ikke like godt grep som skrutrekker B. Siden skrutrekker B bare kostet 2 kroner ekstra, har oppdragsgiver valgt den, siden det er viktig at den er god å skru med. Takk for tilbudene.”

Er dette saklig? Henger det på greip? Man har altså skjønnsmessig vurdert at ett bedre grep er verdt 2 kroner. Vaktmesteren synes det er helt på sin plass, mens økonomisjefen kanskje synes en 20% økning i pris var litt drøyt for en (i hans øyne) bitteliten kvalitetsforskjell.

Leverandøren av skrutrekkeren med det antatt dårlige grepet vil helt sikkert også ha innvendinger, siden en annen kunde nylig uttalte at hans skrutrekkere hadde et helt greit grep. Hvordan kan da en prisforskjell på 20% forsvare en (i hans øyne) helt ubetydelig grepsforskjell? Kommunen har jo ikke (be)grep om penger!

Nei, vi må ha mere hjelp, dere. La oss derfor ta en titt på DIFIs nye verktøy for evaluering av tilbud. Verktøyet skal i følge DIFI bygge “på en relativ poengmodell og er laget for å støtte innkjøpere med å utforme en evalueringsmatrise og evaluere innkomne tilbud.”

Så da var det frem med matrisen. Joda. Vi kan putte dette inn i et regneark, velge forholdsmessig eller lineær beregning med knekkpunkt og vekting, men like fordømt står vi igjen med at han som skal bruke trekkeren synes grepet er best på trekker B. Ja, han blir rett og slett litt trekt nå, fordi vi lager så mye styr. Han betaler mer enn gjerne de to ekstra kronene. Kan vi ikke bare ta grep og tildele kontrakt?!?

Men vi må jo gjøre dette riktig. Dermed fyller vi ut tabeller og formler og kommer frem til at skrutrekker A får 14,93 poeng og skrutrekker B får 17,51. Juhu. Vi har en vinner!

Eller har vi det. Skal vi tro advokaten i Anbud365, er det mer en nok å henge fingrene i av problemer fremdeles. Det kan nemlig være opptil flere svakheter ved DIFIs foreslåtte modeller.

Eksempelvis kan det hende at vi undervurderer prisforskjellen, sett opp mot den relative kvalitetsforskjellen. Ja, vi må finne et ytre sammenligningspunkt – en fiktiv Skrutrekker X som vi skal sammenligne med. Det er prisen på X som skal ligge til grunn for å vurdere om vi a) har valgt rett metode og b) har latt prisforskjellen få en passende innvirkning på resultatet. Videre er det den forventede kvaliteten som vi kunne forestilt oss på forhånd at Skrutrekker X hadde som skal bidra til å fastslå hvorvidt vi vurderer kvaliteten riktig.

Så vi spør brukergruppen (les: vaktmesteren) om han kan forestille seg et tenkt ideal for skrutrekkeren sin, og hva han mener den burde kostet. Hans svar er ikke til mye hjelp:

– Hæ?

Vaktmesteren har aldri hørt om Skrutrekker X. Han kjenner bare til A og B, han. Han synes dessuten stadig at B har best grep.

Men du tenker vel at det er best å prøve seg på å gjøre det riktig likevel, så du trommer sammen litt folk og kliner til med en skikkelig begrunnelse (advarsel: massiv tekst følger):

“Oppdragsgiver viser til kunngjøringen og konkurransedokumentene som er kunngjort innenfor de i forskriften angitte minimumsfrister med en passende vurdering av hvorvidt fristene skal vurderes å settes lengre likevel, sett opp mot vår kommuneadvokats frykt for juridiske represalier, samt for potensielle helligdager og andre komplikasjoner i tilbudsfasen. I forbindelse med tilbudsåpningen kom det frem at det er to leverandører som har gitt tilbud og de er begge kvalifisert i henhold til kvalifikasjonskravene som helt åpenbart har vært oppgitt både i konkurransegrunnlaget og også i kunngjøringen, og der det også var angitt at oppdragsgiver vil legge til grunn en evalueringsmodell basert på Oslo kommunes hybridmodell med knekkpunkt tilpasset anskaffelsen til 1.324251, og der vektingen er fastsatt til 50/50 mellom pris og kvalitet, slik også dette er oppgitt i konkurransegrunnlaget og hvor det også var oppgitt i detalj hvordan de potensielle tilbudene skulle evalueres utfra et tenkt idealtilbud, heretter omtalt som tilbud X, med det forbehold at bokstav X kunne bli opptatt av et tilbud dersom det skulle komme inn så mange tilbud at bokstaven måtte tas i bruk, men det skjedde jo ikke, så dermed kan vi forholde oss til X som idealtilbudet. Idealtilbudet var også idealprissatt til kr. 10,493852 som en median av SSBs indeks for “Skrutrekkere og annet håndverktøy” som snitt for perioden 1991-2017 der det fremkommer at en median for prisvariasjon ikke har oversteget 10, 11% for perioden, justert for finanskrisen og flere andre relevante faktorer (se fotnote og juridisk betenkning). Hvorvidt disse faktorene er relevante, er basert på en skjønnsmessig vurdering av et eget oppnevnt indeksvurderingsutvalg, bestående av 8 økonomer og en advokat. De to innkomne tilbudene er, sett opp mot X, vurdert slik at tilbud a har et 11,995354% fortrinn samlet foran tilbud B. Dersom man isolert sett vurderer tilbudene mot hverandre, uten å ta med tilbud X øker forskjellen til 11,9954%. Følgelig har oppdragsgiver konkludert med at det ikke har vært upassende å sammenligne tilbudene med noen av disse metodene, da de – justert til få desimaler – gir samme resultat. Når det gjelder kvalitetsvurderingen, har en grepsvurderingsnemd bestående av 18 håndverkere og en advokat kvalitativt vurdert grepet på de to tilbudte skrutrekkerne og kommet frem til en relativ forskjell i kvalitet på 20-45% (se nærmere begrunnelser i tabell 1 og 2, samt eget brev fra advokaten med dissens for hvorvidt begrunnelsene kan sies å være tilstrekkelig objektive). Oppdragsgiver har utfra dette kommet til at skrutrekker B er et sted mellom litt og veldig mye bedre enn skrutrekker A, nærmere bestemt et sted mellom 9,1 og 33.003% bedre. En professor ved Universitetet i Harvard har gjennomgått disse resultatene og kommet frem til 39 evalueringsmetoder som gir samme vinner i konkurransen (se vedlegg 1-39). En mastergradsstudent har fulgt denne prosessen – det er derfor vedståelsesfristen måtte utvides til 12 måneder. Oppdragsgiver beklager dette. Karensperioden settes til 10 dager, selv om det ikke er angitt i forskriften at det er nødvendig med noen karensperiode i det hele tatt for denne anskaffelsen. De ti dagene regnes fra dagen etter sommersolverv med skuddsekunder og justert for helligdager og Olsok i tråd med Forskrift om gjennomføring av EØS-avtalen vedlegg XVI punkt 6 (Rfo EØF/Euratom nr. 1182/71) om fastsettelse av regler for frister, datoer og tidspunkter, på en slik måte at fristen ikke utløper på en virkedag etter helligdag når den (fristen) ikke er angitt med timer, selv om den er det. Oppdragsgiver takker for tilbudene, og opplyser om at du selvsagt kan be om innsyn i alle dokumenter, og klage på alle tenkelige momenter og aspekter av kunngjøring, evaluering og begrunnelse – med unntak av oppdragsgivers begrunnelse for å ikke dele opp anskaffelsen, som vi er ganske sikre på at du ikke kan overprøve, tror vi (se vedlagt dissens fra advokat på akkurat dette, men vi er ganske trygge likevel), åja, forresten, skulle du velge å klage til KOFA, vil vi selvsagt vente med å inngå kontrakt til de har behandlet saken, det samme gjelder dersom du ønsker å la ditt eget advokatteam gjennomgå anskaffelsen i si helhet, eller simulere den i sitt anskaffelsesmiljø – eller skrive en egen avhandling om den eller noe sånt. Skulle du komme til at du vil gå rett til Fylkesmannen med klage på at du ikke er gitt tilstrekkelig innsyn, vil vi selvsagt vente på det også, for sikkerhets skyld. Og for all del – vi avlyser selvsagt konkurransen hvis du skulle mene at det er det eneste riktige.”

Du er veldig fornøyd med deg selv.

I mellomtiden har en radiator sprunget lekk, så vaktmesteren går innom Biltema og kjøper en skrutrekker. Siden han ikke er så glad i papirarbeid, finner han ut at han ikke gidder å søke om refusjon for disse 12 kronene.

Da var han en ganske grepa kar, syntes han.

Utslitt? Har du lyst på noen trøstens ord til slutt? Da kan du bla til side 307 i Departementets veileder:

Det kreves ikke at oppdragsgiveren i detalj skal redegjøre for sin fremgangsmåte ved evalueringen av tilbudene, eller for hvordan det vinnende tilbudet i detalj er vurdert i henhold til tildelingskriteriene. Formålet med begrunnelsen er å sette forbigåtte leverandører i stand til å vurdere om anskaffelsesprosessen har gått riktig for seg. Det er imidlertid ikke meningen at leverandørene skal settes i stand til å foreta en fullstendig overprøving av de vurderingene som oppdragsgiveren har foretatt.

Takk, Departement.

Kanskje du også skal minne deg selv på anskaffelseslovens krav om forholdsmessighet før du går amok med regnearkene dine?

Da kan vi gå julen – og neste begrunnelse – i møte med god samvittighet likevel.