Mätmetoder för utvärdering av nationella narkotikastrategier

Figur 23: Utvärderingsnivåer i ”nationella narkotikastrategier”

Anmärkningar

(1) Termen ”narkotikastrategi” inbegriper även eventuella likvärdiga handlingsplaner som tar sin utgångspunkt i strategin.

skriva ut

Åtgärderna för att utvärdera europeiska ”nationella narkotikastrategier” kan delas in i tre huvudsakliga aktiviteter: 1) övervakning, dvs. rutinmässig insamling av uppgifter om narkotikaproblemet och om motåtgärder och insatser mot detta, 2) utvärdering av genomförandet, dvs. bedömning av det mervärde som skapats genom förverkligandet av de initiativ och tillförandet av de resurser som anges i narkotikastrategin, och 3) utvärdering av effekten (i allmänhet kallat bedömning av verkningsfullheten), dvs. en bedömning av de kort- och långsiktiga effekter (112) på narkotikaproblemet som (åtminstone delvis) är en följd av den nationella narkotikastrategin (figur 23) (113).

Den viktigaste skiljelinjen mellan olika länder i fråga om hur de gör för att utvärdera sin nationella narkotikastrategi går mellan de länder som övervakar sin strategi och de länder som planerar att utvärdera genomförandet och/eller effekten.

Begreppen ”övervakning” och ”utvärdering” är inte alltid tydligt åtskilda i de nationella narkotikastrategierna, och därför är det viktigt att vara medveten om skillnaden. Övervakning är en kontinuerlig och systematisk process som genererar rutindata av kvantitativ och kvalitativ typ om narkotikaproblemet och de åtgärder som vidtagits mot detta. Denna process kan ge regelbunden feedback om genomförandet av verksamheterna (feedback om ”inputs”, dvs. vilka resurser som har satsats, och om ”outputs”, dvs. vilka åtgärder som har genomförts, under vilken period och av vem). Däremot ger övervakning för det mesta inte någon information om effekterna av en strategi eller några svar på frågan varför en viss aktivitet uppnår eller inte uppnår sina mål. Även om ett övervakningssystem ofta kan ge information om utvecklingen för narkotikaproblemets olika aspekter och de åtgärder som har vidtagits mot detta, kan ett sådant system i allmänhet inte avgöra om de konstaterade förändringarna är en direkt följd av de vidtagna åtgärderna (fastställande av orsakssamband).

Frågan om orsakssamband och andra komplexa vetenskapliga frågor besvaras i stället genom utvärdering (tabell 5), dvs. ”en bedömning av värdet av en offentlig åtgärd” (i det aktuella fallet en nationell narkotikastrategi) ”utifrån vissa kriterier” (relevans, kostnadseffektivitet, effekt) ”och tydliga normer” (kvalitet, kvantitet) (definitionen hämtad från Europeiska kommissionen, 1999) som i allmänhet förutsätter fördjupande undersökningar. En utvärdering består därför väsentligen av två komponenter: dels 1) bevis – baserade på uppgifter som håller god kvalitet, dvs. har samlats in enligt vetenskapliga metoder (övervakning och fördjupande undersökningar) – för att det finns ett orsakssamband mellan genomförandet av en politik och en förändring hos den företeelse som studeras, dels 2) ett värdeomdöme om den effekt som har uppnåtts, vilket så småningom måste ingå i beslutsunderlag.

Tabell 5: Vanligt förekommande utvärderingsterminologi (utvärderingsmetoder för åtgärder av strukturell typ)
Övergripande utvärdering (Overall evaluation)	Utvärdering av en insats i dess helhet.
Sammanhang (Coherence)	En hög grad av sammanhang innebär att tankarna bakom insatsen inte är motsägelsefulla och/eller att insatsen inte motverkar andra insatser med liknande mål.
Relevans (Relevance)	En hög grad av relevans innebär att målen för en insats är lämpliga med tanke på de behov, problem och frågor som insatsen avser.
Konsekvens (Consistency)	En hög grad av konsekvens innebär att positiva/negativa effekter på andra områden av ekonomisk politik, socialpolitik eller miljöpolitik maximeras/minimeras.
Nytta (Utility)	En hög grad av nytta innebär att effekterna motsvarar de behov, problem och frågor som insatsen avser.
Verkningsfullhet (Effectiveness)	En hög verkningsfullhet innebär att de uppställda målen uppnås.
Kostnadseffektivitet (Efficiency)	En hög kostnadseffektivitet innebär att de eftersträvade effekterna uppnås till rimlig kostnad.
Kostnadseffektivitetsanalys (Cost-effectiveness analysis)	Utvärderingsverktyg för bedömning av kostnadseffektivitet.
Nyttokostnadsanalys (Cost–benefit analysis)	Utvärderingsverktyg för bedömning av insatsens fördelar för alla i den berörda gruppen, på grundval av penningvärden som åsätts insatsens alla olika konsekvenser.
Resultat (Output)	Det som finansieras och åstadkoms (eller förverkligas) med de pengar som anslagits till en insats.
Effekt (Impact)	En konsekvens som påverkar de direkt berörda efter det att dessa avslutat sin medverkan i en insats, eller efter det att en offentlig facilitet har färdigställts, eller också en indirekt konsekvens som påverkar övriga berörda, som kan vara vinnare eller förlorare.
Källa: Europeiska kommissionen, 1999.

I praktiken finns det en ofrånkomlig koppling mellan begreppen ”utvärdering” och ”övervakning”, men trots att de båda termerna i vissa dokument behandlas som synonymer bör man komma ihåg att övervakning inte är detsamma som utvärdering (även om övervakning definitivt ingår i utvärdering).

I Storbritannien offentliggjordes den aktualiserade nationella narkotikapolitiken år 2002 efter en revidering på bred front där hänsyn togs till all evidens, bland annat utvärderingar av de båda komponenterna tillgång och efterfrågan. Den nationella narkotikastrategin föremål för ”övervakning”, ”uppföljning” och ”resultatstyrning”, men inte ”utvärdering” (Storbritanniens nationella rapport, s. 106). I Norge är ett av syftena med den nya handlingsplanen för narkotika och alkohol att det skall utvecklas ett system för att mäta i vilken utsträckning planens mål och delmål uppnås (Norges nationella rapport, s. 65). I Tjeckiens nationella narkotikapolitiska strategi för 2001–2004 fastställs mål på olika nivåer, framgångsindikatorer och verktyg för utvärdering av kostnadseffektiviteten inom var och en av strategins huvuddelar. Det övervakas regelbundet i vilken mån de olika arbetsuppgifterna utförs, men däremot har strategin ännu inte utvärderats med tillämpning av de fastställda framgångsindikatorerna och utvärderingsverktygen. Ett skäl till detta kan vara den avsevärda kostnaden för externa utvärderingar (Tjeckiens nationella rapport, s. 114). Enligt den nya danska handlingsplanen skall ett antal specifika verksamheter löpande ”utvärderas” (Danmarks nationella rapport, s. 67). I Ungern och Polen anges det i den nationella narkotikastrategin ett system för att följa upp i vilken mån arbetsuppgifterna har utförts (Nationella Reitox-rapporter), medan man i Slovenien trots att den nya nationella strategin ”föreskriver regelbunden utvärdering av genomförandet” ännu inte har gjort någon utvärdering (Sloveniens nationella rapport, s. 61). I Litauen kommer den nationella narkotikastrategin (2004–2008) att genomföras ”med hänsyn tagen till landets ekonomiska möjligheter” (Litauens nationella rapport, s. 35). Estlands nya nationella narkotikastrategi ”innefattar övervaknings- och utvärderingskomponenter samt fastställer resultatindikatorer” (Estlands nationella rapport, s. 86).

I Finland och Sverige (Finlands nationella rapport, s. 113; Sveriges nationella rapport, s. 75–76) betonar den nationella narkotikastrategin övervakning av strategins genomförande mer än utvärdering av dess effekt. I Sverige ansvarar narkotikasamordnaren, som utsågs 2002, för att se till att den nationella handlingsplanen följs upp (i årliga rapporter). Även i Finland finns det planer på forskning som skall fastställa vilka parametrar narkotikamyndigheten skall använda som referens när den övervakar och utvärderar sina verksamheter. Luxemburgs nationella kontaktpunkt rapporterar att resultaten av planen för 2000–2004 kommer att utvärderas 2005 med sikte på utformningen av ytterligare och framtida strategier (Luxemburgs nationella rapport, s. 94). I Tyskland görs det i 2002 års handlingsplan mot droger och missbruk för första gången ett försök att fastställa operativa mål och kriterier som kan användas för att avgöra om olika insatser lyckas eller inte (Tysklands nationella rapport, s. 101), och Italiens treåriga program 2002–2004 främjar utvärdering på preventionsområdet och när det gäller återanpassning i samhället.

Bland de länder som redovisar en utvärdering antingen av den nationella narkotikastrategins genomförande eller av dess verkningsfullhet finns Grekland, Spanien, Frankrike, Irland och Portugal (tabell 6). I den spanska och den grekiska strategin nämns ”utvärdering av verkningsfullheten”. I Spanien sägs det att den nioåriga nationella strategin skall utvärderas med avseende på sitt genomförande både övergripande och sektorsvis, något som skall ske dels ”i halvtid” år 2003, dels år 2008. Syftet är att ”förbättra de offentliga åtgärdernas verkningsfullhet och kostnadseffektivitet” (Spaniens nationella rapport, s. 85) genom att mäta de tillhandahållna tjänsterna kvantitativt och kvalitativt. I Grekland hänvisas det på liknande sätt i den nya handlingsplanen mot narkotika (2002) till en extern utvärdering av de genomförda åtgärdernas övergripande verkningsfullhet, en utvärdering som kan komma att ske i framtiden och bygga på EU-indikatorer och internationella indikatorer (Greklands nationella rapport, s. 110).

Tabell 6: Kännetecken för utvärderingen av vissa nationella strategier
	”Nationell narkotikastrategi”	Utvärderingens räckvidd	Utvärderingens syfte	Utvärderad period
Grekland	Handlingsplan 2002–2006	Övergripande och specifik	Verkningsfullhet	Ingen
Spanien	Nationell narkotikastrategi, 2000–2008	Övergripande och specifik	Verkningsfullhet och kostnadseffektivitet	2003–08
Frankrike	Treårig plan mot droger och för förebyggande av beroende, 1999–2001	Övergripande och specifik	Genomförande	2002
Irland	Nationell narkotikastrategi, 2001–2008: ”Building on Experience”	Övergripande och specifik	Genomförande	2004–08
Portugal	Nationell strategi för kampen mot droger 1999; handlingsplan 2000–2004	Övergripande och specifik	Genomförande	2004

I Frankrike, Irland och Portugal skall det enligt den nationella narkotikastrategin göras en övergripande (114) och sektorsvis utvärdering, i vissa fall av verkningsfullheten (Irlands nationella rapport). De redovisade uppgifterna visar dock att man i de utvärderingar som hittills gjorts har bedömt graden av genomförande snarare än strategins verkningsfullhet. I Frankrike omfattade utvärderingen av den treåriga handlingsplanen för 1999–2002 (som utfördes av Observatoire Français des Drogues et des Toxicomanies (OFDT) – mellan 2000 och 2003) både en ”övergripande utvärdering” och utvärderingar av fem prioriterade program (115). Utvärderingen innebar dock inte att man uttalade sig om de vidtagna åtgärdernas effekt på den övergripande narkotikasituationen utan i huvudsak i vilken mån de operationella målen uppnåtts. I Irland skall det enligt den nationella narkotikastrategin göras ”en oberoende utvärdering av den övergripande ramens verkningsfullhet senast i slutet av 2004” (National Drugs Strategy 2001–2008: Building on Experience, s. 111). Det förefaller dock som att utvärderingen kommer att omfatta en undersökning av i vilken mån narkotikastrategin har genomförts och huruvida den uppnått de strategiska målen, snarare än en fullständig bedömning av strategins effekt på narkotikamissbruket. I Portugals narkotikastrategi står det att det skall göras ”en oberoende extern utvärdering av strategins övergripande och sektorsvisa genomförande” (Portugals nationella rapport, s. 65). Det rapporteras dessutom om en intern utvärderingsprocess.

I de medlemsstater som inte har någon ”nationell narkotikastrategi” i egentlig mening har intresset för övergripande utvärdering varit svagt på senare år, även i de länder där man brukar utvärdera enskilda narkotikaprojekt. Ett exempel är Nederländerna, där forskning, övervakning och utvärdering traditionellt är en del av narkotikapolitiken och där det finns en ny (2002) ”statlig styrstrategi” som är tänkt att ge vägledning i resultatfrågor till offentliga förvaltningsorgan (bl.a. sådana som ägnar sig åt hälsovård och narkotikafrågor) (Nederländernas nationella rapport, s. 83–84). I Österrike har visserligen övervakningsarbetet på narkotikaområdet ökat avsevärt på senare år, men det har inte gjorts några utvärderingar vare sig av förbundsstaternas planer (bortsett från preliminära utvärderingar i Vorarlberg) eller av den övergripande narkotikapolitiken (Österrikes nationella rapport, s. 63). I de återstående länderna (Cypern, Lettland, Malta och Slovakien samt Bulgarien, Rumänien och Turkiet) finns det inte tillräckligt med information för att man skall kunna säga något om utvärderingen av de nationella narkotikastrategierna (i den mån sådana över huvud taget finns).

(112) För enkelhetens skull kommer vi här att använda uttrycket ”utvärdering av effekten” för utvärdering såväl av kortsiktiga effekter som av långsiktiga effekter – två helt olika vetenskapliga aktiviteter som man i allmänhet gör åtskillnad mellan i den relevanta litteraturen.

(113) I en heltäckande utvärdering skulle man granska även kostnadseffektiviteten, dvs. grovt uttryckt kostnaden för att åstadkomma de kort- och långsiktiga effekterna. Uppgifter om denna aspekt fanns dock bara att tillgå för Spanien (se nedan).

(114) Övergripande utvärdering: utvärdering av en åtgärd i dess helhet (tabell 5).

(115) 1) De regionala överenskommelserna om mål på hälsoområdet och det rättsliga området, 2) den regeringsdepartementsövergripande policyn för yrkesutbildning, 3) de regionala politiska programmen för förebyggande av missbruk, 4) vissa specialiserade organs experimentella uppsökande verksamhet i syfte att erbjuda allmän vård för personer som uppvisar missbruksbeteende och 5) programmen för att minska riskerna i distrikt 18 i Paris.