Yttrande: En modell för att mäta och belöna progression inom sfi (SOU 2022:17)

 

Sammanfattande inledning

Stockholms universitet konstaterar att utredningen inte visar hur det föreslagna progressionstestet skulle kunna relateras till ökad måluppfyllelse hos elever i svenska för invandrare (sfi). Det framgår heller inte tydligt hur framtagande eller genomförande av progressionstestet skulle kunna göras, med tanke på den redan administrativt belastade, organisatoriskt komplexa och inte minst testtyngda verksamhet som sfi idag utgör. Det råder också brist på behöriga undervisande lärare inom detta område. Universitetet finner således sammantaget att utredningen uppvisar brister både vad gäller förståelse för sfi-verksamheten i stort och för rektorers, lärares och elevers villkor och förutsättningar.

Stockholms universitet instämmer i utredningens bild av att sfi idag är en testtung verksamhet. Ett nytt obligatoriskt test skulle skapa ett parallellt bedömningssystem inom sfi, där det nationella provet är betygsgrundande medan det nya provet enbart skulle utgöra grund för ekonomisk ersättning. Utrymmet för ytterligare ett standardiserat prov för sfi är begränsat, inte minst med tanke på systemet med flexibelt intag och individuella kursavslut som gör att det nationella provet ges flera gånger om året. Om mycket fokus läggs på förberedelse för standardiserade test kan det motverka sfi:s uppdrag om en individanpassad undervisning som utformas efter elevernas behov (avsnitt 6.5.9, s. 136). Parallella testsystem riskerar att skapa förvirring och merarbete för både lärare och elever.

Förslag som rör sfi bör syfta till att öka kvaliteten, det vill säga öka verksamheternas möjligheter att utföra sfi:s uppdrag att erbjuda en kvalificerad språkutbildning med utgångspunkt i individens behov. Att införa ytterligare ett test med tillhörande standardiserat lärverktyg vars huvudsakliga syfte är att träna till testet, kan dessvärre inte betraktas som en kvalitetshöjande åtgärd, vare sig för elever eller för lärare.

Av dessa skäl avstyrker Stockholms universitet utredningens förslag i dess helhet. Universitetet avstyrker således både att ett särskilt framtaget progressionstest med tillhörande lärverktyg införs och att ett bedömningscentrum placeras vid Stockholms universitet. Då Stockholms universitet avstyrker förslagen om framtagande av progressionstest och bedömningsinstrument ser universitetet inget behov av inrättande av ett nytt bedömningscentrum så som det beskrivs i betänkandet.

I det följande redovisar Stockholms universitet sina mer utförliga kommentarer till specifika delar av förslagen.

---

 

Specifika synpunkter

Ett test för att bedöma språklig progression (avsnitt 6.1, ss. 92ff)

Om tolkningarna av elevers testresultat i ett progressionstest ska vara valida krävs övertygande argument både för testets konstruktion och för konsekvenserna av att testet ges. Uppgifter och bedömningskriterier bör stämma överens med den teoretiska språksynen i sfi (själva konstruktionen) för att tolkningen av elevernas resultat ska vara valid. Kursplanen i sfi är tydligt kopplad till kommunikativ färdighet, både vad gäller receptiva och produktiva färdigheter. En sådan funktionell språksyn erkänner att språkutveckling sker i en mängd olika sammanhang, både i och utanför klassrummet.

Automatiserad bedömning (avsnitt 6.2, ss. 95ff. och avsnitt 6.5.8, ss. 132ff)

Utredningen konstaterar själv i sin genomgång att dagens automatiserade verktyg för uppgiftskonstruktion och bedömning inte är anpassade för de funktionella och kommunikativa språkkraven i sfi:s kursplan och därför inte kan användas för de tolkningar som behöver göras. Det gäller särskilt vid bedömningen av de produktiva färdigheterna skriva, tala och samtala/interagera på nybörjarnivå i svenska.

Gällande bedömning av skriftliga färdigheter (avsnitt 6.2.2, ss. 100ff) begränsas teknik för automatiserad bedömning idag i princip till bedömning av ytliga aspekter såsom stavnings- och grammatikfel, även om också denna slags bedömning kantas av stora problem relaterade till precision och täckning. Det innebär att en mängd aspekter av språklig förmåga, enligt den kommunikativt inriktade språksyn som kursplanen i sfi bygger på (avsnitt 5.3.3, ss. 80f), inte kan testas med automatiserade verktyg. Det kan gälla såväl språkets begriplighet som det innehåll som ska förmedlas, två viktiga aspekter av kommunikativ språkanvändning. Texter som är skrivna på nybörjarsvenska innehåller även en mängd strukturella avvikelser från en svensk skriftnorm och måste bearbetas innan de kan användas i automatiska redskap, något som är ett omfattande och kostsamt arbete. Utredningen hävdar felaktigt att elevtexterna i SweLL-korpusen är kalibrerade mot CEFR-nivåerna och kan användas för att kalibrera den automatiska bedömningen av skriftlig produktion i progressionstestet (s. 105). Utredningen underskattar därmed svårigheterna i att på ett tillförlitligt sätt bedöma skriftlig förmåga hos inlärare, och de aspekter som kan testas motsvarar inte kursplanens kunskapskrav.

Bedömning av muntlig produktion och interaktion (ss. 105ff) ska enligt utredningens direktiv beaktas särskilt. Som utredningen påpekar finns idag inte de tekniska förutsättningarna för att på ett tillförlitligt sätt automatiskt bedöma muntliga färdigheter och särskilt inte inlärartal på svenska. Utredningen föreslår därför, i direkt motsättning till de forskningsresultat man hänvisar till om att interaktion bäst testas genom par- eller gruppsamtal, att progressionsverktyget ska innehålla ett enskilt samtal mellan testdeltagare och samtalsledare. Det ska dock endast utföras av en liten andel elever, och i första hand bedömas av samtalsledaren själv. Detta begränsar testets överenstämmelse med kursplanens kunskapskrav och riskerar också att skapa ojämlikheter mellan testdeltagare då inte alla kan delta. Det är anmärkningsvärt att man enligt utredningens förslag ska kompromissa med såväl validitet som reliabilitet i bedömningen av de muntliga färdigheter som särskilt ska beaktas.

När det gäller receptiva språkliga färdigheter (ss.96ff) kan ett adaptivt lärverktyg ha ett pedagogiskt värde i sfi-utbildningen för att träna läs- och hörförståelse. Men för att uppgifterna ska vara effektiva för språkinlärning behöver eleverna i första hand regelbundet under kursens gång träna på sådana uppgifter som en formativ process möjliggör, med relevant återkoppling inbyggd i verktyget eller av lärare. Enbart ett sluttest ger inga inlärningseffekter, särskilt inte då mätsäkerheten och validiteten inte bedöms ”vara tillräckligt tillförlitlig för slutsatser på individnivå” (avsnitt 6.4.2, s. 113).

För att göra en samlad bedömning av både receptiva och produktiva språkliga färdigheter vid kursens slut krävs alltså manuellt arbete av konstruktörer, bedömare och lärare/återkopplare precis som i dagens utbildning (s. 110). En samlad bild av elevernas progression som underlag för ekonomisk ersättning kan alltså svårligen göras med hjälp av ett automatiserat verktyg. Förslaget innebär en kompromiss vad gäller såväl validitet som reliabilitet i förhållande till målen i sfi:s kursplan. Med hänsyn till den styreffekt som test har på undervisningen riskerar progressionstestet att leda undervisningen bort från kunskapskravens kommunikativa språksyn. Stockholms universitet avstyrker därför förslaget att införa ett ännu obeprövat bedömningsredskap i ett obligatoriskt standardiserat test på nationell nivå.

Ett nytt bedömningsinstrument (avsnitt 6.3, ss. 110f)

För att mäta språkutvecklingen föreslås ett progressionstest med tillhörande digitalt lärverktyg. Progressionstestet och lärverktyget sägs kunna bidra till större måluppfyllelse och bättre genomströmning. Vad som kan prövas i ett test är alltid begränsat, och i ett digitalt format begränsas ytterligare vilka aspekter av språkförmågan som kan prövas, vilket utredaren också belyser. Stockholms universitet ser positivt på att elever ges möjlighet till att utveckla sin digitala förmåga, men ser samtidigt risker med ett verktyg vars huvudsakliga syfte är att träna till test, i synnerhet som en stor del av undervisningen i sfi redan ägnas åt träning inför och återkoppling på de obligatoriska nationella proven i sfi. Den digitala förmåga som tränas i lärverktyget är också starkt begränsad, och universitetet ställer sig frågande till på vilket sätt det skulle motsvara de digitala förmågor som elever behöver utveckla för att på ett tillfredsställande sätt klara av de situationer de ställs inför i vardagen.

Vidare ser inte Stockholms universitet behovet av ytterligare ett lärverktyg. Det kan inte heller vara universitetets uppgift att konkurrera med läromedelsförlag i framtagandet av digitala lärverktyg. Utredningen motiverar den omfattande kostnad som det föreslagna bedömningsinstrumentet skulle medföra med att det kommer att generera stora mängder data som kan “främja förståelsen för hur en god verksamhet inom sfi ska organiseras” (avsnitt 14.1, s. 229). Det framgår inte hur den data som genereras utgör ett mått på “en god verksamhet”. Stockholms universitet ställer sig tveksamt till att kostsamma satsningar på sfi skulle ha som syfte att bidra till datainsamling.

Ett särskilt framtaget progressionstest (avsnitt 6.4, ss. 112ff)

Utredningen ska enligt sitt direktiv föreslå hur en ersättning till utbildningsanordnare för kommunal vuxenutbildning i sfi kan utformas baserat på uppnådda språkresultat. Stockholms universitet menar dock att utredaren inte tillräckligt har analyserat problembilden i relation till direktivet och att det är otydligt huruvida förslaget om ersättning till utbildningsanordnare baserat på ett testresultat skulle bidra till att lösa de stora och varierade utmaningar som sfi-verksamheter har.

Stockholms universitet ifrågasätter också hur testresultaten ska användas och vad dessa egentligen kan säga om undervisningens kvalitet. Sfi-elever utvecklar sin svenska i många olika sammanhang varav undervisning endast är ett. Andra exempel på olika sammanhang är arbete, praktik, språkkafé, partner, barn, vänner. Språklig progression kan vara en effekt av en kvalitativ sfi-undervisning, men den kan också vara ett resultat av individens egen strävan och motivation eller av en infrastruktur i närsamhället som främjar snabb språkinlärning. Omvänt kan det finnas faktorer hos den enskilda individen, till exempel inlärningssvårigheter på grund av trauma eller stress, som kan leda till sämre progression, oavsett hur kvalitativ undervisningen har varit. Utredningen menar att modellen för ersättning tar hänsyn till faktorer som ligger utanför vad utbildningsanordnaren kan påverka. Även om mått på progression kan justeras i relation till vissa bakgrundsfaktorer visar inte utredaren på ett övertygande sätt hur resultatet kan ge underlag som med säkerhet kan kopplas till kvaliteten i undervisningen. Därför menar universitetet att förslag om ersättning till utbildningsanordnare baserat på ett progressionstest inte bör genomföras.

Ett starkt fokus på test tenderar att styra och begränsa undervisningen, påverka lärarens möjligheter att utgå från elevens behov och därmed inskränka utrymmet för en individanpassad undervisning. Att sfi-elever förväntas arbeta enskilt med ett digitalt lärverktyg och lösa standardiserade testuppgifter utan kontext står i kontrast till vad som i all relevant forskning lyfts som framgångsfaktorer i en språkutvecklande undervisning. Där betonas vikten av samarbete och interaktion för en snabbare och mer effektiv språkinlärning. En undervisning som ger elever rika tillfällen till samarbete, kommunikation och ömsesidig stöttning innehåller automatiskt mer individanpassade arbetsformer som utgår från de enskilda elevernas förmågor, förutsättningar och behov.

Här saknar Stockholms universitet en djupare analys av de konsekvenser som införandet av ytterligare ett prov skulle innebära för en redan “testtung” och “testtrött” verksamhet. Utredningen saknar också en analys av hur elever, undervisning och lärare skulle påverkas. Enligt förslaget ska testet göras mot slutet av kursen och läraren ska bedöma när eleven är redo för testet. Förfarandet är detsamma som för redan obligatoriska nationella prov och det finns risker med att lärarens arbetsbörda ökar när ytterligare ett test ska hanteras. Tiden för lärare och elev är knapp inom sfi och om förslaget genomförs riskerar den tid som ska ha fokus på kvalitativ och individanpassad undervisning att läggas på hantering av en omfattande och av undervisningen ”oberoende” testapparat. Universitetet har också svårt att se hur den standardisering som ett sådant test förutsätter är förenlig med ambitionen om en individanpassad undervisning.

Utredningen föreslår att progressionstestet ska bedömas externt och därmed inte kommer att innebära ökad bedömningsbörda för undervisande lärare, som däremot kommer att behöva sköta administrationen kring testet. Istället för att i högre grad involveras i bedömning och på så sätt långsiktigt stärka sin kompetens, reduceras lärare till ett verktyg i en omfattande provadministration. Överhuvudtaget kan utredningen inte på ett trovärdigt sätt redogöra för relationen mellan extern bedömning och formativ återkoppling. Progressionstestet ska å ena sidan erbjuda eleven formativ återkoppling och leda till meningsfullt lärande, resultatet ska å andra sidan bara tolkas på gruppnivå. Här råder genomgående i utredningen förvirring kring begreppen individ och grupp i relation till hur testresultat kan användas. Utredningens förslag att testet ska kunna ge formativ återkoppling saknar också grund för praktiskt genomförande.

Stockholms universitet vill också framhålla att modern testforskning betonar betydelsen av såväl riktighet som rättvisa (eng. fairness/justice) i testanvändning, det vill säga huruvida testet mäter sådant som är relevant för verksamheten (riktighet) och om det används på ett etiskt riktigt sätt (rättvisa). Universitetet anser att ett sådant av utbildningen oberoende test som får långtgående konsekvenser för individen inte håller måttet vare sig gällande riktighet eller rättvisa.

Inrättande av ett nytt bedömningscentrum vid lämpligt lärosäte (avsnitt 6.5, ss. 114ff)

Utredaren föreslår att en tvärvetenskaplig testenhet, kallat bedömningscentrum, inrättas. Detta bedömningscentrum är tänkt att ansvara för framtagning, drift och utveckling av ett bedömningsinstrument/progressionstest. Vid Stockholms universitet finns betydelsefull kompetens på plats som enligt betänkandet kan bidra till synergieffekter. Det gäller till exempel verksamheten vid Nationellt centrum för svenska som andraspråk och provgruppen för nationella prov vid Institutionen för ämnesdidaktik. Därtill finns kompetens för automatiserad bedömning vid Institutionen för lingvistik. Utredningen påtalar fördelar med att knyta bedömningscentret till en universitetsmiljö, eftersom progressionstestet till stora delar bygger på kunskaper som är att beteckna som ”forskningsfront”. Detta skulle enligt betänkandet ge ökade möjligheter till forskning om sfi och om automatiserad bedömning.

Utredningen förordar Stockholms universitet som lämpligt lärosäte för ett bedömningscentrum. Utifrån ovan redovisade argument för avstyrkan av förslagen om progressionstest med tillhörande digitalt lärverktyg avstyrker emellertid universitetet även det av dessa avhängiga förslaget om bedömningscentrum. Universitetet ser inget behov av en centrumbildning av det slag som föreslås i betänkandet.

---

 

Slutord

Enligt konsekvensanalysen (avsnitt 14.1, s. 229) beräknas kostnaden kopplade till förslagen uppgå till 68 miljoner kronor årligen. Stockholms universitet menar att ekonomiska satsningar i stället behöver göras för att utveckla kvaliteten i sfi-utbildningen. Det ska löna sig att anställa behöriga lärare och att satsa på kompetensutveckling för redan behöriga (och verksamma) lärare. Sfi-verksamheten behöver vidare förstärkas rörande lärarnas digitala kompetens och krav bör ställas på att relevant pedagogisk utrustning finns hos sfi-samordnare. I högre grad än utredningens förslag har den typen av åtgärder förutsättningar att öka måluppfyllelsen hos sfi-elever och bidra till en adekvat och rättvis utbildningsverksamhet.

Detta beslut är fattat 2022-10-20 av rektor, professor Astrid Söderbergh Widding, i närvaro av prorektor, professor Clas Hättestrand, och universitetsdirektör Åsa Borin. Studeranderepresentanter har informerats och haft tillfälle att yttra sig. Övrig närvarande har varit Henrik Lindell Kennberg, Ledningssekretariatet (protokollförare). Ärendet har beretts av Områdesnämnden för humanvetenskap. Föredragande i ärendet har varit utbildningsledare Rikard Skårfors.