Problemlösning före undervisning (PS-I): Ett protokoll för bedömning och intervention hos studenter med olika förmågor

En av de frågor som lärarna är mest oroade över just nu är hur man kan stimulera elevernas reflektion. Detta problem är vanligt i kurser av matematisk karaktär, såsom STEM-kurser (vetenskap, teknik, teknik och matematik), där abstraktionen av många begrepp kräver en hög grad av reflektion, men många studenter rapporterar att de närmar sig dessa kurser enbart genom minnesbaserade metoder¹. Dessutom visar eleverna ofta ytligt lärande av begreppen^1,2,3. De svårigheter som eleverna upplever med att tillämpa reflektions- och djupinlärningsprocesser är dock inte bara kognitiva. Många studenter känner ångest och demotivation inför dessa kurser^4,5. Faktum är att dessa svårigheter tenderar att kvarstå under elevernas^{utbildningar 6}. Det är därför viktigt att utforska utbildningsstrategier som motiverande och kognitivt förbereder eleverna för djupinlärning, oavsett deras olika predispositioner.

Det är särskilt användbart att hitta strategier som kompletterar typiska instruktionsmetoder. En av de mest typiska är direkt instruktion. Direkt undervisning innebär att fullt ut vägleda eleverna från införandet av nya begrepp med uttrycklig information om dessa begrepp, sedan följa det med konsolideringsstrategier som problemlösningsaktiviteter, feedback, diskussioner eller ytterligare^{förklaringar 7,8}. Direkt instruktion kan vara effektiv för att enkelt överföra innehåll^8,9,10. Studenter reflekterar dock ofta inte över viktiga aspekter, till exempel hur innehållet relaterar till deras personliga kunskaper eller potentiella procedurer som kan fungera och inte¹¹. Det är därför viktigt att införa kompletterande strategier för att få eleverna att tänka kritiskt.

En sådan strategi är PS-I-metoden (Problem-Solving before Instruction)¹², även kallad Uppfinningsmetoden¹¹ eller metoden för produktivt misslyckande¹³. PS-I skiljer sig från direkt undervisning i den meningen att studenter inte introduceras direkt till begreppen, istället finns det en problemlösningsfas före de typiska direkta undervisningsaktiviteterna där eleverna söker individuella lösningar på problem innan de får någon förklaring om förfaranden för att lösa dem.

I det här inledande problemet förväntas eleverna inte helt upptäcka målkoncepten¹³. Studenter kan också känna kognitiv överbelastning^14,15,16 och till och med negativa^{påverkar 17} med osäkerheten och de många aspekterna att tänka på. Denna erfarenhet kan dock vara produktiv på lång sikt eftersom det kan underlätta kritiskt tänkande om viktiga funktioner. Specifikt kan det första problemet hjälpa eleverna att bli mer medvetna om luckorna i sina kunskaper^18,aktivera förkunskaper relaterade till innehållet för att^{täcka 13}, och öka motivationen på grund av möjligheten att basera sitt lärande på personlig kunskap^7,17,19.

När det gäller lärande ses effekterna av PS-I i allmänhet när resultaten utvärderas med djupinlärningsindikatorer^20,21. I allmänhet har inga skillnader hittats mellan studenter som lärde sig genom PS-I och de som lärde sig genom direkt undervisning när det gäller^{procedurkunskap 20,22}, som hänvisar till förmågan att reproducera lärda förfaranden. Men studenter som går igenom PS-I uppvisar i allmänhet högre lärande i^{begreppskunskap 7,19,23}, som hänvisar till att förstå innehållet som omfattas och överföra^7,15,19,24, som hänvisar till kapacitet att tillämpa denna förståelse på nya situationer. Till exempel visade en ny studie i en klass om statistisk variabilitet att studenter som fick möjlighet att uppfinna sina egna lösningar för att mäta statistisk variabilitet innan de fick förklaringar om de allmänna begreppen och förfarandena i detta ämne degraderade bättre förståelse i slutet av klassen än de som direkt kunde studera relevanta begrepp och förfaranden innan de engagerade sig i någon problemlösningsaktivitet²³. Vissa studier har dock inte visat några skillnader i^{lärande 16,25,26 eller}motivation^19,26 mellan PS-I och direkta instruktionsalternativ, eller ännu bättre lärande i direktinstruktionsalternativ^14,26, och det är viktigt att överväga potentiella variabilitetskällor.

Designfunktionerna som ligger till grund för implementeringen av PS-I är en viktig funktion²⁰. En systematisk granskning²⁰ fann att det var mer sannolikt att det fanns en inlärningsfördel för PS-I jämfört med direkta undervisningsalternativ när PS-I-interventionerna genomfördes med minst en av två strategier, antingen formulera det ursprungliga problemet med kontrasterande fall eller bygga den efterföljande undervisningen med detaljerad feedback om elevernas lösningar. Kontrasterande fall består av förenklade exempel som skiljer sig åt i några viktiga egenskaper¹¹ (se figur 1 till exempel) och kan hjälpa eleverna att identifiera relevanta funktioner och utvärdera sina egna lösningar under det ursprungliga problemet^11,20. Den andra strategin, som ger förklaringar som bygger på studenternas^{lösningar 13,}består i att förklara det kanoniska konceptet samtidigt som man ger feedback om överkomliga priser och begränsningar för lösningar som genereras av studenter, vilket också kan hjälpa eleverna att fokusera på relevanta funktioner och utvärdera luckorna i sina egna^{kunskaper 20}, men efter att den första problemlösningsfasen är klar (se figur 3 till exempel byggnadsställningar från elevernas typiska lösningar).

Med tanke på stödet i litteraturen för dessa två strategier, kontrasterande fall och byggnadsundervisning om elevernas lösningar är det viktigt att överväga dem när man främjar införandet av PS-I i verklig utbildningspraxis. Detta är det första målet i vårt protokoll. Protokollet innehåller material för ett PS-I-ingripande som innehåller dessa två principer. Det är ett protokoll som, även om det är anpassningsbart, är kontextualiserat för en lektion om statistisk variabilitet, en mycket vanlig lektion för universitets- och gymnasieelever, som i allmänhet är målgrupperna i litteraturen på PS-I²⁹. Den inledande problemlösningsfasen består i att uppfinna variabilitetsåtgärder för inkomstfördelningar i länder, vilket är ett kontroversiellt^{ämne 30} som kan vara bekant för studenter inom många inlärningsområden. Sedan tillhandahålls material för studenter att studera lösningar på detta problem i ett bearbetat exempel och för en föreläsning som innehåller diskussion om gemensamma lösningar som produceras av studenter tillsammans med inbäddade övningsproblem.

Det andra målet med vårt protokoll är att göra den experimentella utvärderingen av PS-I tillgänglig för lärare och forskare, vilket kan underlätta undersökningen av PS-I ur ett större antal perspektiv samtidigt som vissa villkor bibehålls konstanta i litteraturen. Ändå är villkoren för denna experimentella utvärdering flexibla för ändringar. Den experimentella utvärdering som beskrivs i protokollet kan tillämpas på vanliga lektioner, eftersom elever i en enda klass kan tilldelas materialet för PS-I-tillståndet eller materialet för ett direkt undervisningstillstånd samtidigt (figur 4). Detta direkta undervisningstillstånd är också anpassningsbart till forsknings- och utbildningsbehov, men som ursprungligen beskrevs i protokollet börjar eleverna med att få de första förklaringarna om målkonceptet med det arbetade exemplet och konsoliderar sedan denna kunskap med ett övningsproblem (presenteras endast i detta villkor för att kompensera för den tid PS-I-studenter spenderar på det ursprungliga problemet) och med^{föreläsningen 23}. Potentiella anpassningar inkluderar att börja med föreläsningen och sedan ha studenter att göra problemlösningsaktiviteten, vilket är ett typiskt kontrolltillstånd för att jämföra PS-I som ofta har lett till bättre lärande för PS-I-tillståndet^7,13,19,26. Alternativt kan kontrolltillståndet reduceras till utforskning av ett bearbetat exempel följt av föreläsningsfasen, som, även om en mer förenklad version av direkta undervisningsmetoder än ursprungligen föreslogs, är vanligare i litteraturen och har lett till olika resultat, med vissa studier som indikerar bättre lärande i PS-I^15,24, och andra som indikerar bättre lärande från denna typ av direkt instruktionstillstånd^14,26.

Slutligen är ett tredje mål med protokollet att tillhandahålla resurser för att utvärdera hur studenter med olika predispositioner och kognitiva förmågor kan dra nytta av PS-I¹⁵. Utvärderingen av dessa predispositioner är särskilt viktig om vi beaktar de negativa predispositioner som vissa studenter ofta har med STEM-kurser, och det faktum att PS-I fortfarande kan ge negativa reaktioner i vissa fall¹⁴. Det finns dock lite forskning om detta.

Å ena sidan, eftersom PS-I underlättar associeringen av lärande med individuella idéer, snarare än bara formell kunskap, kan PS-I hypotetiskt som att kunna hjälpa till att motivera studenter från låg akademisk nivå, de som har låga känslor av kompetens eller låg motivation om ämnet^13,27. En studie visade att studenter med låg masteriorientering, dvs färre mål relaterade till personligt lärande, gynnades mer av PS-I än de med högre motivation att lära^{sig 27}. Å andra sidan kan studenter med andra profiler stöta på svårigheter när de är involverade i PS-I. Mer specifikt spelar metakognition en viktig roll i PS-I³¹, och studenter med låg metakognitionsförmåga kanske inte drar nytta av PS-I på grund av svårigheter att vara medvetna om sina kunskapsluckor eller urskilja relevant innehåll¹⁵. Eftersom ps-I:s inledande fas bygger på produktion av individuella lösningar kan studenter med låg divergerande förmåga, svårigheter att generera en mängd olika svar i en viss situation dessutom dra mindre nytta av PS-I än andra studenter. Protokollet innehåller tillförlitliga instrument för att bedöma dessa predispositioner(tabell 1)även om andra kan övervägas.

Sammanfattningsvis syftar detta protokoll till att göra ett genomförande av ett PS-I-ingripande som följer accepterade principer i PS-I-litteraturen tillgängligt för lärare och forskare. Dessutom ger protokollen en experimentell utvärdering av denna intervention och underlättar utvärderingen av elevernas kognitiva och motiverande predispositioner. Det är ett protokoll som inte kräver tillgång till ny teknik eller specifika resurser, och ett protokoll som kan ändras utifrån forsknings- och utbildningsbehov.

Detta protokoll följer Helsingforsdeklarationen om etiska principer för forskning med människor, men tillämpar dessa principer på de extra svårigheterna att integrera forskning i verkliga miljöer i utbildning³². Specifikt kan varken uppgiften med inlärningsvillkor eller beslutet att delta få konsekvenser för elevernas inlärningsmöjligheter. Dessutom upprätthålls konfidentialitet och elevernas anonymitet även när det är lärarna som ansvarar för utvärderingen. Protokollets mål, tillämpningsområde och förfaranden har godkänts av Den forskningsetiska kommittén för Furstendömet Asturien (Spanien) (Referens: 242/19).

Observera att om användaren bara är intresserad av att implementera PS-I-metoden är endast steg 6 (utan att tilldela deltagarna kontrollvillkoret) och steg 7 relevanta. Trots det kan steg 5 och 9 läggas till som övningsövningar för studenter. Om användaren också är intresserad av den experimentella utvärderingen är det viktigt att studenterna arbetar individuellt under steg 4, 5, 6 och 9. Det rekommenderas därför att studentplatser ordnas under dessa steg så att det finns ett tomt utrymme bredvid varje elev.

Beroende på bekvämlighet kan stegen implementeras kontinuerligt i en enda klasssession eller med efterföljande steg i en annan klasssession.

1. Information till studenterna om studiens syfte och förfaranden

1. Ta 10 minuter av en lektionsperiod för att informera eleverna om studien.
2. Förklara uttryckligen för studenterna det allmänna syftet med studien, deras frihet att samtycka till att delta, det faktum att de fritt kan dra sig tillbaka och försäkran om anonymitet och konfidentialitet i databehandlingen.
   1. Berätta för dem att studiens allmänna syfte är att utforska effekten av olika pedagogiska tillvägagångssätt, samt att utvärdera effekten av elevernas kognitiva och affektiva dispositioner på effektiviteten av dessa metoder.
   2. Säg till dem att även om de kommer att tilldelas en av de två metoderna, kommer innehållet som omfattas av de två villkoren att vara detsamma. Informera dem om att de aktiviteter som används under båda förhållandena kommer att vara tillgängliga för alla studenter i slutet av studien.
   3. Låt dem veta att de är fria att delta i studien och att de kan lämna studien när som helst utan att påverka deras inlärningsmöjligheter eller deras betyg. Om de inte vill delta i studien kan de göra inlärningsaktiviteterna utan att lämna in dem. Dessutom, under den korta tid deltagarna fyller i frågeformulär, kan icke-deltagare studera annat material.
   4. Informera dem om att deras deltagande kommer att vara anonymt och att konfidentialitet alltid kommer att upprätthållas, ett godtyckligt identifieringsnummer kommer att användas för att kombinera uppgifterna över olika sessioner och aktiviteter.
3. Förse studenterna med två kopior av det informerade samtyckesformuläret (bilaga A) som också innehåller forskarens kontaktuppgifter. Be dem att signera en kopia åt dig och att behålla den andra kopian för sig själva.
   OBS: Detta protokoll riktar sig till universitetsstudenter, där inget föräldratillstånd behövs. Det skulle kunna generaliseras till lägre utbildningsnivåer, även om det också skulle behövas föräldrainformerat samtycke för studenter som är lagligt minderåriga.
4. Om studenter läggs till i studien i senare faser av protokollet, be dem att fylla i det informerade samtycket enligt beskrivningen i detta avsnitt innan de går med i studien.

2. Ge eleverna ett identifikationsnummer som är avassocierat från andra register

1. För att upprätthålla anonymiteten i elevernas svar, tilldela slumpmässigt varje elev ett id-nummer (t.ex. förbereda en väska med slumpmässiga nummer och be varje elev att välja en, skicka ett slumpmässigt nummer till varje elev via en webbapplikation). Be dem notera numret på en plats där det kommer att vara tillgängligt i de efterföljande utvärderingarna i protokollet.
   OBS: Om studien görs via en online-ansökan som gör det möjligt att spåra elevernas svar anonymt är detta inte nödvändigt.

3. Komplettering av frågeformulär om kognitiva och affektiva predispositioner och grundläggande demografiska data

1. Reservera 10 minuter under en lektionsperiod för att administrera enkäterna till alla elever i klassen.
2. Ge de elever som bestämmer sig för att inte delta i experimentet andra inlärningsalternativ som att arbeta individuellt med annat innehåll.
3. Be eleverna fylla i frågeformulären om sina predispositioner, detta kan göras med hjälp av frågeformulären i bilaga B. Be dem att arbeta individuellt.
   OBS: I uppsättningen frågeformulär i tillägg B ingår den kognitiva kompetensskalan i undersökningen av attityder till statistik (SATS-28) ³³, mastery approach scale i prestationsmålet Questionnaire-Revised³⁴ , Regulation of Cognition Scale of the Metacognitive Awareness Inventory³⁵och demografiska frågor.
   1. För att kontrollera eventuella kontaminerande effekter i samband med den ordning i vilken studenterna fyller i frågeformulären, lämna slumpmässigt olika versioner av frågeformulären som varierar i den ordning frågeformulären presenteras. I tillägg B-1 finns olika tryckta versioner av de föreslagna frågeformulären med olika beställningar.
      OBS: Om enkäterna slutförs digitalt skapar du länkar till de olika beställningarna och distribuerar slumpmässigt de fyra länkarna mellan eleverna i klassen (t.ex. mellan grupper som skapats i alfabetisk ordning).
4. Ge eleverna 7 minuter att fylla i enkäterna. Instruktioner ingår i enkäterna och inga ytterligare instruktioner behövs.

4. Administration av det divergerande tanketestet

1. Om detta test är av intresse, ta 10 minuter under en lektionsperiod för att administrera Alternativ användning uppgift^36,37 som mäter flytande divergerande tänkande för alla elever i klassen.
2. Ge varje elev tomt papper och be dem skriva sitt identifikationsnummer.
3. Förklara instruktionerna för testet.
   1. Berätta för dem att de kommer att förses med ett objekt som har en gemensam användning, men de bör komma med så många andra användningsområden som de kan.
   2. Ge dem ett exempel (t.ex. om jag presenterar en tidning för dig, som vanligtvis används för att läsa, måste du skriva alternativa användningsområden, till exempel att använda den som en tillfällig hatt för att skydda dig från solen eller att fodra botten av en resväska)³⁸.
4. Läs det första objektet i testet högt och skriv det på svarta tavlan: "Skriv så många användningsområden du kan tänka dig för en tegelsten". Ge eleverna två minuter att skriva sina svar. När de två minuterna är över ber du eleverna att vända sitt papper till andra sidan.
5. Läs det andra objektet i testet högt och skriv det på svarta tavlan: "Skriv så många användningsområden du kan tänka dig för ett gem". Ge eleverna två minuter att skriva sina svar.
6. När de två minuterna är över ber du eleverna att sluta skriva och samla in sina papper.

5. Slutförande av förtestet av tidigare akademiska kunskaper

1. Reservera 15 minuter under en lektionsperiod för att administrera tidigare förprov för akademisk kunskap i tillägg C.
   OBS: Förtestet handlar om central tendens, vilket är relevant för att assimilera innehållet om variabilitet som ska läras under de efterföljande inlärningsförhållandena i steg 6⁷. Inget klassinnehåll om central tendens bör ges till studenter mellan administrationen av detta förtest och steg 6. Vi rekommenderar inte heller att du ersätter detta förtest med en annan förtest som täcker variabiliteten eftersom det kan skapa en PS-I-effekt som kan förorena resultaten av experimentet²⁶.
2. Distribuera förtestet till studenterna. Från och med nu ber du dem att arbeta individuellt.
   1. Ge eleverna 10 minuter att slutföra förtestet. Instruktioner ingår i testet och inga fler specifikationer behövs. När tiden är slut ber du eleverna att vända på papperet och lämna in det till dig.

6. Tilldelning till och administration av de två inlärningsvillkoren

1. Ta 35 minuter av en lektionsperiod för att administrera de två inlärningsförhållandena i samma klassrum.
   OBS: För att förhindra tillförlitlighetsfel på grund av tid rekommenderar vi inte mer än en vecka mellan slutförandet av frågeformulären och testerna i steg 2 och 3 och det här steget.
2. Se till att uppgiftsböckerna är korrekt förberedda och innehåller materialen för de två villkoren.
   OBS: BNP per capita har valts för att kontextualisera dessa läromedel av flera skäl: för det första är det ett kontroversiellt^{ämne 30} som kan vara bekant för studenter från många inlärningsområden, och för det andra är det en förhållandevariabel som tillåter användning av olika variabilitetsåtgärder som diskuteras under lektionen (intervall, interkvartilt intervall, standardavvikelse, varians och variationskoefficient).
   1. För PS-I-villkoret skriver du ut motsvarande uppgiftsbok i bilaga D-1 som innehåller: uppfinningsproblemaktiviteten, där eleverna ombeds uppfinna ett ojämlikhetsindex; aktiviteten Arbetat exempel, där eleverna kan studera lösningarna på detta problem.
   2. För det direkta instruktionsvillkoret skriver du ut motsvarande uppgiftsbok i tillägg D-1 som innehåller: aktiviteten Bearbetat exempel (samma bearbetade exempel som ges till PS-I-villkoret). övningsproblemet parat med det här bearbetade exemplet.
      OBS: Det är viktigt att övningsproblemet som ingår i materialen för detta tillstånd inte finns i PS-I-tillståndet. Det ingår för att experimentellt kompensera för den extra tid som PS-I-studenterna tillförde uppfinningsproblemet. En inneboende begränsning av PS-I-konstruktioner är svårigheten att kontrollera för likvärdighet när det gäller både tid och material. Även i konstruktioner där PS-I-tillståndet och kontrolltillståndet bara skiljer sig åt i den ordning som läromedel presenteras (det vill säga antingen presenterar ett problem före en uttrycklig instruktionsfas eller presenterar exakt samma problem efter exakt samma uttryckliga instruktionsfas), uppnås inte likvärdighet, eftersom ett problem som löses före instruktionen förväntas ta mer tid än efter instruktion. Detta protokoll behandlar detta problem på samma sätt som andra studier²⁴, genom att inkludera extra material i direkt instruktionsskick.
   3. Separera de två aktiviteterna i varje uppgiftsbok genom att binda de papper som motsvarar den andra aktiviteten (t.ex. med ett klipp eller en fästing) så att eleverna inte kan se innehållet i den andra aktiviteten medan de gör den första aktiviteten.
3. Informera eleverna om proceduren att följa i det här specifika steget.
   1. Berätta för dem att beroende på vilken uppgiftsbok de är tilldelade kommer de att ha två olika par aktiviteter, men alla elever kommer att se samma innehåll, och i slutet av lektionen kommer alla att ha tillgång till alla aktiviteter.
   2. Låt dem veta att de kommer att få veta när de ska starta den första aktiviteten och när de ska gå vidare till den andra aktiviteten. Tala också om för dem att tidningarna för den andra aktiviteten har varit bundna att hindra dem från att titta före lämplig tidpunkt.
   3. För att minska potentiell frustration relaterad till rädsla för att misslyckas, berätta för dem att även om de kan tycka att vissa aktiviteter är svåra, bör de försöka se dessa svårigheter som inlärningsmöjligheter³⁹.
4. Tilldela slumpmässigt de två uppgiftsböckerna till eleverna i klassen
   OBS: För att förhindra kontaminerande faktorer relaterade till var eleverna sitter, fördela uppgiftsböckerna homogent över de olika delarna av klassen. När du till exempel går runt i klassen ger du PS-I-uppgiftsboken till en elev och sedan den direkta instruktionsuppgiftsboken till nästa elev.
5. När du har delat ut uppgiftsböckerna till alla elever i klassen ber du dem att börja arbeta individuellt med den första aktiviteten.
   1. Berätta för eleverna att de har 15 minuter på sig för den första aktiviteten. Instruktioner ingår i pappersarken och inga mer allmänna instruktioner behövs.
   2. Berätta för dem att du är tillgänglig för alla frågor, men undvik att ge eleverna något extra innehåll annat än vad de har i uppgiftsböckerna.
      OBS: Särskilt för studenter som löser uppfinningsproblemet, undvik att vägleda dem mot konventionella lösningar, eftersom det kan genväg utvecklingen av sina egna kunskaper¹¹. Istället föreslår vi tre möjliga svar på elevernas frågor¹¹: a) hjälpa dem att klargöra sina egna processer genom att be dem förklara vad de gör; b) hjälpa dem att vägleda sig själva med sin intuition genom att fråga dem vilket land de anser har större ojämlikhet än andra länder; c) hjälpa dem att förstå målet med aktiviteten genom att be dem att producera allmänna index som skulle ta hänsyn till de skillnader de ser, kan du ge exempel på andra kvantitativa index (t.ex. "medelvärdet är ett index för att beräkna det centrala värdet i en fördelning").
6. När de 15 minuterna för den första aktiviteten är över ber du eleverna att gå vidare till motsvarande andra aktivitet, för vilken de måste ta bort klippet eller fästingen.
   1. Säg att de har 15 minuter på sig för den andra aktiviteten. Instruktioner ingår i pappersarken och inga ytterligare allmänna instruktioner behövs. Berätta för dem att du är tillgänglig för alla frågor.
      Deltagare har tillgång till innehållet från föregående aktivitet.
7. När de 15 minuterna är över ber du dem att lämna det färdiga materialet till dig.

7. Administration av föreläsningsinnehållet

1. Boka 40 minuter inom en eller flera lektionsperioder för att hålla föreläsningen om statistisk variabilitet för alla elever i klassen.
   PROTOKOLLET kan avbrytas när som helst under föreläsningen och kan fortsätta i den efterföljande lektionssessionen.
2. För att hålla föreläsningen, följ bilderna, som finns på följande länk: https://www.dropbox.com/sh/aa6p3hs8esyf5xa/AACTvpVlEbdEtLVfBIbe9j7aa?dl=0.
   OBS: Filen innehåller animationer för att sprida innehållet, kommentarer med föreslagna förklaringar att ge till studenter och indikationer om den ungefärliga tid som tilldelats för varje förklaring. Innehållet och aktiviteterna som ingår handlar om definitionen av variabilitet, användningen av olika variabilitetsåtgärder (intervall, interkvartilt intervall, varians, standardavvikelse och variationskoefficient), egenskaperna hos dessa åtgärder och deras fördelar och nackdelar jämfört med varandra och andra suboptimala lösningar¹³. En ytterligare beskrivning av denna föreslagna föreläsning finns i bilaga E. Användaren kan anpassa dessa material beroende på olika faktorer som specifikt innehåll för att täcka i klassen, föredragna undervisningsprinciper eller olika kulturella uttryck.

8. Slutförande av kuriosakäten

1. I slutet av föreläsningen, ge eleverna Curiosity Scale från Epistemic Related Emotions Questionnaire⁴⁰ (Appendix F) och ge dem 2 minuter att slutföra det. Påminn eleverna om att skriva sitt identifikationsnummer på enkäten innan de lämnar tillbaka det.
   OBS: I litteraturen mäts nyfikenhet ofta direkt efter uppfinningsaktiviteten och motsvarande kontrollaktiviteter^14,17. Protokollet är flexibelt för detta och andra möjliga anpassningar i detta avseende. För enkelhetens skull inkluderade vi bara mätning av nyfikenhet i slutet av lektionen eftersom det är relevant att undersöka PS-I:s långsiktiga effekter på nyfikenheten, och för att ökad nyfikenhet direkt efter uppfinningsaktiviteten delvis kan förklaras av det faktum att eleverna under uppfinningsaktiviteten får mindre information än under alternativa aktiviteter som används som kontroller.

9. Administration av lärandet efter testet

1. I enlighet med läraren i varje klass, ta 30 minuter under en lektionsperiod för att administrera efterprovet.
2. Distribuera efterprovet i bilaga G till studenterna. Be dem att arbeta med det individuellt.
   1. Ge eleverna 25 minuter att göra efterprovet. Instruktioner ingår i eftertestet och inga ytterligare allmänna instruktioner behövs.
3. När de 25 minuterna är slut ber du dem att lämna tillbaka eftertestet till dig.

10. Ge eleverna feedback och allt inlärningsmaterial

1. Gör materialet som används för den här lektionen tillgängligt för eleverna. Power-point-bilderna, materialen för de två inlärningsförhållandena och lösningarna för förtest och eftertest finns i tillägg H.

11. Kodning av uppgifterna

1. Beräkna poängen för de olika skalorna i enkäterna genom att lägga ihop alla artikelpoäng i varje enkätskala (se bilaga B för en sammanfattning av enkätposterna i de föreslagna frågeformulären).
2. Beräkna poängen för olika tänkande flytande genom att räkna upp alla lämpliga svar som ges av varje elev i båda objekten i alternativ användnings aktivitet³⁷.
   OBS: Andra åtgärder som ofta kodas från aktiviteten Alternativa användningsområden, till exempel flexibilitet, originalitet och utarbetande, kan också betraktas^{som 36,37}.
3. Beräkna poängen för förkunskapsförtestet för tidigare kunskaper genom att först bedöma varje objekt med hjälp av svarsknappen i bilaga I-1 och sedan lägga ihop poängen för alla objekt.
4. Beräkna de olika inlärningsmåtten genom att först bedöma varje objekt i eftertestet med hjälp av svarsknappen i tillägg I-2 och sedan lägga ihop poängen för varje inlärningsmått: poäng i punkterna 1 till 3 för procedurinlärningsmåttet, poäng i punkterna 4-8 för det konceptuella inlärningsmåttet och poäng i punkterna 9-11 för överföring av inlärningsmått.
   OBS: Andra åtgärder om inlärningsprocessen, såsom antalet lösningar som produceras av studenter under uppfinningsproblemet eller riktigheten av lösningarna i alla problemlösningsaktiviteter kan övervägas, men de kommer inte att förklaras i detta protokoll.

12. Analys av uppgifterna

Observera att referenser i det här avsnittet hänvisar till praktiska handböcker om hur du utför analyserna med SPSS- och PROCESS-programvara, men andra program kan också användas.

1. För att utvärdera PS-I: s allmänna effektivitet, jämför nyfikenheten och inlärningspoängen för PS-I-tillståndet jämfört med nyfikenheten och inlärningspoängen i kontrolltillståndet.
   OBS: Så länge antagandena är uppfyllda rekommenderar vi främst ANCOVA att kontrollera för predisposition av kovarianter. Som ett andra alternativ rekommenderar vi t-tester för oberoende grupper och som ett tredje alternativ rekommenderar vi Mann-Whitney U-tester⁴¹. Ingen minsta urvalsstorlek krävs för dessa analyser, men med tanke på effektstorlekarna i tidigare litteratur (d = .43)²¹, rekommenderas ett minimiprov på 118 studenter per grupp för att underlätta identifieringen av effekterna som betydande (tvåsidiga effektanalyser för skillnader mellan oberoende medel, α = .05, β = .95,). Prover som är större än 30 studenter per grupp skulle göra det lättare att uppfylla antagandena om normalitet för ANCOVA eller t-tester⁴¹.
2. För att intuitivt utforska medlingseffekter (t.ex. medling av nyfikenhet på lärande) och/eller det dämpande inflytandet av predispositioner, utföra korrelationsanalyser mellan medlarvariabeln (t.ex. nyfikenhet) och inlärningsvariabeln (t.ex. begreppsmässig kunskap) under de två inlärningsförhållandena.
   OBS: Så länge antagandena är uppfyllda rekommenderar vi främst användning av Pearson-korrelationer och som ett andra alternativ rekommenderar vi Spearman korrelationer⁴². Ingen minsta urvalsstorlek krävs för dessa analyser, men stora prover (t.ex. mer än 30 studenter per grupp) skulle göra det lättare att uppfylla de antaganden om normalitet som behövs för Pearson-korrelationer. Möjliga modereringseffekter skulle indikeras av predispositionsvariabler som har olika korrelationsvärden i det ena inlärningstillståndet jämfört med det andra. En möjlig medlingseffekt (t.ex. medling av nyfikenhet på lärande) skulle anges om medlingsvariabeln är korrelerad med inlärningsresultaten i minst ett tillstånd, och om nivåerna för denna variabel är olika i ett inlärningstillstånd jämfört med det andra (se resultaten i steg 12.1).
3. För att fortsätta utvärdera en medlingseffekt på lärandet och/eller det dämpande inflytandet av studenternas anlag, utför du antingen medlingsanalys, modereringsanalys eller villkorlig processanalys (som kombinerar medling och modereringsanalys) beroende på konceptuell modell för att testa⁴³, vilket skulle variera beroende på de valda hypoteserna och/eller den preliminära analysen i steg 12.2.
   OBS: Eftersom dessa analyser baseras på flera regressioner och därför baseras på ett statistiskt tillvägagångssätt med fast effekt, för att göra resultaten så generaliserbara som möjligt, rekommenderar vi en minsta urvalsstorlek på 15 studenter per medlingsvariabel som ingår i konceptuell modell, plus 30 studenter per modereringsvariabel som ingår i modellen. Vissa program som PROCESS tillåter bara att högst två modereringsvariabler inkluderas samtidigt. För att införliva mer modererande variabler måste flera analyser köras för att ändra moderatorerna som ingår.

Detta protokoll genomfördes på ett tillfredsställande sätt i en tidigare^{studie 23}, med undantag för måtten på studenternas anlag när det gäller deras känsla av kompetens, mästerliga inflygningsmål, metakognition och divergerande tänkande.

För att ta itu med dessa predispositioner innehåller detta protokoll åtgärder som tidigare har validerats och som har visat höga tillförlitlighetsnivåer (tabell 1).

Typiska lösningar som genereras av studenter i uppfinningsproblemet i PS-I-tillståndet kan ses i figur 3A-D. Studenter producerar vanligtvis inte den kanoniska lösningen av standardavvikelse. De suboptimala lösningar som de producerar avslöjar dock reflektion över relevanta aspekter av standardavvikelse (t.ex. intervall, summeringsavvikelser eller genomsnittsavvikelser). Tidigare forskning har visat att mångfalden av lösningar i det ursprungliga problemet i PS-I var förknippad med högre lärande, oavsett riktigheten i svaret⁴⁴. Det är dock viktigt att notera att frånvaron av svar i detta problem inte är en indikator på att studenter inte drar nytta av det, eftersom eleverna kritiskt kan reflektera över problemet utan att ge ett synligt resultat.

En typisk lösning som produceras av studenter i det övningsproblem som används i kontrolltillståndet(figur 2)visas i figur 3 E. Dessa lösningar är mer homogena och i linje med det kanoniska begreppet standardavvikelse eftersom det är ett problem som presenterades efter att de hade studerat begreppen och förfarandena i arbetsexepel (tillägg D-2).

Figur 5 återger ett exempel för rapportering av de allmänna skillnaderna mellan PS-I och direkt undervisning i den experimentella utvärderingen. Den bygger på resultat från en tidigare studie som följde detta^{protokoll 23} där studenter i PS-I-tillståndet inte skilde sig åt i procedurkunskap, kunskapsöverföring, nyfikenhet eller förkunskaper, men skilde sig åt i begreppskunskaper.

Figur 6 visar ett exempel på hur du rapporterar den dämpande effekten av en av de föreslagna studentpredispositionerna, metakognitiva förmågor. I detta hypotetiska exempel lärde sig elever med lägre metakognitiva förmågor mer av direkt undervisning än från PS-I, medan de med högre metakognitiva förmågor gynnades mer av PS-I än av direkt undervisning.

Figur 1: Uppfinningsproblem i PS-I-tillståndet.  I detta problem^{ombeds 23} studenter i PS-I-tillståndet att uppfinna kvantitativa index för att mäta ojämlikhet i de fyra länderna. Det är formulerat med tekniken för kontrasterande fall^11:länderna visar konsekvens och variationer när det gäller relevanta funktioner, och dessa variationer är lätta att beräkna. Pinpanpun och Toveo har till exempel samma medelvärde (5), samma antal fall (7), samma intervall (10), men olika fördelning. Klicka här om du vill visa en större version av den här figuren.

Bild 2: Övningsproblem i direktinstruktionsvillkoret. I det här problemet^{ombeds 23} elever i direktundervisningsvillkor att tillämpa de begrepp och procedurer som lärts i arbetsexepelt. Klicka här om du vill visa en större version av den här figuren.

Figur 3: Vanliga lösningar i uppfinningsproblemet och i övningsproblemet.  Bilder A-D visar vanliga lösningar i uppfinningsproblemet, som kan användas i den bakre direkta instruktionsfasen för byggnadsställningar: (A) Intervallet - lätt att beräkna, men tar inte hänsyn till skillnader mellan alla invånare- (B) Intervallbaserad åtgärd - tar hänsyn till fler invånare än intervallet när det förstärks när maximivärden upprepas, men tar inte hänsyn till alla värden- (C) Medelvärdet av avvikelser - det står för skillnader mellan alla invånare, men det är förvirrande eftersom negativa avvikelser subtraherar från positiva avvikelser- D) Medelvärdet av absoluta avvikelser - en konceptuellt komplett lösning som liknar den kanoniska lösningen av standardavvikelsen- e) En typisk lösning på kontrolltillståndet. Studenter i detta tillstånd har redan studerat det arbetade exemplet, och därför kan de flesta av dem reproducera och tolka de kanoniska lösningarna för standardavvikelsen korrekt. Klicka här om du vill visa en större version av den här figuren.

Figur 4: Utformning av experimentell utvärdering.  Efter att frågeformulären och proven har avslutats för att mäta elevernas anlag tilldelas eleverna slumpmässigt de två inlärningsvillkorens aktiviteter (alla elever stannar kvar i samma klass). När eleverna har slutfört dessa aktiviteter får alla samma föreläsning om statistisk variabilitet. Nyfikenhet och lärande mäts i slutet av inlärningsprocessen. Klicka här om du vill visa en större version av den här figuren.

Figur 5: Resultat om ps-I-effekten jämfört med direkt instruktion.  Grafiken visar ett typiskt resultat av jämförelsen mellan PS-I-villkoret och det direkta instruktions villkoret inom varje beroende variabel, med hjälp av data från en tidigare studie som använde detta protokoll²³. De två staplarna i varje bild representerar medel för de två villkoren, medan motsvarande felstaplar representerar +/- 1 standardfel av dessa medel. * indikerar signifikanta resultat på .05-signifikansnivå. Klicka här om du vill visa en större version av den här figuren.

Figur 6: Hypotetiska resultat om de modererande effekterna av elevernas predispositioner. Grafiken visar ett hypotetiskt resultat om den dämpande effekten av metakognitiva förmågor på PS-I:s relativa effektivitet för att främja lärande, där PS-I är effektivare än direkt undervisning endast för studenter som rapporterar medelhöga och höga metakognitiva förmågor. Efter rekommendationer^{i 43}, den 16:^e , 50: e och 86: e percentilerna har använts för att representera studenter med låg, medel och hög metakogntiv förmåga. Klicka här om du vill visa en större version av den här figuren.

Tabell 1: Föreslagna konstruktioner och åtgärder för att utvärdera studenternas predispositioner. Fem konstruktioner om elevernas predispositioner föreslås utvärderas som moderatorer i PS-I:s effektivitet. Ett förslag till åtgärd för varje konstruktion beskrivs när det gäller antalet artiklar, beskrivning av artiklarna och bevis på giltighet och tillförlitlighet.

Tabell 2: Föreslagna konstruktioner och åtgärder för att utvärdera ps-I:s effektivitet. De föreslagna instrumenten för att mäta nyfikenhet och tre typer av lärande (förfarandemässigt, konceptuellt och överföring) beskrivs, inklusive information om antal punkter, beskrivning av objekten och bevis på giltighet och tillförlitlighet.

Syftet med detta protokoll är att vägleda forskare och utbildare i genomförandet och utvärderingen av PS-I-metoden i verkliga klassrumssammanhang. Enligt vissa tidigare erfarenheter kan PS-I bidra till att främja djupinlärning och motivation hos studenter^19,21,24, men det finns ett behov av mer forskning om dess effektivitet hos studenter med olika förmågor och motiverande predispositioner^14,27. Mer specifikt, med hjälp av detta dokument, kan lärare följa ett PS-I-implementeringsprotokoll för en statistikklass utformad enligt de mest accepterade principerna i PS-I-litteraturen^11,13,20,50 (steg 6-7). Dessutom kan lärare och forskare följa en inbäddad experimentell utvärdering om effekten av denna implementering hos studenter med olika motiverande och / eller kognitiva predispositioner (alla steg). Detta experiment strider inte mot utbildningsprinciperna om lika möjligheter, fritt samtycke till att delta eller respekt för studenternas konfidentialitet, och det är inte heller nödvändigt att använda någon ny teknik.

Protokollet är flexibelt och kan ändras eller tillämpas i enlighet med nya forsknings- eller utbildningsbehov. Som beskrivs i detta dokument tillåter protokollet dock utvärdering av PS-I:s effektivitet när det gäller nyfikenhet och olika typer av lärande, inklusive inlärningsåtgärder som kräver djupinlärning, såsom begreppskunskap och kunskapsöverföring, samt inlärningsåtgärder som inte nödvändigtvis kräver djupinlärning, såsom procedurkunskap. Både motivation och djupinlärning är viktiga problem för alla instruktörer. STEM-kursdesigners är särskilt bekymrade över dessa ämnen eftersom en stor andel studenter har svårt att förstå dessa^{kurser 1,2,3} och upplever olika motivationsfrågor^4,5. Protokollet ger också vägledning för utvärdering av PS-I:s effektivitet hos studenter i termer av vissa kognitiva och/eller motiverande predispositioner, som också är ett problem inom STEM-utbildning och i PS-I: s relativa effektivitet. De predispositioner som föreslås i protokollet inkluderar tidigare akademisk kunskap, mål för mastery-approach, känsla av kompetensinlärning ämnet, metakognition och divergerande tänkande.

Exempel på ändring av protokollet baserat på idéer som föreslås i litteraturen inkluderar att öka antalet problem under^{villkoren 15}, vilket ger eleverna mer tid för problemutforskning⁴⁴, och inklusive olika variabler för att ta hänsyn till mediala inlärningsprocesser^14,15,24. Protokollet är också flexibelt när det gäller tillämpningen av de olika stegen jämfört med olika klasssessioner. Varje steg kan utföras under samma lektionsperiod som föregående steg, och forskare och lärare kan bestämma hur de ska organisera stegen till sin egen bekvämlighet.

En avgörande faktor för utvärderingen är dock att studenterna samarbetar för att följa utvärderingsreglerna. I vissa steg ska de till exempel arbeta individuellt så att eventuella interaktioner mellan dem inte förorenar resultaten. För att uppnå detta är det viktigt att studenterna informeras om förfarandena och att de är lika delaktiga i inlärningsaktiviteterna oavsett om de vill delta i den experimentella utvärderingen^{eller inte 32}, som beskrivs i steg 1 i protokollet. För de aktiviteter som kräver individuellt arbete rekommenderar vi också att se till att det finns utrymmen kvar mellan eleverna.

Sammanfattningsvis kan detta protokoll vara användbart för att göra PS-I och dess experimentella utvärdering mer tillgänglig för lärare och forskare, förse dem med material och vägledning, ge dem flexibilitet att tillämpa det enligt deras forsknings- och utbildningsbehov och föreslå analysalternativ som anpassar sig till olika urvalsstorlekar. En möjlig begränsning här kan dock vara den tid som krävs för att fylla i enkäter och tester om student predispositioner. När användaren är intresserad av att utvärdera dessa predispositioner men det inte finns någon tillgänglig tid att göra det under klassen, kan dessa enkäter fyllas i som en tilldelning utanför klassen. En andra begränsning är det potentiella mätfelet hos några av de föreslagna predispositionsåtgärderna som inte är specifikt kontextualiserade för att lära sig variabilitetsåtgärder, utan snarare i allmänt lärande (metakognition och divergerande tänkande) eller allmän statistikinlärning (mastery approach goals and sense of competence). Detta fel bör betraktas som en potentiell begränsning av alla studier som utförs med detta protokoll. En sista begränsning är att förtestet för tidigare kunskaper och lärandet efter testet hittills inte är validerade åtgärder i den tidigare litteraturen, eftersom innehållet i genomförandet är mycket specifikt och validerade åtgärder för dem inte finns tillgängliga. Det förväntas dock att det framtida genomförandet av detta protokoll kommer att främja deras validering.

På liknande sätt kommer den framtida tillämpningen av protokollet också att definiera nya forskningsbehov och nya variationer som ska tillämpas. Att ha protokollet som en gemensam källa kan bidra till att tillhandahålla en viss systematisk struktur i olika studier. Dessutom, så länge utbildarna finner den experimentella utvärderingen av detta protokoll förenlig med deras pedagogiska praxis, kan detta protokoll uppmuntra deltagande av lärare med PS-I-forskning, vilket skulle innebära ett bredare professionellt perspektiv i forskningsprocessen och bättre tillgång till prover³².