Metodologie pg vyzkumu II

Hana Vonkova

Univerzita Karlova - Pedagogicka fakulta

Vonkova Metodologie pedagogickeho vyzkumu II 1

Literatura I - ceske a slovenske recenzovane casopisy

Pedagogika - zastit’uje PedF UK, webove stranky zde

Pedagogicka orientace - zastit’uje PedF MU, webove strankyzde

Orbis scholae - zastit’uje PedF UK, jednotliva cısla jsoudostupna na internetu zde

E-Pedagogium - zastit’uje PedF Univerzity Palackeho vOlomouci, webove stranky zde

Studia paedagogica zastit’uje FF MU, webove stranky zde

Pedagogika.sk - Slovensky casopis pre pedagogicke vedy,jednotliva cısla jsou dostupna na internetu zde

The New Educational Review - zalozeny tremi univerzitamiUniversity of Silesia in Katowice (Polsko), Matej BelUniversity in Banska Bystrica (Slovensko) and University ofOstrava (CR), jednotliva cısla jsou dostupna na internetu zde

Vonkova Metodologie pedagogickeho vyzkumu II 2

Literatura II - casopisy spolecnosti AERA

AERA = American Educational Research Associationwebove stranky zde, zastit’uje nasledujıcı casopisy

Educational Researcher - 4. mısto z 206 casopisu v kategoriiEducation and Educational Research dle Journal CitationReports; kratsı, sumarizujıcı clanky; volne dostupne clanky zde

Review of Educational Research - 3. mısto, webove strankyzde, dostupny v Narodnı pedagogicke knihovne Komenskehozde

American Educational Research Journal - 8. mısto, webovestranky zde

Review of Research in Education - 24. mısto, webovestranky zde

Educational Evaluation and Policy Analysis - 32. mısto,webove stranky zde

Journal of Educational and Behavioral Statistics - 52.mısto, webove stranky zde

Vonkova Metodologie pedagogickeho vyzkumu II 3

Literatura III - online databaze, knihovny

Prıklady on-line databazı

ERIC - Education Resources Information Center - webovestranky zde

Google Scholar - webove stranky zde

Prıklady knihoven

Narodnı pedagogicka knihovna Komenskeho - casopisy, ktereodebıra jsou zde

Narodnı knihovna Ceske republiky - casopisy, ktere odebırajsou zde

Vonkova Metodologie pedagogickeho vyzkumu II 4

Vyzkumny vzorek I

pokud je cılova populace velka, pak typicky nezahrnujeme dovyzkumneho vzorku vsechna individua

mnoho zacınajıcıch vyzkumnıku se tedy pta:

Jak velky ma byt vzorek?

odpoved’: dostatecne velky

Vonkova Metodologie pedagogickeho vyzkumu II 5

Vyzkumny vzorek II

Doporucenı pro volbu velikosti vzorku:

populace N < 100 ⇒ do vzorku zahrn vsechny cleny populace

populace o velikosti priblizne 500 ⇒ vyber priblizne 50 %clenu

populace o velikosti priblizne 1500 ⇒ vyber priblizne 20 %clenu

populace o velikosti priblizne 5000 ⇒ vyber priblizne 400 clenu

Obecne: cım vetsı vzorek tım vetsı jistota pri zobecnovanıvysledku na celou populaci

Vonkova Metodologie pedagogickeho vyzkumu II 6

Vyzkumny vzorek III

Nezalezı pouze na velikosti vzorkuDulezite je, jakym zpusobem je vzorek vybran

strategie nahodneho vyberu - prosty nahodny vyber(random sample), stratifikovany vyber (stratified sample),klastrovy vyber (cluster sample) atd.

casto kombinace strategiı nahodneho vyberu - prıklad vyzkumPISA v CR

strategie nenahodneho vyberu - dostupny vyber(convenience sample), zamerny vyber (purposive sample) atd.

Vonkova Metodologie pedagogickeho vyzkumu II 7

Vyzkumny vzorek IV

Metody vyberu clenu populace pro kvalitativnı vyzkum I

intensive sampling - cılem je srovnat skupiny na ruzne urovnivuci studovanemu vyzkumnemu tematuprıklad - zaci s dobrymi a spatnymi skolnımi vysledky, zkusenıa mene zkusenı ucitele (definovano podle poctu let praxe) atd.

homogeneous sampling - vyber malou skupinu participantu,kterı vyhovujı uzce definovanemu, “homogennımu” tematu

criterion sampling - vyber skupinu participantu, kterıvyhovujı zadanemu kriteriu; skupina je obvykle malaprıklad - ucitele, kterı na urcitou dobu prestali ucit a naslednese do skoly vratili

Vonkova Metodologie pedagogickeho vyzkumu II 8

Vyzkumny vzorek V

Metody vyberu clenu populace pro kvalitativnı vyzkum II:

snowball sampling (metoda snehove koule) - vybernekterych participantu, tito participanti nasledne prizvou dalsıparticipanty; vyuzıvame v prıpade, kdy je obtızne se dostat kurcitym clenum populaceprıklad - bezdomovci

random purposive sampling - nejprve zamerne vybernektere cleny a nasledne z nich nahodne vyber podskupinuprıklad - zamerny vyber 50 nadanych zaku a naslednynahodny vyber 10 zaku z teto skupiny, redukce skupiny muzebyt napr. nutna pro ucely provedenı experimentu, kde sepocıta se skupinou o max 10 zacıch

Vonkova Metodologie pedagogickeho vyzkumu II 9

Experimenty v pedagogickem vyzkumu I

Vyzkumnık manipuluje jednou ci vıce nezavisle promennymi,kontroluje dalsı relevantnı promenne a pozoruje vliv na jednu civıce zavisle promennych

nezavisle promenne (independent variable, treatment)prıklad - vyucovacı metoda, typ odmeny, usporadanıpodmınek pro vyucovanı, typ pouzıvanych materialu ve vyuce,delka nejakeho osetrenı

zavisle promenne (dependent variable, effect)prıklad - vetsinou merena testem ci jinym kvantitativnımmerıtkem jako pocet zameskanych hodin, cas na vykonanıurciteho ukolu

Vonkova Metodologie pedagogickeho vyzkumu II 10

Experimenty v pedagogickem vyzkumu II

(jedna z) nejvhodnejsıch metod pro prokazanı prinneho vztahumezi promennymi

vyzkumnık musı kontrolovat podmınky experimentu a vyberparticipantu do vyzkumu a jejich potencialnı prirazovanı doexperimentalnı a kontrolnı skupiny

pri volbe kontrolnı a experimentalnı skupiny je nutnekontrolovat napr. to, aby obema skupinam byl venovan stejnycas, aby byly skupiny participantu srovnatelne ve vsechpromennych potencialne ovlivnujıcıch zavisle promennou

Vonkova Metodologie pedagogickeho vyzkumu II 11

Experimenty v pedagogickem vyzkumu III

Nejcastejsı typy porovnanı v experimentech

srovnanı dvou ruznych prıstupu (A versus B)prıklad - srovnanı ruznych metod skolenı pomocı pocıtace

srovnanı noveho a jiz existujıcıho prıstupu (A versus zadneA)prıklad - srovnanı pouzıvane a nove metody na ucenı psanı vprvnıch trıdach

srovnanı odlisneho mnozstvı jednoho prıstupu (trochu Aversus hodne A)prıklad - srovnanı vlivu dvaceti a ctyriceti minutovehodomacıho ukolu na vysledek zaku v testu z anglictiny

Vonkova Metodologie pedagogickeho vyzkumu II 12

Experimenty v pedagogickem vyzkumu IV

Validita experimentu

vnitrnı validita (internal validity) - vyjadruje mıru, do jakejsou rozdıly v zavisle promenne prımym dusledkem manipulacenezavisle promenne

vnejsı validita (external validity) - vyjadruje mıru, do jakejsou vysledky studie zobecnitelne ci aplikovatelne na dalsıskupiny ci prostredı

Vonkova Metodologie pedagogickeho vyzkumu II 13

Experimenty v pedagogickem vyzkumu V

Hrozby pro vnitrnı validitu I

historie (history) - vnejsı neocekavane udalosti ovlivnızavislou promennou

prıklad - vlivna osoba se vyjadrı k implementaci nejake metody(nezavisla promenna), ktera je hodnocena (zavisla promenna)participanty vyzkumu

zranı a prirozeny vyvoj (maturation) - behem vyzkumu seobjevı zmeny participantu, stavajı se napr. zkusenejsımi astarsımi, coz ovlivnı zavislou promennou

hlavne u dlouho trvajıcıho vyzkumu a skupiny malych detı

efekt merenı (testing)- pretest ovlivnı vysledek posttestu

hlavne u kratce trvajıcıho vyzkumu a pri zjist’ovanı faktickychznalostı

Vonkova Metodologie pedagogickeho vyzkumu II 14

Experimenty v pedagogickem vyzkumu VI

Hrozby pro vnitrnı validitu II

chyba ci zmena merıcıho nastroje (instrumentation) -merıcı nastroj je mezi pretestem a posttestem zmenen ci jeneriliabilnı

pozorovatel zmenı hodnocenı urciteho chovanı participantumezi pretestem a posttestem, protoze podvedome chce, abyexperimentalnı skupina dopadla lepe

statisticka regrese (statistical regression) - velmi vysoke civelmi nızke skory v pretestu majı tendenci v posttestusmerovat k prumeru (regrese)

vyber participantu (differential selection of participants) -participanti v experimentalnı a kontrolnı skupine majı odlisnecharakteristiky, ktere mohou ovlivnit zavislou promennou

hrozba se zvysuje, kdyz porovnavame pred vyzkumem jizexistujıcı skupinyvhodne provest pretest

Vonkova Metodologie pedagogickeho vyzkumu II 15

Experimenty v pedagogickem vyzkumu VII

Hrozby pro vnitrnı validitu III

ubytek participantu (mortality) - ruznı participanti odstoupız ruznych duvodu ze studie, coz ovlivnı kompozicivyzkumnych skupin

ucast v experimentalnı skupine vyzaduje velke usilı, resenımmuze byt financnı odmenapri odstoupenı urcitych participantu je doporuceno popsatjejich charakteristiky

interakce mezi vyberem participantu a jejich prirozenymvyvojem (selection-maturation interaction) - participantivybranı do ruznych vyzkumnych skupin majı odlisny stupenzranı a prirozeneho vyvoje

Vonkova Metodologie pedagogickeho vyzkumu II 16

Experimenty v pedagogickem vyzkumu VIII

Hrozby pro vnejsı validitu I

interakce pretestu a osetrenı (pretest-treatmentinteraction) - pretest zmenı u participantu vnımanı osetrenı,coz ovlivnı posttest

hlavne u merenı postoju

interakce vyberu a osetrenı (selection-treatmentinteraction) - nenahodny vyber participantu (napr.dobrovolnıci) pusobı osetrenı ruznym zpusobem

naprıklad u malo schopnych zaku metoda velmi dobre funguje,u obecne populace tomu tak nenı

Vonkova Metodologie pedagogickeho vyzkumu II 17

Experimenty v pedagogickem vyzkumu IX

Hrozby pro vnejsı validitu II

prolınanı vıce osetrenı (multiple-treatment interference) -pokud participanti podstoupı v rade vıce nez jedno osetrenı,jejich efekt se muze prolınat

prıklad - po implementaci nove metody na zvysenı kazne sekazen ve trıde zvysı, nasleduje implementace “tvrde metody”,po nız se zjistı, ze je kazen porad na stejne dobre urovni,mozna spatna interpretace: “tvrda metoda je stejne dobra”, alerealny duvod je setrvacnost vlivu nove metody z prvnıho kola

presnost vymezenı promennych (specificity of variables) -nepresne a nepodrobne vymezenı promennych ve vyzkumubranı moznosti zobecnenı

skolenı pomocı pocıtacu jako nezavisla promenna je nutnepresne vymezit (jaky software, v jake intenzite atd. byl vyuzit)

Vonkova Metodologie pedagogickeho vyzkumu II 18

Experimenty v pedagogickem vyzkumu X

Hrozby pro vnejsı validitu IIIdifuze osetrenı (treatment diffusion) - skupiny ve vyzkumuspolu komunikujı a prenası myslenky osetrenı z jedne skupinyna druhou, coz ovlivnı srovnanı ucinnosti puvodnıch osetrenı

ucitele v ruznych skupinach spolu komunikujı a nevedomkyuzpusobujı svou vyuku pozitivnım aspektum metodyimplementovane v jine skupine

efekt experimentatora (experimenter effect) - vedome anevedome chovanı experimentatora ovlivnujıcı vykon aodpovedi participantu

experimentator si vetsinou preje, aby experimentalnı metodabyla funkcnı, coz muze ovlivnit interpretaci pozorovanıparticipantu v experimentalnı skupine

reaktivita zkoumanych osob (reactive arrangements) -uvedomenı si faktu, ze je osoba soucastı experimentu

Hawthrone efekt - lide v experimentalnı skupine menı chovanı(prıbeh - vliv svetla na vykon pracovnıku)John Henry efekt - lide v kontrolnı skupine menı chovanı(prıbeh - zavedenı vrtacky)

Vonkova Metodologie pedagogickeho vyzkumu II 19

Experimenty v pedagogickem vyzkumu XI

Rozdelenı designu experimentu z hlediska kontroly hrozebvnitrnı i vnejsı validity

predexperimentalnı design (pre-experimental design) -nekontroluje mnoho zdroju ohrozenı validity a meli bychom semu snazit vyhybat

kvaziexperimentalnı design (quasi-experimental design) -mezistupen predexperimentalnıho designu a designu pravehoexperimentu

design praveho experimentu (true experimental design) -pokytuje velky stupen kontroly, mela by se mu davat prednost

Vonkova Metodologie pedagogickeho vyzkumu II 20

Experimenty v pedagogickem vyzkumu XII

Designy pravych experimentu I

pretest-posttest design s kontrolnı skupinou(Pretest-Posttest Control Group Design)

R O X1 OR O X2 O

R = nahodne pridelenı osetrenı jednotlivcum, O = pretest,posttest, X osetrenıhrozby vnitrnı validity - vsechny jmenovane ohlıdanyhrozby vnejsı validity - napr. hrozı interakce pretestu a osetrenı

Vonkova Metodologie pedagogickeho vyzkumu II 21

Experimenty v pedagogickem vyzkumu XIII

Designy pravych experimentu II

posttest design s kontrolnı skupinou (Posttest-OnlyControl Group Design)

R X1 OR X2 O

hrozby vnitrnı validity - hrozı ubytek zkoumanych osobhrozby vnejsı validity - nehrozı problemy s interakcı pretestu sdalsımi aspekty

Vonkova Metodologie pedagogickeho vyzkumu II 22

Experimenty v pedagogickem vyzkumu XIV

Designy pravych experimentu III

Solomonuv ctyrskupinovy design (Solomon Four-GroupDesign)

R O X1 OR O X2 OR X1 OR X2 O

ohlıdany jak vsechny zdroje vnitrnı validity, tak interakcepretestu s dalsımi hrozbami

Vonkova Metodologie pedagogickeho vyzkumu II 23

Experimenty v pedagogickem vyzkumu XV

Designy kvaziexperimentu I

Design s nevyvazenou kontrolnı skupinou (NonequivalentControl Group Design)

O X1 OO X2 O

nahodne pridelenı osetrenı skupinam (ne jednotlivcum)hrozby vnitrnı validity - statisticka regrese, interakce mezivyberem participantu a napr. jejich prirozenym vyberem,historiı a efektem merenıhrozby vnejsı validity - interakce pretestu a osetrenı

Vonkova Metodologie pedagogickeho vyzkumu II 24

Experimenty v pedagogickem vyzkumu XVI

Designy kvaziexperimentu II

Design casove rady (Time-Series Design)O O O O X1 O O O O

hrozby vnitrnı validity - historie, zmena merıcıho nastrojehrozby vnejsı validity - interakce pretestu a osetrenı

Vonkova Metodologie pedagogickeho vyzkumu II 25

Experimenty v pedagogickem vyzkumu XVI

Designy kvaziexperimentu III

Vyvazeny design (Counterbalanced Design)X1 O X2 O X3 OX3 O X1 O X2 OX2 O X3 O X1 O

pro zjistenı efektu urciteho poctu osetrenı musıme mıt stejnypocet skupin participantulze zjist’ovat efekt poradı osetrenıhrozby vnitrnı validity - interakce vyberu participantu s dalsımihrozbamihrozby vnejsı validity - interakce pretestu a osetrenı, prolınanıvıce osetrenı

Vonkova Metodologie pedagogickeho vyzkumu II 26

Experimenty v pedagogickem vyzkumu XVII

Predexeperimentalnı designy I

Jednorazova prıpadova studie (One-Shot Case Study)X O

hrozby vnitrnı validite - historie, zranı a prirozeny vyvoj, ubytekparticipantu

Pretest-posttest design s jednou skupinou (One-GroupPrestest-Posttest Design)

O X O

hrozby vnitrnı validite - historie, zranı a prirozeny vyvoj, efektmerenı, chyba ci zmena merıcıho nastroje, regresehrozba vnejsı validite - interakce pretestu a osetrenı

Vonkova Metodologie pedagogickeho vyzkumu II 27

Experimenty v pedagogickem vyzkumu XVIII

Predexeperimentalnı designy II

Srovnanı dvou “statickych” skupin (Static-GroupComparison)

X1 OX2 O

hrozby vnitrnı validite - zranı a prirozeny vyvoj, vyberparticipantu, ubytek participantu, interakce vyberu participantua ostatnıch hrozeb

Vonkova Metodologie pedagogickeho vyzkumu II 28

Experimenty v pedagogickem vyzkumu XIX

Faktorialovy design

vyzkum vlivu vıce nez jedne nezavisle promenne nazavislou promennou, pricemz alespon s jednou z nezavislychpromennych experimentator manipuluje

nektere promenne majı odlisny efekt pro ruzne urovne jinychpromennych

prıklad - urcita vyucovacı metoda (nezavisla promenna, s nızvyzkumnık manipuluje) muze mıt odlisny efekt na vysledky(zavisla promenna) velmi nadanych a malo nadanych zaku(nadanı - dalsı nezavisla promenna, s nız vyzkumnıknemanipuluje)

Vonkova Metodologie pedagogickeho vyzkumu II 29

Experimenty v pedagogickem vyzkumu XX

2 x 2 faktorialovy design - ilustrace existence a neexistenceinterakce mezi nezavisle promennymi

neexistence interakcemetoda A metoda B

velmi nadanı 80 40 60malo nadanı 60 20 40

70 30

existence interakcemetoda A metoda B

velmi nadanı 80 60 70malo nadanı 20 40 30

50 50

Vonkova Metodologie pedagogickeho vyzkumu II 30