Metodologie pg vyzkumu II
Hana Vonkova
Univerzita Karlova - Pedagogicka fakulta
Vonkova Metodologie pedagogickeho vyzkumu II 1
Literatura I - ceske a slovenske recenzovane casopisy
Pedagogika - zastit’uje PedF UK, webove stranky zde
Pedagogicka orientace - zastit’uje PedF MU, webove strankyzde
Orbis scholae - zastit’uje PedF UK, jednotliva cısla jsoudostupna na internetu zde
E-Pedagogium - zastit’uje PedF Univerzity Palackeho vOlomouci, webove stranky zde
Studia paedagogica zastit’uje FF MU, webove stranky zde
Pedagogika.sk - Slovensky casopis pre pedagogicke vedy,jednotliva cısla jsou dostupna na internetu zde
The New Educational Review - zalozeny tremi univerzitamiUniversity of Silesia in Katowice (Polsko), Matej BelUniversity in Banska Bystrica (Slovensko) and University ofOstrava (CR), jednotliva cısla jsou dostupna na internetu zde
Vonkova Metodologie pedagogickeho vyzkumu II 2
Literatura II - casopisy spolecnosti AERA
AERA = American Educational Research Associationwebove stranky zde, zastit’uje nasledujıcı casopisy
Educational Researcher - 4. mısto z 206 casopisu v kategoriiEducation and Educational Research dle Journal CitationReports; kratsı, sumarizujıcı clanky; volne dostupne clanky zde
Review of Educational Research - 3. mısto, webove strankyzde, dostupny v Narodnı pedagogicke knihovne Komenskehozde
American Educational Research Journal - 8. mısto, webovestranky zde
Review of Research in Education - 24. mısto, webovestranky zde
Educational Evaluation and Policy Analysis - 32. mısto,webove stranky zde
Journal of Educational and Behavioral Statistics - 52.mısto, webove stranky zde
Vonkova Metodologie pedagogickeho vyzkumu II 3
Literatura III - online databaze, knihovny
Prıklady on-line databazı
ERIC - Education Resources Information Center - webovestranky zde
Google Scholar - webove stranky zde
Prıklady knihoven
Narodnı pedagogicka knihovna Komenskeho - casopisy, ktereodebıra jsou zde
Narodnı knihovna Ceske republiky - casopisy, ktere odebırajsou zde
Vonkova Metodologie pedagogickeho vyzkumu II 4
Vyzkumny vzorek I
pokud je cılova populace velka, pak typicky nezahrnujeme dovyzkumneho vzorku vsechna individua
mnoho zacınajıcıch vyzkumnıku se tedy pta:
Jak velky ma byt vzorek?
odpoved’: dostatecne velky
Vonkova Metodologie pedagogickeho vyzkumu II 5
Vyzkumny vzorek II
Doporucenı pro volbu velikosti vzorku:
populace N < 100 ⇒ do vzorku zahrn vsechny cleny populace
populace o velikosti priblizne 500 ⇒ vyber priblizne 50 %clenu
populace o velikosti priblizne 1500 ⇒ vyber priblizne 20 %clenu
populace o velikosti priblizne 5000 ⇒ vyber priblizne 400 clenu
Obecne: cım vetsı vzorek tım vetsı jistota pri zobecnovanıvysledku na celou populaci
Vonkova Metodologie pedagogickeho vyzkumu II 6
Vyzkumny vzorek III
Nezalezı pouze na velikosti vzorkuDulezite je, jakym zpusobem je vzorek vybran
strategie nahodneho vyberu - prosty nahodny vyber(random sample), stratifikovany vyber (stratified sample),klastrovy vyber (cluster sample) atd.
casto kombinace strategiı nahodneho vyberu - prıklad vyzkumPISA v CR
strategie nenahodneho vyberu - dostupny vyber(convenience sample), zamerny vyber (purposive sample) atd.
Vonkova Metodologie pedagogickeho vyzkumu II 7
Vyzkumny vzorek IV
Metody vyberu clenu populace pro kvalitativnı vyzkum I
intensive sampling - cılem je srovnat skupiny na ruzne urovnivuci studovanemu vyzkumnemu tematuprıklad - zaci s dobrymi a spatnymi skolnımi vysledky, zkusenıa mene zkusenı ucitele (definovano podle poctu let praxe) atd.
homogeneous sampling - vyber malou skupinu participantu,kterı vyhovujı uzce definovanemu, “homogennımu” tematu
criterion sampling - vyber skupinu participantu, kterıvyhovujı zadanemu kriteriu; skupina je obvykle malaprıklad - ucitele, kterı na urcitou dobu prestali ucit a naslednese do skoly vratili
Vonkova Metodologie pedagogickeho vyzkumu II 8
Vyzkumny vzorek V
Metody vyberu clenu populace pro kvalitativnı vyzkum II:
snowball sampling (metoda snehove koule) - vybernekterych participantu, tito participanti nasledne prizvou dalsıparticipanty; vyuzıvame v prıpade, kdy je obtızne se dostat kurcitym clenum populaceprıklad - bezdomovci
random purposive sampling - nejprve zamerne vybernektere cleny a nasledne z nich nahodne vyber podskupinuprıklad - zamerny vyber 50 nadanych zaku a naslednynahodny vyber 10 zaku z teto skupiny, redukce skupiny muzebyt napr. nutna pro ucely provedenı experimentu, kde sepocıta se skupinou o max 10 zacıch
Vonkova Metodologie pedagogickeho vyzkumu II 9
Experimenty v pedagogickem vyzkumu I
Vyzkumnık manipuluje jednou ci vıce nezavisle promennymi,kontroluje dalsı relevantnı promenne a pozoruje vliv na jednu civıce zavisle promennych
nezavisle promenne (independent variable, treatment)prıklad - vyucovacı metoda, typ odmeny, usporadanıpodmınek pro vyucovanı, typ pouzıvanych materialu ve vyuce,delka nejakeho osetrenı
zavisle promenne (dependent variable, effect)prıklad - vetsinou merena testem ci jinym kvantitativnımmerıtkem jako pocet zameskanych hodin, cas na vykonanıurciteho ukolu
Vonkova Metodologie pedagogickeho vyzkumu II 10
Experimenty v pedagogickem vyzkumu II
(jedna z) nejvhodnejsıch metod pro prokazanı prinneho vztahumezi promennymi
vyzkumnık musı kontrolovat podmınky experimentu a vyberparticipantu do vyzkumu a jejich potencialnı prirazovanı doexperimentalnı a kontrolnı skupiny
pri volbe kontrolnı a experimentalnı skupiny je nutnekontrolovat napr. to, aby obema skupinam byl venovan stejnycas, aby byly skupiny participantu srovnatelne ve vsechpromennych potencialne ovlivnujıcıch zavisle promennou
Vonkova Metodologie pedagogickeho vyzkumu II 11
Experimenty v pedagogickem vyzkumu III
Nejcastejsı typy porovnanı v experimentech
srovnanı dvou ruznych prıstupu (A versus B)prıklad - srovnanı ruznych metod skolenı pomocı pocıtace
srovnanı noveho a jiz existujıcıho prıstupu (A versus zadneA)prıklad - srovnanı pouzıvane a nove metody na ucenı psanı vprvnıch trıdach
srovnanı odlisneho mnozstvı jednoho prıstupu (trochu Aversus hodne A)prıklad - srovnanı vlivu dvaceti a ctyriceti minutovehodomacıho ukolu na vysledek zaku v testu z anglictiny
Vonkova Metodologie pedagogickeho vyzkumu II 12
Experimenty v pedagogickem vyzkumu IV
Validita experimentu
vnitrnı validita (internal validity) - vyjadruje mıru, do jakejsou rozdıly v zavisle promenne prımym dusledkem manipulacenezavisle promenne
vnejsı validita (external validity) - vyjadruje mıru, do jakejsou vysledky studie zobecnitelne ci aplikovatelne na dalsıskupiny ci prostredı
Vonkova Metodologie pedagogickeho vyzkumu II 13
Experimenty v pedagogickem vyzkumu V
Hrozby pro vnitrnı validitu I
historie (history) - vnejsı neocekavane udalosti ovlivnızavislou promennou
prıklad - vlivna osoba se vyjadrı k implementaci nejake metody(nezavisla promenna), ktera je hodnocena (zavisla promenna)participanty vyzkumu
zranı a prirozeny vyvoj (maturation) - behem vyzkumu seobjevı zmeny participantu, stavajı se napr. zkusenejsımi astarsımi, coz ovlivnı zavislou promennou
hlavne u dlouho trvajıcıho vyzkumu a skupiny malych detı
efekt merenı (testing)- pretest ovlivnı vysledek posttestu
hlavne u kratce trvajıcıho vyzkumu a pri zjist’ovanı faktickychznalostı
Vonkova Metodologie pedagogickeho vyzkumu II 14
Experimenty v pedagogickem vyzkumu VI
Hrozby pro vnitrnı validitu II
chyba ci zmena merıcıho nastroje (instrumentation) -merıcı nastroj je mezi pretestem a posttestem zmenen ci jeneriliabilnı
pozorovatel zmenı hodnocenı urciteho chovanı participantumezi pretestem a posttestem, protoze podvedome chce, abyexperimentalnı skupina dopadla lepe
statisticka regrese (statistical regression) - velmi vysoke civelmi nızke skory v pretestu majı tendenci v posttestusmerovat k prumeru (regrese)
vyber participantu (differential selection of participants) -participanti v experimentalnı a kontrolnı skupine majı odlisnecharakteristiky, ktere mohou ovlivnit zavislou promennou
hrozba se zvysuje, kdyz porovnavame pred vyzkumem jizexistujıcı skupinyvhodne provest pretest
Vonkova Metodologie pedagogickeho vyzkumu II 15
Experimenty v pedagogickem vyzkumu VII
Hrozby pro vnitrnı validitu III
ubytek participantu (mortality) - ruznı participanti odstoupız ruznych duvodu ze studie, coz ovlivnı kompozicivyzkumnych skupin
ucast v experimentalnı skupine vyzaduje velke usilı, resenımmuze byt financnı odmenapri odstoupenı urcitych participantu je doporuceno popsatjejich charakteristiky
interakce mezi vyberem participantu a jejich prirozenymvyvojem (selection-maturation interaction) - participantivybranı do ruznych vyzkumnych skupin majı odlisny stupenzranı a prirozeneho vyvoje
Vonkova Metodologie pedagogickeho vyzkumu II 16
Experimenty v pedagogickem vyzkumu VIII
Hrozby pro vnejsı validitu I
interakce pretestu a osetrenı (pretest-treatmentinteraction) - pretest zmenı u participantu vnımanı osetrenı,coz ovlivnı posttest
hlavne u merenı postoju
interakce vyberu a osetrenı (selection-treatmentinteraction) - nenahodny vyber participantu (napr.dobrovolnıci) pusobı osetrenı ruznym zpusobem
naprıklad u malo schopnych zaku metoda velmi dobre funguje,u obecne populace tomu tak nenı
Vonkova Metodologie pedagogickeho vyzkumu II 17
Experimenty v pedagogickem vyzkumu IX
Hrozby pro vnejsı validitu II
prolınanı vıce osetrenı (multiple-treatment interference) -pokud participanti podstoupı v rade vıce nez jedno osetrenı,jejich efekt se muze prolınat
prıklad - po implementaci nove metody na zvysenı kazne sekazen ve trıde zvysı, nasleduje implementace “tvrde metody”,po nız se zjistı, ze je kazen porad na stejne dobre urovni,mozna spatna interpretace: “tvrda metoda je stejne dobra”, alerealny duvod je setrvacnost vlivu nove metody z prvnıho kola
presnost vymezenı promennych (specificity of variables) -nepresne a nepodrobne vymezenı promennych ve vyzkumubranı moznosti zobecnenı
skolenı pomocı pocıtacu jako nezavisla promenna je nutnepresne vymezit (jaky software, v jake intenzite atd. byl vyuzit)
Vonkova Metodologie pedagogickeho vyzkumu II 18
Experimenty v pedagogickem vyzkumu X
Hrozby pro vnejsı validitu IIIdifuze osetrenı (treatment diffusion) - skupiny ve vyzkumuspolu komunikujı a prenası myslenky osetrenı z jedne skupinyna druhou, coz ovlivnı srovnanı ucinnosti puvodnıch osetrenı
ucitele v ruznych skupinach spolu komunikujı a nevedomkyuzpusobujı svou vyuku pozitivnım aspektum metodyimplementovane v jine skupine
efekt experimentatora (experimenter effect) - vedome anevedome chovanı experimentatora ovlivnujıcı vykon aodpovedi participantu
experimentator si vetsinou preje, aby experimentalnı metodabyla funkcnı, coz muze ovlivnit interpretaci pozorovanıparticipantu v experimentalnı skupine
reaktivita zkoumanych osob (reactive arrangements) -uvedomenı si faktu, ze je osoba soucastı experimentu
Hawthrone efekt - lide v experimentalnı skupine menı chovanı(prıbeh - vliv svetla na vykon pracovnıku)John Henry efekt - lide v kontrolnı skupine menı chovanı(prıbeh - zavedenı vrtacky)
Vonkova Metodologie pedagogickeho vyzkumu II 19
Experimenty v pedagogickem vyzkumu XI
Rozdelenı designu experimentu z hlediska kontroly hrozebvnitrnı i vnejsı validity
predexperimentalnı design (pre-experimental design) -nekontroluje mnoho zdroju ohrozenı validity a meli bychom semu snazit vyhybat
kvaziexperimentalnı design (quasi-experimental design) -mezistupen predexperimentalnıho designu a designu pravehoexperimentu
design praveho experimentu (true experimental design) -pokytuje velky stupen kontroly, mela by se mu davat prednost
Vonkova Metodologie pedagogickeho vyzkumu II 20
Experimenty v pedagogickem vyzkumu XII
Designy pravych experimentu I
pretest-posttest design s kontrolnı skupinou(Pretest-Posttest Control Group Design)
R O X1 OR O X2 O
R = nahodne pridelenı osetrenı jednotlivcum, O = pretest,posttest, X osetrenıhrozby vnitrnı validity - vsechny jmenovane ohlıdanyhrozby vnejsı validity - napr. hrozı interakce pretestu a osetrenı
Vonkova Metodologie pedagogickeho vyzkumu II 21
Experimenty v pedagogickem vyzkumu XIII
Designy pravych experimentu II
posttest design s kontrolnı skupinou (Posttest-OnlyControl Group Design)
R X1 OR X2 O
hrozby vnitrnı validity - hrozı ubytek zkoumanych osobhrozby vnejsı validity - nehrozı problemy s interakcı pretestu sdalsımi aspekty
Vonkova Metodologie pedagogickeho vyzkumu II 22
Experimenty v pedagogickem vyzkumu XIV
Designy pravych experimentu III
Solomonuv ctyrskupinovy design (Solomon Four-GroupDesign)
R O X1 OR O X2 OR X1 OR X2 O
ohlıdany jak vsechny zdroje vnitrnı validity, tak interakcepretestu s dalsımi hrozbami
Vonkova Metodologie pedagogickeho vyzkumu II 23
Experimenty v pedagogickem vyzkumu XV
Designy kvaziexperimentu I
Design s nevyvazenou kontrolnı skupinou (NonequivalentControl Group Design)
O X1 OO X2 O
nahodne pridelenı osetrenı skupinam (ne jednotlivcum)hrozby vnitrnı validity - statisticka regrese, interakce mezivyberem participantu a napr. jejich prirozenym vyberem,historiı a efektem merenıhrozby vnejsı validity - interakce pretestu a osetrenı
Vonkova Metodologie pedagogickeho vyzkumu II 24
Experimenty v pedagogickem vyzkumu XVI
Designy kvaziexperimentu II
Design casove rady (Time-Series Design)O O O O X1 O O O O
hrozby vnitrnı validity - historie, zmena merıcıho nastrojehrozby vnejsı validity - interakce pretestu a osetrenı
Vonkova Metodologie pedagogickeho vyzkumu II 25
Experimenty v pedagogickem vyzkumu XVI
Designy kvaziexperimentu III
Vyvazeny design (Counterbalanced Design)X1 O X2 O X3 OX3 O X1 O X2 OX2 O X3 O X1 O
pro zjistenı efektu urciteho poctu osetrenı musıme mıt stejnypocet skupin participantulze zjist’ovat efekt poradı osetrenıhrozby vnitrnı validity - interakce vyberu participantu s dalsımihrozbamihrozby vnejsı validity - interakce pretestu a osetrenı, prolınanıvıce osetrenı
Vonkova Metodologie pedagogickeho vyzkumu II 26
Experimenty v pedagogickem vyzkumu XVII
Predexeperimentalnı designy I
Jednorazova prıpadova studie (One-Shot Case Study)X O
hrozby vnitrnı validite - historie, zranı a prirozeny vyvoj, ubytekparticipantu
Pretest-posttest design s jednou skupinou (One-GroupPrestest-Posttest Design)
O X O
hrozby vnitrnı validite - historie, zranı a prirozeny vyvoj, efektmerenı, chyba ci zmena merıcıho nastroje, regresehrozba vnejsı validite - interakce pretestu a osetrenı
Vonkova Metodologie pedagogickeho vyzkumu II 27
Experimenty v pedagogickem vyzkumu XVIII
Predexeperimentalnı designy II
Srovnanı dvou “statickych” skupin (Static-GroupComparison)
X1 OX2 O
hrozby vnitrnı validite - zranı a prirozeny vyvoj, vyberparticipantu, ubytek participantu, interakce vyberu participantua ostatnıch hrozeb
Vonkova Metodologie pedagogickeho vyzkumu II 28
Experimenty v pedagogickem vyzkumu XIX
Faktorialovy design
vyzkum vlivu vıce nez jedne nezavisle promenne nazavislou promennou, pricemz alespon s jednou z nezavislychpromennych experimentator manipuluje
nektere promenne majı odlisny efekt pro ruzne urovne jinychpromennych
prıklad - urcita vyucovacı metoda (nezavisla promenna, s nızvyzkumnık manipuluje) muze mıt odlisny efekt na vysledky(zavisla promenna) velmi nadanych a malo nadanych zaku(nadanı - dalsı nezavisla promenna, s nız vyzkumnıknemanipuluje)
Vonkova Metodologie pedagogickeho vyzkumu II 29
Experimenty v pedagogickem vyzkumu XX
2 x 2 faktorialovy design - ilustrace existence a neexistenceinterakce mezi nezavisle promennymi
neexistence interakcemetoda A metoda B
velmi nadanı 80 40 60malo nadanı 60 20 40
70 30
existence interakcemetoda A metoda B
velmi nadanı 80 60 70malo nadanı 20 40 30
50 50
Vonkova Metodologie pedagogickeho vyzkumu II 30