Ключові слова
каузальне мислення
тестовий інструментарій
критеріально-орієнтований тест
Як цитувати
Анотація
Авторами запропоновано й апробовано методику оцінювання рівня сформованості каузального мислення, засновану на тестових технологіях. Методика полягає у використанні критеріально-орієнтованого тесту, що містить дві групи запитань, формулювання яких ініціює різну розумову діяльність учнів. В одній групі запитань запропоновані для вибору варіанти можливих причинно-наслідкових зв’язків між процесами, явищами чи подіями, що вивчаються в даній предметній галузі (каузально-орієнтована група запитань). Інша група запитань спрямована на знання раніше вивчених понять і явно не містить прохання вказати причинно-наслідкові зв’язки між ними (не каузально-орієнтована група запитань). Обидві групи запитань представлені тестовими завданням із вибором відповіді із низки запропонованих варіантів.
З метою дослідження властивостей тесту в його структурі використовувалися опції «складність» та «вагаюся». Отримані в результаті експерименту дані дозволяють зробити висновок, що запропонована структура тесту показала достатню здатність диференціювати результати педагогічних вимірювань щодо каузально-орієнтованих та не каузально-орієнтованих запитань, що, своєю чергою, дає можливість порівняти в учнів рівні засвоєння навчального матеріалу та сформованості каузального мислення під час використання одного тесту. Короткий формат тесту уможливлює його використання безпосередньо під час реального освітнього процесу. Складання тестових завдань доволі просто реалізувати вчителеві самостійно відповідно до цілей контролю контекстного навчання.
Посилання
Гривко, А. В. (2020). Вплив послідовності виконання тестових завдань на результати тестування: огляд і узагальнення актуальних досліджень. У І. Б. Вашеняк (Гол. ред.), Оцінювання досягнень здобувачів загальної середньої освіти: сучасні виклики та перспективи: збірник наукових праць за матеріалами Всеукраїнської науково-практичної конференції (с. 32-38). Видавництво ХОІППО. https://lib.iitta.gov.ua/726253/.
Гривко, А. В., & Жук, Ю. О. (2019). Використання засобів ІКТ у процесі експериментального дослідження емотивно-оцінного ставлення учнів до різних форм тестових завдань з української мови. Інформаційні технології і засоби навчання, 70(2), 285-297. https://doi.org/10.33407/itlt.v70i2.2621. https://journal.iitta.gov.ua/index.php/itlt/article/view/2621.
Жук, Ю. О. (1998). Використання елементів формальної логіки у процесі розв’язування навчальної фізичної задачі. У Матеріали науково-практичної конференції «Дидактичні проблеми фізичної освіти в Україні» (с. 63-65). Чернігівський ДПІ.
Жук, Ю. О., & Ващенко, Л. С. (2019). Вплив форми тестових завдань та профільної спеціалізації класів на результати виконання здобувачами середньої освіти тесту з біології. Український педагогічний журнал, (2), 90-99. https://doi.org/10.32405/2411-1317-2019-2-90-99. https://uej.undip.org.ua/index.php/journal/article/view/428.
Жук, Ю. О., & Ващенко, Л. С. (2020). Особливості впливу композиції тесту з біології на результативні показники тестування старшокласників. Український педагогічний журнал, (1), 20-31. https://doi.org/10.32405/2411-1317-2020-1-20-31. https://uej.undip.org.ua/index.php/journal/article/view/369.
Постанова Кабінету Міністрів України № 898 «Про деякі питання державних стандартів повної загальної середньої освіти» (2020, Вересень 30). Верховна Рада України. Законодавство України. https://zakon.rada.gov.ua/laws/show/898-2020-%D0%BF#Text.
Bauer, D., Kopp, V., & Fischer, M. R. (2007). Answer changing in multiple choice assessment change that answer when in doubt – and spread the word!. BMC Medical Education, 7, 28 (2007), https://doi.org/10.1186/1472-6920-7-28.
Berkant, H. G. (2009). An Investigation of Students’ Meaningful Causal Thinking Abilities in Terms of Academic Achievement, Reading Comprehension and Gender. Educational Sciences: Theory and Practice, 9(3), 1149-1165. https://eric.ed.gov/?id=EJ858922.
Bratfisch, O., Borg, G., & Dornič, S. (1972). Perceived Item-Difficulty in Three Tests of Intellectual Performance Capacity. Reports from the Institute of Applied Psychology, the University of Stockholm, 29. https://eric.ed.gov/?id=ED080552.
Buchsbaum, D., Griffiths, T. L., Plunkett, D., Gopnik, A., & Baldwin, D. (2015). Inferring action structure and causal relationships in continuous sequences of human action. Cognitive Psychology, 76, 30–77. https://doi.org/10.1016/j.cogpsych.2014.10.001.
Buehner, M. J., & Cheng, P. W. (2005). Causal Learning. In K. J. Holyoak & R. G. Morrison (Eds.), The Cambridge handbook of thinking and reasoning (pp. 143–168). Cambridge University Press. https://psycnet.apa.org/record/2005-09680-007.
Casteel, C. A. (2014). Answer Changing on Multiple-Choice Test Items Among Eighth-Grade Reader. The Journal of Experiential Education, 59(4), 300-309. https://doi.org/10.1080/00220973.1991.10806568.
Chang, S. L. (2015). Students’ Perceived Test Difficulty, Perceived Performance and Actual Performance of Oral Tests. 23. 1225-1242. https://www.researchgate.net/publication/285206775_Students’_perceived_test_difficulty_perceived_performance_and_actual_performance_of_oral_tests.
Chen, Ch., Bao, L., Fritchman, J. C., & Ma, H. (2021). Causal reasoning in understanding Newton’s third law. Physical Review Physics Education Research, 17, 010128. https://doi.org/10.1103/PhysRevPhysEducRes.17.010128.
Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive–developmental inquiry. American Psychologist, 34(10), 906–911. https://doi.org/10.1037/0003-066X.34.10.906.
Griffiths, T. L., & Tenenbaum, J. B. (2009). Theory-based causal induction. Psychological review, 116(4), 661-716. https://doi.org/10.1037/a0017201. https://psycnet.apa.org/record/2009-18254-002.
Hanna, G. S. (2010). To Change Answers or Not to Change Answers: That is the Question. The Clearing House: A Journal of Educational Strategies, Issues and Ideas, 62(9), 414-416. https://doi.org/10.1080/00098655.1989.10114108.
Holyoak, K. J., & Cheng, P. W. (2011). Causal Learning and Inference as a Rational Process: The New Synthesis. Annual Review of Psychology, 62, 135–163. https://doi.org/10.1146/annurev.psych.121208.131634.
Hryvko, A., & Zhuk, Yu. (2020). The research of the effect of different question forms and their combination variability on the results of testing. SHS Web Conf., 75, 04004. https://doi.org/10.1051/shsconf/20207504004.
Laleye, S. A. (2020). The logic of language and the counterintutivenessof the logical tool of material implication. Sophia: An African Journal of Philosophy, 19(2), 220-228. https://www.ajol.info/index.php/sophia/article/view/213691.
Lalor, J. P., Wu, H., Munkhdalai, T., & Yu, H. (2018). Understanding Deep Learning Performance through an Examination of Test Set Difficulty: A Psychometric Case Study. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (рр. 4711–4716). Association for Computational Linguistics. https://doi.org/10.18653/v1/D18-1500.
Le Pelley, M. E., Griffiths, O., & Beesley, T. (2017). Associative accounts of causal cognition. In M. R. Waldmann (Ed.), The Oxford handbook of causal reasoning (pp. 13–28). Oxford University Press. https://psycnet.apa.org/record/2017-30850-002.
McMorris, R. F., DeMer, L. P., & Schwarz, Sh. P. (1987). Attitudes, Behaviors, and Reasons for Changing Responses Following Answer-Changing Instruction. Journal of Educational Measurement, 24(2), 131-143. https://doi.org/10.1111/j.1745-3984.1987.tb00269.x.
Moss, S. (2018). Probabilistic Knowledge. Oxford University Press.
Mustakim, M., Mansyur, J., Hatibe, A., Rizal, M., & Kaharu, S. N. (2020). Analysis of Students’ Causal Reasoning in Physics Problem Solving. Journal of Physics: Conference Series, 1521, 022058. https://doi.org/10.1088/1742-6596/1521/2/022058.
Naimnule, L. & Corebima, A. D. (2018). The Correlation between Metacognitive Skills and Critical Thinking Skills toward Students’ Process Skills in Biology Learning. Journal of Pedagogical Research, 2(2), 122-134. https://eric.ed.gov/?id=EJ1300666.
Rivers, M. L., Dunlosky, J., & Persky, A. M. (2020). Measuring Metacognitive Knowledge, Monitoring, and Control in the Pharmacy Classroom and Experiential Settings. American Journal of Pharmaceutical Education, 84(5), 7730. https://doi.org/10.5688/ajpe7730.
Russell, D. (1982). The Causal Dimension Scale: A measure of how individuals perceive causes. Journal of Personality and Social Psychology, 42(6), 1137-1145. https://doi.org/10.1037/0022-3514.42.6.1137.
Padilla, M. J. (1990). The science process skills. NARST. A global organization for improving science teaching and learning through research. https://narst.org/research-matters/science-process-skills.
Pazzani, M., Oyer, M., & Flowers, M. (1987, August). Using prior learning to facilitate the learning of new causal theories. In IJCAI’87: Proceedings of the 10th international joint conference on Artificial intelligence (Volume 1) (pp. 277-279). https://dl.acm.org/doi/abs/10.5555/1625015.1625071.
Prinsell, C. P., Ramsey, Ph. H., & Ramsey P. P. (1994). Score Gains, Attitudes, and Behavior Changes Due to Answer-Changing Instruction, Journal of Educational Measurement, 31(4), 327-337. https://doi.org/10.1111/j.1745-3984.1994.tb00450.x.
Shou, Yi., & Smithson, M. (2015) Effects of question formats on causal judgments and model evaluation. Frontiers in Psychology, (6). https://doi.org/10.3389/fpsyg.2015.00467.
Taib, F., & Yusoff, M. S. B. (2014). Difficulty index, discrimination index, sensitivity and specificity of long case and multiple choice questions to predict medical students’ examination performance. Journal of Taibah University Medical Sciences, 9(2), 110-114. https://doi.org/10.1016/j.jtumed.2013.12.002.
Tiffin-Richards, S. P., Lenhart, J., & Marx, P. (2022). When do examinees change their initial answers? The influence of task instruction, response confidence, and subjective task difficulty. Learning and instruction, 82, 101654. https://doi.org/10.1016/j.learninstruc.2022.101654.
Hryvko, A. V. (2020). Vplyv poslidovnosti vykonannia testovykh zavdan na rezultaty testuvannia: ohliad i uzahalnennia aktualnykh doslidzhen. U I. B. Vasheniak (Hol. red.), Otsiniuvannia dosiahnen zdobuvachiv zahalnoi serednoi osvity: suchasni vyklyky ta perspektyvy: zbirnyk naukovykh prats za materialamy Vseukrainskoi naukovo-praktychnoi konferentsii (s. 32-38). Vydavnytstvo KhOIPPO. https://lib.iitta.gov.ua/726253/. (in Ukrainian).
Hryvko, A. V., & Zhuk, Yu. O. (2019). Vykorystannia zasobiv IKT u protsesi eksperymentalnoho doslidzhennia emotyvno-otsinnoho stavlennia uchniv do riznykh form testovykh zavdan z ukrainskoi movy. Informatsiini tekhnolohii i zasoby navchannia, 70(2), 285-297. https://doi.org/10.33407/itlt.v70i2.2621. https://journal.iitta.gov.ua/index.php/itlt/article/view/2621. (in Ukrainian).
Zhuk, Yu. O. (1998). Vykorystannia elementiv formalnoi lohiky u protsesi rozviazuvannia navchalnoi fizychnoi zadachi. U Materialy naukovo-praktychnoi konferentsii «Dydaktychni problemy fizychnoi osvity v Ukraini» (s. 63-65). Chernihivskyi DPI. (in Ukrainian).
Zhuk, Yu. O., & Vashchenko, L. S. (2019). Vplyv formy testovykh zavdan ta profilnoi spetsializatsii klasiv na rezultaty vykonannia zdobuvachamy serednoi osvity testu z biolohii. Ukrainskyi pedahohichnyi zhurnal, (2), 90-99. https://doi.org/10.32405/2411-1317-2019-2-90-99. https://uej.undip.org.ua/index.php/journal/article/view/428. (in Ukrainian).
Zhuk, Yu. O., & Vashchenko, L. S. (2020). Osoblyvosti vplyvu kompozytsii testu z biolohii na rezultatyvni pokaznyky testuvannia starshoklasnykiv. Ukrainskyi pedahohichnyi zhurnal, (1), 20-31. https://doi.org/10.32405/2411-1317-2020-1-20-31. https://uej.undip.org.ua/index.php/journal/article/view/369. (in Ukrainian).
Postanova Kabinetu Ministriv Ukrainy № 898 «Pro deiaki pytannia derzhavnykh standartiv povnoi zahalnoi serednoi osvity» (2020, Veresen 30). Verkhovna Rada Ukrainy. Zakonodavstvo Ukrainy. https://zakon.rada.gov.ua/laws/show/898-2020-%D0%BF#Text. (in Ukrainian).
Bauer, D., Kopp, V., & Fischer, M. R. (2007). Answer changing in multiple choice assessment change that answer when in doubt – and spread the word!. BMC Medical Education, 7, 28 (2007), https://doi.org/10.1186/1472-6920-7-28. (in English).
Berkant, H. G. (2009). An Investigation of Students’ Meaningful Causal Thinking Abilities in Terms of Academic Achievement, Reading Comprehension and Gender. Educational Sciences: Theory and Practice, 9(3), 1149-1165. https://eric.ed.gov/?id=EJ858922. (in English).
Bratfisch, O., Borg, G., & Dornič, S. (1972). Perceived Item-Difficulty in Three Tests of Intellectual Performance Capacity. Reports from the Institute of Applied Psychology, the University of Stockholm, 29. https://eric.ed.gov/?id=ED080552. (in English).
Buchsbaum, D., Griffiths, T. L., Plunkett, D., Gopnik, A., & Baldwin, D. (2015). Inferring action structure and causal relationships in continuous sequences of human action. Cognitive Psychology, 76, 30–77. https://doi.org/10.1016/j.cogpsych.2014.10.001. (in English).
Buehner, M. J., & Cheng, P. W. (2005). Causal Learning. In K. J. Holyoak & R. G. Morrison (Eds.), The Cambridge handbook of thinking and reasoning (pp. 143–168). Cambridge University Press. https://psycnet.apa.org/record/2005-09680-007. (in English).
Casteel, C. A. (2014). Answer Changing on Multiple-Choice Test Items Among Eighth-Grade Reader. The Journal of Experiential Education, 59(4), 300-309. https://doi.org/10.1080/00220973.1991.10806568. (in English).
Chang, S. L. (2015). Students’ Perceived Test Difficulty, Perceived Performance and Actual Performance of Oral Tests. 23. 1225-1242. https://www.researchgate.net/publication/285206775_Students’_perceived_test_difficulty_perceived_performance_and_actual_performance_of_oral_tests. (in English).
Chen, Ch., Bao, L., Fritchman, J. C., & Ma, H. (2021). Causal reasoning in understanding Newton’s third law. Physical Review Physics Education Research, 17, 010128. https://doi.org/10.1103/PhysRevPhysEducRes.17.010128. (in English).
Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive–developmental inquiry. American Psychologist, 34(10), 906–911. https://doi.org/10.1037/0003-066X.34.10.906. (in English).
Griffiths, T. L., & Tenenbaum, J. B. (2009). Theory-based causal induction. Psychological review, 116(4), 661-716. https://doi.org/10.1037/a0017201. https://psycnet.apa.org/record/2009-18254-002. (in English).
Hanna, G. S. (2010). To Change Answers or Not to Change Answers: That is the Question. The Clearing House: A Journal of Educational Strategies, Issues and Ideas, 62(9), 414-416. https://doi.org/10.1080/00098655.1989.10114108. (in English).
Holyoak, K. J., & Cheng, P. W. (2011). Causal Learning and Inference as a Rational Process: The New Synthesis. Annual Review of Psychology, 62, 135–163. https://doi.org/10.1146/annurev.psych.121208.131634. (in English).
Hryvko, A., & Zhuk, Yu. (2020). The research of the effect of different question forms and their combination variability on the results of testing. SHS Web Conf., 75, 04004. https://doi.org/10.1051/shsconf/20207504004. (in English).
Laleye, S. A. (2020). The logic of language and the counterintutivenessof the logical tool of material implication. Sophia: An African Journal of Philosophy, 19(2), 220-228. https://www.ajol.info/index.php/sophia/article/view/213691. (in English).
Lalor, J. P., Wu, H., Munkhdalai, T., & Yu, H. (2018). Understanding Deep Learning Performance through an Examination of Test Set Difficulty: A Psychometric Case Study. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (рр. 4711–4716). Association for Computational Linguistics. https://doi.org/10.18653/v1/D18-1500. (in English).
Le Pelley, M. E., Griffiths, O., & Beesley, T. (2017). Associative accounts of causal cognition. In M. R. Waldmann (Ed.), The Oxford handbook of causal reasoning (pp. 13–28). Oxford University Press. https://psycnet.apa.org/record/2017-30850-002. (in English).
McMorris, R. F., DeMer, L. P., & Schwarz, Sh. P. (1987). Attitudes, Behaviors, and Reasons for Changing Responses Following Answer-Changing Instruction. Journal of Educational Measurement, 24(2), 131-143. https://doi.org/10.1111/j.1745-3984.1987.tb00269.x. (in English).
Moss, S. (2018). Probabilistic Knowledge. Oxford University Press. (in English).
Mustakim, M., Mansyur, J., Hatibe, A., Rizal, M., & Kaharu, S. N. (2020). Analysis of Students’ Causal Reasoning in Physics Problem Solving. Journal of Physics: Conference Series, 1521, 022058. https://doi.org/10.1088/1742-6596/1521/2/022058. (in English).
Naimnule, L. & Corebima, A. D. (2018). The Correlation between Metacognitive Skills and Critical Thinking Skills toward Students’ Process Skills in Biology Learning. Journal of Pedagogical Research, 2(2), 122-134. https://eric.ed.gov/?id=EJ1300666. (in English).
Rivers, M. L., Dunlosky, J., & Persky, A. M. (2020). Measuring Metacognitive Knowledge, Monitoring, and Control in the Pharmacy Classroom and Experiential Settings. American Journal of Pharmaceutical Education, 84(5), 7730. https://doi.org/10.5688/ajpe7730. (in English).
Russell, D. (1982). The Causal Dimension Scale: A measure of how individuals perceive causes. Journal of Personality and Social Psychology, 42(6), 1137-1145. https://doi.org/10.1037/0022-3514.42.6.1137. (in English).
Padilla, M. J. (1990). The science process skills. NARST. A global organization for improving science teaching and learning through research. https://narst.org/research-matters/science-process-skills. (in English).
Pazzani, M., Oyer, M., & Flowers, M. (1987, August). Using prior learning to facilitate the learning of new causal theories. In IJCAI’87: Proceedings of the 10th international joint conference on Artificial intelligence (Volume 1) (pp. 277-279). https://dl.acm.org/doi/abs/10.5555/1625015.1625071. (in English).
Prinsell, C. P., Ramsey, Ph. H., & Ramsey P. P. (1994). Score Gains, Attitudes, and Behavior Changes Due to Answer-Changing Instruction, Journal of Educational Measurement, 31(4), 327-337. https://doi.org/10.1111/j.1745-3984.1994.tb00450.x. (in English).
Shou, Yi., & Smithson, M. (2015) Effects of question formats on causal judgments and model evaluation. Frontiers in Psychology, (6). https://doi.org/10.3389/fpsyg.2015.00467. (in English).
Taib, F., & Yusoff, M. S. B. (2014). Difficulty index, discrimination index, sensitivity and specificity of long case and multiple choice questions to predict medical students’ examination performance. Journal of Taibah University Medical Sciences, 9(2), 110-114. https://doi.org/10.1016/j.jtumed.2013.12.002. (in English).
Tiffin-Richards, S. P., Lenhart, J., & Marx, P. (2022). When do examinees change their initial answers? The influence of task instruction, response confidence, and subjective task difficulty. Learning and instruction, 82, 101654. https://doi.org/10.1016/j.learninstruc.2022.101654. (in English).
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.