Научтруд
Войти

Освітні комп’ютерні тести і стандарти їх розробки, проведення і оцінювання

Научный труд разместил:
Malarn
20 сентября 2020
Автор: Зарема Сейдаметова

Завдання №26. Шд час piBHOMipHoro руху пiшохiд проходить за 10 секунд 15 MeTpiB. Який шлях пройде пiшoхiд за 25 секунд? Bidnoeidb: 37,5 м.

Iншi ввдповвд: 20 м. Iншi ввдповвд: 31,5 м. Iншi вiдпoвiдi: 25,5 м.

Завдання №27. Який шдуктивний onip котушки iндуктивнiстю 0,2 Гн за частоти струму 400 Гц?

Bidnoeidb: 0,5 кОм.

Iншi ввдповвд: 1 кОм. Iншi вiдпoвiдi: 2 кОм. Iншi вiдпoвiдi: 1,5 кОм. Завдання №28. Знайти кшьюстъ щлих poзв&язкiв нepiвнoстi log2 (x +1)2 -log0 5 (x +1) < 5 . Bidnoeidb: 1

Iншi вiдпoвiдi: 4. Iншi ввдповвд: 5. Iншi вiдпoвiдi: 35.

Завдання №29. Знайти суму корешв piвняння фx2 +14x + 4 = 8 - x2 - 2x. Bidnoeidb: -2.

Iншi ввдповвд: 2. Iншi вiдпoвiдi: 5. Iншi вiдпoвiдi: iнша вiдпoвiдь.

Л1ТЕРАТУРА

1. Вендровська Р. В. Тесты в американской системе образования. — Педагогика. 2001.
2. Корчевский В. Е. Опыт применения тестов на уроках математики. //Математика в школе. — 1996. — №2.
3. Малихш А. Тести у навчальному процес сучасно! школи. — К.: Рщна школа. — №8. — 2001.
4. Довщник для вступниюв до Терношльського нацюнального педагопчного ушверситету 1м. Воло-димира Гнатюка. — Терношль: ТНПУ 1м. В. Гнатюка, 2005.

Зарема СЕЙДАМЕТОВА

ОСВ1ТН1 КОМП&ЮТЕРН1 ТЕСТИ I СТАНДАРТИ IX РОЗРОБКИ, ПРОВЕДЕННЯ I ОЦ1НЮВАННЯ

У свгговш пeдагoгiчнiй науцi е галузi, зваш oсвiтнiм oцiнюванням (educational assessment), освгтшм вимipюванням (educational measurement). Цi роздши пeдагoгiки почали складатися в США бшьше ста рокв тому. Стимулом до цього послужило прагнення забезпечи-ти справедливий, piвний доступ до отримання яюсно! ушверситетсько! oсвiти незалежно ввд кь лькoстi грошей, що е у батькiв. Iнiцiатopами жшпшення oсвiтнiх послуг були кepiвники ушве-pситeтiв. Прагнучи дoскoналoстi, американсью педагоги, психологи, викладачi розробили принципи i методи oсвiтнiх ощнювань, вимipювань. Як один з шструменлв oцiнювання ними було вибрано тестування. Для цього був розроблений досить великий теоретичний i приклад-ний матepiал. В робота [1] професора piзних ушверситетав США, а також експерти Ради з наць ональних дoслiджeнь Р. Мкльов^ М. Вiлсoн, К. Ерейкан, Н. Чудовсью виклали психoмeтpичнi принципи [1, 2-10], що використовуються в освгтньому oцiнюваннi, ними були описаш вiдoмi й нoвi форми ощнювання [1, 21-30, 34-35]. У статтях вiдoмoгo американського вченого С. Мессика [2; 3] були розглянут питання валiднoстi тестових процедур. Роботи [4-6] теоретично описують проблеми шкалування, нормування i виpiвнювання, що мае велике значення для тестових процедур. У статп [7] була показана практична peалiзацiя вкладених систем ощнювання. Мoнoгpафiя [8] Ван дер Кемпа i Де Грютера е практично повним описом статистично! теорп тестування в oсвiтi i психологи. В нш данi визначення вимipювання i шкалування

76

Науков1 записки. Сер1я: Педагопка. — 2005. — №6.

[8, 1-7], була описана класична теорiя тестування [8, 7-33], були наведет Teopiï генерацiï теста i IRT (Item Response Theory) для комп&ютерних TecTiB [8, 37-57, 95-139].

Мета дажй cтаттi — аналiз i опис основних теста, використаних у тecтуваннi, а також bí-дповiдних cтандартiв, що використовуються при розробцi комп&ютерних оcвiтнiх теств, для ознайомлення профeciйного cпiвтовариcтва i подальшоï адаптацiï до оcвiтнього тестування в Украш.

Зазначимо, що тестування бувае звичайним («teacher-made», тобто що розробляеться ви-кладачем для дажй аудиторiï) i стандартизованим. Звичайне (нестандартизоване) тестування застосовуеться вчителем, викладачем для пeрeвiрки ступеня засвоення студентами дисциплши, що викладаеться ш. Воно не вимагае використовування в повному обcязi cпeцiалiзованого апа-рату тeорiï розробки i аналiзу тecтiв. У свою чергу, стандартизоване тестування було розрахо-вано на широкомасштабне оcвiтне вишрювання з абсолютно однаковими умовами проведення тесту: вeрифiкацiя, претестування, стандартний тайм^, однаковi за cкладнicтю тecтовi завдан-ня з наперед вiдомими функщями cкладноcтi.

Приклади стандартизованих комп &ютерних mecmie, що адмШструються в тестових центрах США

Необхвдно зазначити, що стандартизован тести, пропоноваш в США, можуть проводити-ся в трьох вeрciях: папeровоï (PBT: paper-based test), комп&ютержй (CBT: computer-based test) й штернет-версп (iBT: internet-based test). Перерахуемо деяю з тестових програм Служби освгг-нього тестування (ETS) [10], яю мають як PBT, так i СВТ версп:

• CLEP (College Level Examination Program) — програма Ради колeджiв, що до-зволяе студенту демонструвати досягнення ушверситетського рiвня. Студенти одержують бали, зараховуваш унiвeрcитeтами, як кредити ïх дворiчноï програми навчання. Це означае, що студент може самостшно вивчити дисцигшну ушвер-ситетського рiвня, здати ввдповвдний стандартизований тест, що розробляеться i ощнюваний cпeцiалiзованою органiзацiею ETS, а не ушверситетами. Потам ця дисциплша зараховуеться унiвeрcитeтом як пройдена. Таким чином, студент, не ввдввдуючи занять з дажй диcциплiни, може отримати кредити i бали з цiеï дисциплши;

• GMAT (Graduate Management Admission Test) — тест був розроблений для студента старших курciв eкономiчних cпeцiальноcтeй i використовуеться для всту-пу до мапстратури i астрантури;

• GRE (Graduate Record Examinations) — програма пропонуе загальний тест (General test), що вишрюе вербальш, кiлькícнi й аналггичт здiбноcтi, i тести з предмета, яю визначають досягнення студенлв з 16 диcциплiн. Загальний тест е фжсованим, комп&ютерно-адаптивним тестом (САТ). Утверситети при зараху-ваннi до мапстратури й астрантури враховують GRE бали;

• TOEFL (Test of English as a Foreign Language) — цей тест визначае рíвeнь знань з англшсь^ мови у тих, для кого англшська мова не е рвдною. Iнозeмцi, що всту-пають до Американських ушверситета, магicтратури й аcпíрантури, повиннi здавати цей тест;

• NAPLEX (North American Pharmacists Licensure Examination) — комп&ютерно-адаптивний тест, розроблений для тестування початкового рiвня для роботи у фармацп й охорош здоров&я;

• NBPTS (National Board for Professional Teaching Standards) — програма добровь льжй сертифжацп вчитeлíв, що мають великий досввд роботи. Програма застосовуеться для тестування вчитeлiв з багатьох навчальних диcциплiн (бiльшe п& ятнадцяти);

• NCARB (National Council of Architectural Registration Boards) — кпит ARE (Architect Registration Examination) проводиться для сертифжацп архггектс^в;

• Praxis Series (Professional Assessments for Beginning Teachers) — серш кпита для вчитeлiв-початкiвцiв. Результати тесту використовуються як один з критерш, що використовуються кожним штатом США для початкового лщензування або

Hy^bí записки. Сeрíя: Пeдагогíка. — 2005. — №6.

77

вступу до вчительсьЮ ocBnraoï програми, коледжами й акредитацiйними аген-щями, професiйними асоцiацiями для багатостушнчатсй сертифiкацiï.

Про стандарти розробки, проведення й оцтювання комп &ютерних oceimHix mecmie

Базовий документ, що регулююе принципи розробки, ощнки, документування i вживання освiтнiх i психолопчних теспв в США, створений сумiсними зусиллями трьох органiзацiй: Американськоï асоцiацiï освггшх дослiджень (American Educational Research Association, AERA), Американсью психологiчноï асоцiацiï (American Psychological Association, АРА) i На-щональжй Ради з вимiрювань у освт (National Council on Measurement in Education, NCME). Цi оргашзаци утворили Сумiсний комiтет 3i стандарта (Joint Committee on Standards for Educational and Psychological Testing). Документ, тдготовлений цим Сутсним комiтетом, мае назву «Стандарти для освггнього й психолопчного тестування» [9]. Стандарти були структуро-ванi за 15-ма темах i мають подвiйну нумерацiю — номер теми i номер стандарту в темг Кож-ний стандарт мктить iмперативне формулювання власне стандарту, яке мае зобов&язувальну граматичну конструкщю «should be» («мае бути») i, як правило, розгорнений коментар. Усього е 264 стандарти, комп&ютерне тестування згадуеться в 12-ти з них.

Роздш 2 «Достсгаршсть i погршносл вишрювання» згадуе про комп&ютери в коментарях до стандарту 2.8. Цей стандарт стосуеться швидкосп виконання тесту i сввдчить, що [9, 25-31]: «Тестований повинен бути iнформований про те, якою мiрою швидкiсть його роботи може вплинути на результат тестування».

У коментар^ зокрема, йдеться про те, що в комп&ютерному тестувант даний аномально короткий час для вдаовщей, особливо при концентраци до юнщ тесту, дозволяе припускати, що тес-товат вiдповiдають навмання. При розробщ нащональних комп&ютерних тестiв в Украïнi слад за-кладати в програмне забезпечення модулi реестрацiï часу вiдповiдi на кожне питання, що дозволя-ють проводити потiм статистичний аналiз для вироблення рекомендаций розробникам тестiв.

Роздш 3 «Розробка i переробка теспв» мктить стандарт 3.12, специально присвячений комп&ютерним адаптивним тестам [9, 37-43]. Вщзначимо, що адаптивний тест — це послвдовна форма iндивiдуального тестування, в якому подальшi питання або групи питань тесту вибира-ються (за своïми психометричними властивостями i змктом) залежно вiд вiдповiдей тестовано-го на попереднi запитання.

Цей стандарт свщчить: «Повиннi бути документоваш обгрунтовування i тдтверджуваль-нi докази для комп&ютерного адаптивного тесту. Ця документащя повинна включати процедури вибору суббезлiчi питань, визначення стартовоï точки й умов завершення тесту, ощнювання тесту й управлiння процесом пред&явлення питань тесту».

У коментарi сказано, що документування процедур не повинне суперечити захищеност тесту. Крiм того, очiкуеться, що розробники забезпечать вщповвдшсть суббезлiчi питань тесту саме тим субхарактеристикам випробовуваного, вимiрюванню яких вони були призначенi.

У поточних умовах перспектива адаптивних освiтнiх теспв в Украïнi доволi непрозора. Проте якщо масове стандартизоване тестування абiтурiентiв буде дiйсно комп&ютерним, то розробка адаптивних теспв для другого (предметного) тесту здаеться бажаною. Адаптивний тест дозволить ктотно розтягнути школу складност задач (i шкалу ощнок) або зробити оцiнку бага-товишржй (багаторiвневоï).

Роздiл 4 «Шкали, норми i зктавшсть оцiнки» мiстить згадування про комп&ютернi тести в коментарях до стандарту 4.10, який вимагае пред&явлення обгрунтовувань i пiдтверджувальних доказiв будь-якоï заяви про взаемозамiнiсть ощнок, отриманих для рiзних форм одного i того ж тесту [9, 49-54]. Коментар ввдзначае, зокрема, що цей стандарт застосовуеться до тестав, що адмшструються одночасно в паперовому i комп&ютерному форматах.

В умовах слабо комп&ютеризоважй Украши може виявитися, що в деяких регiонах немо-жливо забезпечити комп&ютерний формат тесту. Розробники тесту повинш забезпечити доввд-нiсть ототожнення оцiнок паперового i комп&ютерного формату тестування.

Роздш 5 «Адмшстрування, ощнювання i звггшсть» мктить згадування про комп&ютери в двох стандартах [9, 61-63]. Стандарт 5.5 затверджуе необхвдшсть шструкцш при використову-ваннi в тестi будь-якого устаткування, яке може бути незнайомим тестованому. Стандарт вимагае також надання тестованому можливоста попрактикувати у використовуванш устаткування.

78

Науков1 записки. Сер1я: Педагог1ка. — 2005. — №6.

Можливо, пpи poзpoбцi У^аш^кою кoмп&ютepнoгo тecтy нeoбхiднo закласти в iipo^a-мнe зaбeзпeчeння cтapтoвy дeмoнcтpaцiйнy вepciю, яка пpи усних iнcтpyкцiях cyпepвaйзepa до-пoмoжe тecтoвaним зpoзyмiти i запам&ятати пpoцeдypи ввeдeння, кopeкцiï та фiкcaцiï вiдпoвiдi й пepeхoдy до наступного завдання тecтy.

Cтaндapт 5.11 cвiдчить: «Якщо викopиcтoвyютьcя iнтepпpeтaцiï пpoтoкoлiв вiдпoвiдeй тecтoвaних, що кoмп&ютepнo-гeнepyютьcя, то повинт бути дocтyпнi джepeлa, oбгpyнтoвyвaння i eмпipичнa база для таких iнтepпpeтaцiй, а також описи oбмeжeнь застосовноста».

Рoзpoбникiв цього cтaндapтy тypбyвaлa втpaтa пpи кoмп&ютepнiй iнтepпpeтaцiï шдиввду-ального кoнтeкcтy, що впливав на peзyльтaт тecтy (вiк, стать, освгга, пoпepeднi заняття, стан здopoв&я). В тecтyвaннi aбiтypiвнтa цeй шдиввдуальний кoнтeкcт за визнaчeнням нe ютотний (за винятком пpoблeм, пов&язаних з oбмeжeними фiзичними можливостями дeяких тecтoвaних). Пpoтe цeй cтaндapт cлiд вpaхoвyвaти пpи poзpoбцi кoмп&ютepних пpoцeдyp шкaлipyвaння й об-poбки, щоб уникнути масових кoнфлiктних cитyaцiй.

Рoздiл 6 «Cyпpoвoджyвaльнa дoкyмeнтaцiя тecтy» згадув кoмп&ютepи двiчi, в cтaндapтaх 6.11 i 6.12 [9, 67-71]. Cтaндapт 6.11 poзвивaе тeмy cтaндapтy 4.10 i зaтвepджyе, що су^оводжу-вальна дoкyмeнтaцiя (iнcтpyкцiï для тecтoвaнoгo i cyпepвaйзepa) повинт чiткo вказувати якою мipoю взaвмoзaмiннi oцiнки, oтpимaнi пpи кoмп&ютepнoмy i пaпepoвoмy фopмaтaх тecтy. Якщо peзyльтaти нe взaвмoзaмiннi, то ^ повинно бути чiткo вказано i повинш бути пpeдcтaвлeнi вка-зiвки щодо iнтepпpeтaцiï опенок, oтpимaних у piзних фopмaтaх тecтyвaння.

Cтaндapт 6.12 poзвивaе пoлoжeння cтaндapтy 5.11. Вш cвiдчить, що тi opгaнiзaцiï, яю пpeдcтaвляють iнтepпpeтaцiï peзyльтaтiв, що кoмп&ютepнo гeнepyютьcя, пoвиннi пpeд&являти звeдeння доказ1в, якi пiдтвepджyють дану iнтepпpeтaцiю.

У кoмeнтapях poз&яcнювтьcя, що коли цш вимoзi cyпepeчить пpинцип збepeжeння iнтeлe-ктyaльнoï влacнocтi, то такими доказами можуть вважатися нeзaлeжнi oцiнки алк^ш^в кваль фiкoвaними пpoфecioнaлaми.

Пpи eмбpioнaльнoмy cтaнi тecтoвoï iндycтpiï Укpaïни значущкть цих cтaндapтiв нe тдда-вться oцiнцi. Пpoтe пpeдcтaвлявтьcя, що бажано iз самого початку oдepжyвaти i накопичувати aвтopитeтнi aкaдeмiчнi вiдгyки на aлгopитми кoмп&ютepнoï oбpoбки (виpiвнювaння, фшыру-вання, oбpiзaння) тecтoвих даних.

Роздш S «Пpaвa i вiдпoвiдaльнicть тecтoвaнoгo» мicтить два cтaндapти iз згадуванням кoмп&ютepiв [9, S5-90]. Cтaндapт S.2 сввдчить, що тecтoвaний пoвинeн нaпepeд oтpимaти шфо-pмaцiю пpo тecт i його пpoцeдypи в настшьки вeликoмy oбcязi, нacкiльки цe сумкно з oipH^am ням вaлiдних вадповдай.

У кoмeнтapi, зoкpeмa, сказано, що ^и кoмп&ютepнoмy фopмaтi тecтy випpoбoвyвaним повинно бути нaпepeд пoвiдoмлeнo npo бyдь-якi oбмeжeння на пpoглядaння тих питань тecтy, на якi вони вжe вiдпoвiли або якi вони гфопустили.

Cтaндapт S.3 вимагав, щоб тecтoвaний oтpимaв iнфopмaцiю пpo хapaктepиcтики кожного фopмaтy тecтy, якщо вш мав пpaвo вибopy фopмaтy (^^млад, кoмп&ютepний або пaпepoвий фopмaт; або тecт, що мав вepciï на юлькох мовах).

Пepш нiж repeftra до poздiлy 11 «Вiдпoвiдaльнicть кopиcтyвaчiв тecтy», cкaжeмo, хто тага кopиcтyвaчi тecтy. Кopиcтyвaчi тecтy — ^ тi (oкpiм самих тecтoвaних), хто бepe активну участь в iнтepпpeтaцiï i викopиcтoвyвaннi peзyльтaтiв тecтy — психологи, пpaцiвники освгги, i тi, хто вибиpaв iнcтpyмeнтapiй або yпpaвляв пpoцecoм тecтyвaння чepeз влacнe cлyжбoвe стано-вищe або за poзпopяджeнням iнших ocí6. ^й poздiл мicтить згадування пpo кoмп&ютepи в ста-ндapтi 11.21 [9, 113-119]:

«Кopиcтyвaчi тecтy нe повинш покладатися на iнтepпpeтaцiï peзyльтaтiв тecтy, що кoмп&ютepнo гeнepyютьcя, якщо вони ж мають значного дocвiдy, що дозволяв ïм oцiнити за-стосовшсть цих iнтepпpeтaпiй в кожному шдивщуальному випадку».

Cклaдaвтьcя думка, що ця нopмa бiльшoю мipoю мав стосунок до психолопчного, нiж до освггнього тecтyвaння. Тут вона згадана для повноти огляду, для шдикацп тих пpoблeм, з яки-ми, можливо, дoвeдeтьcя зiткнyтиcя в майбутньому.

Мaйжe досл1вно ця нopмa пoвтopювтьcя в cтaндapтi 12.15 poздiлy 12 «Пcихoлoгiчнe тec-тування i oцiнювaння» [9, 131-136].

Науков1 записки. Cepiя: Шлагонка. — 2005. — №6.

79

Роздш 13 «Осв^не тестування» мктить згадування комп&ютергв у стандарта 13.18, спеща-льно присвяченому комп&ютерним i мультимедiйним тестам [9, 137-150]. Цей стандарт св^ить: «Для тестав, що проводяться й ощнюються з використанням комп&ютерiв або мультимедiйних за-собгв, повинна бути надана документащя щодо проектування, моделей, алгоритмiв ощнювання, методгв оцiнювання i класифiкапiï. Змнт, що не належать до суп тесту, обумовлет комп&ютерною або мультимедийною формою тесту, таю, як стутнь знайомства тестованого з те-хнолопею i форматом тесту, повиннi бути враховаш при розробщ i використовуванш тесту».

У коментарi наголошуеться, що така документащя не повинна ставити тд питання захи-щенiсть питань тесту, що могло б вплинути, у свою чергу, на валвдшсть iнтерпретацiï вiдмiток. Можливо, це найважливший стандарт, який слiд урахувати в Украш.

Висновки

1. Зовнiшне стандартизоване тестування як iнструмент оцiнювання е на сьогодшшнш день найоб&ективнiшою формою проведення iспитiв при переходi з одного освгшього рiвня на шшш.
2. Зовнiшне стандартизоване тестування вимагае пiдготовки фахiвцiв з розробки тестав i введення вiдповiдних спецiальностей у «Перелж напрямгв та спещальностей» [11].
3. Комп&ютерна версiя освiтнього тестування вимагае вщ розробникiв завдань з теорп тестування (класичноï теорп, IRT), шкалiрування, вирiвнювання тестових форм.

Передбачаеться подальше вивчення проблеми упровадження освiтнього тестування для об&ективiзацiï ощнювання в школах, унiверситетах Украïни.

Автор виражае глибоку подяку Держдепартаменту США, IREX, Службi освiтнього тестування ETS (Пршстон, штат Нью-Джерси, США), а також груш ощнювання 1нституту Всесвгг-нього банку EGWBI (Вашингтон, дистрикт Коламбiя, США) за можливють проведення науко-вих дослiджень з теорп освгшього вимiрювання й ощнювання, а також вивчення американсько-го досввду освiтнього тестування.

Автор також вдячний директору Центру тестових технологш (м. Ктв) Л. М. Гриневич, вiдданiсть якоï справi впровадження в Украш стандартизованого педагопчного тестування тдтримуе дослiдницький ентузiазм багатьох Украïнських фахiвцiв.

Л1ТЕРАТУРА

1. Mislevy R. J., Wilson M. R., Ereikan K., Chudowsky N. Psychometric Principles in Student Assessment. — Education Evaluation. Dordrecht, the Nethetlands: Kluwer Academic Press, 2001. — 52 p.
2. Messick S. Validity//in Linn R. L. (Ed.). Educational measurement (3rd ed.). — New York: American Council on Education/Macmillan, 1989. — pp. 13-103.
3. Messick S. The interplay of evidence and consequences in the validation of performance assessments // Education Researchers, 32(2), 1994. — pp. 13-23.
4. Patz R. J., Junker B. W. Applications and extensions of MCMC in IRT: Multiple item types, missing data, and rated responses // Journal of Education and Behavioral Statistics, 24(4), 1999. — pp. 342-366.
5. Petersen N. S., Kolen M. J., Hoover H. D. Scaling, norming, and equating//in Linn R.L. (Ed.). Educational measurement (3rd ed.). — New York: American Council on Education/Macmillan, 1989. — pp. 221-262.
6. Pirolli P., Wilson M. A theory of the measurement of knowledge content, access, and learning // Psychological Review, 105(1), 1998. — pp. 58-82.
7. Wilson M., Sloane K. From principles to practice: An embedded assessment system//Applied measurement in Education, 13(2), 2000. — Р. 181-208.
8. De Gruijter D.N.M., Van der Kamp L.J.Th. Statistical test theory for education and psychology. — ETS: Princeton, NJ, 2003. — 186 p.
9. American Educational Research Association, American Psychological Association, National Council on Measurement in Education. Standards for educational and psychological testing. — Washington, D. C.: AERA, 1999. — 194 p.
10. Сайт Службi освпнього тестування ETS — www.ets.org.
11. Перелж напря]шв та спещальностей, за якими здшснюеться шдготовка фаивщв у вищих навчаль-них закладах за вщповщними освiтньо-квалiфiкацiйними рiвнями // Сайт МОН Украши — www.mon.gov.ua.
80

Науков1 записки. Сер1я: Педагопка. — 2005. — №6.