Аналiз можливостей тестового контролю у вищiй школi
МІНІСТЕРСТВО ОСВІТИ Й НАУКИ УКРАЇНИ
НАЦІОНАЛЬНИЙ ГІРНИЧИЙ УНІВЕРСИТЕТ
Кафедра фiлософiї
РЕФЕРАТ
з дисциплiни: "Педагогiчний контроль в системi освiти"
на тему: ""
Днiпропетровськ 2008
План
Вступ
1. Наука про тести
1. 1Навчальний тест
2. Класи i види тестiв
2. 1Гомогеннi тести
2. 2Гетерогеннi тести
2. 3Інтегрованi тести
2. 4Адаптивнi тести
3. Принципи добору змiсту тестових завдань
4. Поняття складностi тесту i його вплив на оцiнку знань
5. Оцiнювання, оцiнка i вимiр знань
Висновок
Вступ
У жовтнi 2003 року в Берлiнi Україна приєдналася до Болонської угоди i тим самим увiйшла в процес об'єднання вищої освiти Європи в єдину систему. У 2010 роцi в Європi планується створити єдиний освiтнiй простiр. У напрямi iнтеграцiї до європейського освiтнього простору Україна у 1999 роцi ввела двоступеневу систему освiти "бакалавр–магiстр". Цей освiтнiй формат є аналогiчним по вiдношенню до освiтньої моделi американської та європейської систем. У ньому український освiтнiй рiвень магiстра вiдповiдає американському i європейському ступеню майстра. Термiн пiдготовки бакалавра в Українi визначено на чотири роки, а магiстра – додатково один або два роки залежно вiд спецiальностi. Для порiвняння, в захiдних країнах в цiлому бакалавр навчається чотири роки, а в окремих – три. У багатьох країнах магiстрат, частiше, включає лише один рiк навчання
Сьогоднi йде бурхливе обговорення того, що i як необхiдно змiнити в освiтнiх процедурах i методиках викладання унiверситетiв України. Окремi фахiвцi вважають за необхiдне розробити процедури управлiння освiтнiм процесом, в iнших роботах пропонується перехiд на багатобальну шкалу вимiрювання знань, умiнь i навичок студентiв, у третiх – дидактичнi принципи особистiсно орiєнтованої системи навчальної дiяльностi вищих навчальних закладiв.
На початку минулого столiття в США почали замислюватися над об'єктивнiстю контролю знань, умiнь i навичок студентiв. Дванадцять коледжiв i унiверситетiв об'єднали свої зусилля для розробки унiфiкованих процедур вступних iспитiв. В унiверситетах прагнули вiдiйти вiд звичної для нас бiлетної системи усних iспитiв (ticket system) та замiнити її письмовим iспитом або тестуванням. Очевидна мета таких змiн – прагнення зменшити суб'єктивнi аспекти екзаменацiйної обстановки, зробити оцiнку знань i навичок бiльш об'єктивною та ситуативно-незалежною.
1.
Наука про тести
Для розумiння сутностi тестiв важливо розiбратися в системi понять. Поняття взагалi утворюють основу будь-якої науки, i в цьому змiстi дiяльнiсть по розробцi й ефективному застосуваннi тестiв не є виключенням.
Закордоннi психологи називають цю науку психометрикою, а педагоги - педагогiчним вимiром. У нас же загальноприйнятий варiант назви даної науки це тестологiя, що може бути педагогiчною, психологiчною чи соцiологiчною, в залежностi вiд того, де застосовується i розвивається. В принципi, iнтерпретацiя назви "тестологiя" проста i прозора: наука про тести
.
Педагогiчна тестологiя покликана займатися питаннями розробки тестiв для об'єктивного контролю рiвня знань, тих, хто навчається (в самому широкому змiстi цього слова, а не просто "школярiв", як можна припустити
науки, як вибiркова i генеральна сукупнiсть, кореляцiя й iн.
"тест" викликає в людей рiзнi уявлення. Однi думають, що це питання чи задачi з однiєю готовою вiдповiддю, яку треба вгадати. Іншi вважають тест формою гри чи забави. Третi намагаються тлумачити це як переклад з англiйського слова "test" (iспит, перевiрка).
Загалом, по цьому питанню немає єдностi думок. Не випадково розмах думок про тести виявляється занадто широким: вiд суджень повсякденної свiдомостi до спроб наукового тлумачення сутностi тестiв. У науцi проводять iстотнi розходження мiж простим перекладом слова i змiстом поняття.
"тест", як простий вибiр однiєї вiдповiдi з декiлькох запропонованих до запитання. Численнi приклади таких, здавалося б, "тестiв" легко знайти в бiльшостi систем дистанцiйного навчання.
на справжнiй тест. Розходження в розумiннi сутностi тестiв породжують розходження у ставленнi до тестiв.
Традицiйний тест являє собою стандартизований метод дiагностики рiвня i структури пiдготовленостi. У такому тестi всi вiдповiдають на тi самi завдання, в однаковий час, в однакових умовах i з однаковими правилами оцiнювання вiдповiдей
.
Головна мета застосування традицiйних тестiв – визначити чвiдношення порядку, що встановлюється за рiвнем знань мiж тими, хто проходить тестування. І на цiй основi визначити мiсце (чи рейтинг) кожного
.
Тодi виникає одне з головних питань теорiї тестiв - питання пiдбору найкращого тесту.
але який володiє бiльшiстю переваг, властивих бiльш "довгим" тестам.
Поняття "довжина тесту" введено на початку XX столiття Ч. Спирманом i означає кiлькiсть завдань у тестi. Чим довше тест, тим бiльше в ньому завдань. Вiд числа завдань деяким чином залежить точнiсть вимiру знань.
У тест намагаються вiдiбрати мiнiмально достатню кiлькiсть завдань, що дозволяє порiвняно точно визначити рiвень i структуру пiдготовленостi. Інтерпретацiя результатiв тестування ведеться переважно з опорою на середню арифметичну i, на так званi, процентнi норми, що показують, - скiльки вiдсоткiв випробуваних мають тестовий результат гiрший, чим у любого iншого випробуваного. Така iнтерпретацiя тестових результатiв називається нормативно-орiєнтованою.
Але нас бiльше цiкавить визначення поняття тесту як навчального. Такого, який можна використовувати в системах дистанцiйної освiти.
1. 1 Навчальний тест
Навчальний тест визначається як система завдань визначеного змiсту, зростаючої складностi, специфiчної форми, що дозволяє якiсно й ефективно вимiрити рiвень i оцiнити структуру пiдготовленостi учнiв
.
Навчальний тест по своїй сутi є класичним представником традицiйних тестiв.
Для кращого розумiння визначення навчального тесту розглянемо коротке тлумачення його основних термiнiв.
Хоча будь-який тест складається з тестових завдань, останнi представляють не сукупнiсть довiльно об'єднаних завдань, а саме систему
.
Система
означає, що в тестi зiбранi такi завдання, що володiють системоутворюючими властивостями. Тут, у першу чергу, треба видiлити загальну приналежнiсть завдань до однiєї i тiєї ж системи знань, тобто до однiєї навчальної дисциплiни, їх зв'язок i упорядкованiсть.
Тест, як система, має склад
, структуру
.
Вiн
iз:
- правил їх застосування;
- рекомендацiй з iнтерпретацiї тестових результатiв.
означає взаємозв'язок завдань, їхня приналежнiсть загальному вимiрюваному фактору. Кожне завдання тесту виконує вiдведену йому роль i тому жодне з них не може бути вилучене з тесту без втрати якостi вимiру.
Структуру тесту
утворює спосiб зв'язку завдань мiж собою. В основному, це так звана факторна структура, у якiй кожне завдання зв'язане з iншими через загальний змiст i загальну варiацiю тестових результатiв.
У навчальному тестi завдання розташовуються в мiру зростання складностi
- вiд найпростiших до найскладнiших. Інакше кажучи, головною формальною системоутворюючою ознакою тесту
є розходження завдань вiдповiдно ступеня їх складностi. Слово "формальне" вживається для пояснення того, що “тест” трактується не лише, як система завдань зростаючої складностi, без облiку їх змiсту.
Прояву системної якостi тесту сприяє i єдина дисциплiнарна спiльнiсть завдань, що реалiзує iдею вимiру пiдготовленостi, тих хто проходить тестування, по однiй якiй-небудь визначенiй навчальнiй дисциплiнi або їх комплексу.
Час
нерiдко називається в якостi iншого системоутворюючого фактора. Дiйсно, одне з розумiнь, покладених в основу створення тестiв - мати iнструмент швидкого i точного оцiнювання
.
Один з актуальних напрямкiв сучасної органiзацiї тестового контролю в дистанцiйнiй освiтi - це
, що приводить до значної економiї часу тестування. Контроль ведеться за допомогою заздалегiдь вiдкалiброваних, зi рiвнем складностi, завдань.
Інша сторона питання полягає в тому, що вiд часу тестування iстотно залежить якiсть результатiв. Кожен тест має оптимальний час тестування, зменшення чи перевищення якого знижує якiснi показники тесту. Оптимальний час тестування визначається емпiрично, по показнику дисперсiї тестових даних
. Якщо по осi абсцис вiдкласти час тестування, а по осi ординат - значення дисперсiї тестових результатiв, що отримується пiсля кожної спроби контролю, то з'єднавши крапки, одержимо представлення про змiну дисперсiї; максимум значення останньої вкаже на оптимум часу, необхiдного для тестового контролю.
Якiсть тесту традицiйно зводиться до визначення мiри його
i питань валiдностi
отриманих результатiв. Якiсним, як i об'єктивним, можна назвати тiльки той метод вимiру, що обґрунтований науково i здатний дати необхiднi результати.
Валiднiсть
означає придатнiсть тестових результатiв для тiєї мети, заради чого проводилося тестування. Валiднiсть залежить вiд якостi завдань, їхнього числа, вiд ступеня повноти i глибини охоплення змiсту навчальної дисциплiни у завданнях тесту. Крiм того, валiдность залежить також вiд балансу i розподiлу завдань за складнiстю, вiд методу добору завдань у тест iз загального банку завдань, вiд iнтерпретацiї тестових результатiв, вiд органiзацiї збору даних, вiд пiдбора вибiркової сукупностi випробуваних.
Специфiчна форма
тестових завдань говорить про те, що завдання тесту являють собою не питання i не задачi, а завдання, сформульованi у формi висловлювань, iстинних чи помилкових, у залежностi вiд вiдповiдей.
Визначений змiст
означає використання в тестi тiльки такого контрольного матерiалу, що вiдповiдає змiсту навчальної дисциплiни; iнше в навчальний тест не включається.
критерiй складностi завдань. Позанавчальний змiст (наприклад, перевiрка рiвня iнтелектуального розвитку) у навчальний тест не включається. Це предмет психологiчного вимiру.
Зростаючу складнiсть завдань
можна образно порiвняти з бар'єрами на бiговiй дорiжцi стадiону, де кожен наступний вище попереднього. Пробiгти дистанцiю й успiшно перебороти всi бар'єри зможе тiльки той, хто краще пiдготовлений
Складнiсть завдань можна визначати двома способами:
- шляхом логiчного мiркування, на основi передбачуваного числа i характеру розумових операцiй, необхiдних для вдалого виконання завдань;
- пiсля емпiричної перевiрки завдань, з пiдрахунком частки неправильних вiдповiдей.
У класичнiй теорiї тестiв багато рокiв розглядалися тiльки емпiричнi показники складностi. У сучасних теорiях навчальних тестiв, якi використовуються в дистанцiйному навчаннi, бiльше уваги стало придiлятися характеру розумової дiяльностi у процесi виконання тестових завдань рiзних форм.
Показник складностi завдання розглядається як важливий системо- i одночасно структуроутворюючий фактор тесту.
Можна додати ще один критерiй - це критерiй логiчної визначеностi тестового завдання
. Його можна сформулювати словами, близькими до формулювання Х. Каррi:
.
Вiдповiдь на завдання навчального тесту являє собою коротке судження, пов'язане за змiстом i за формою зi змiстом завдання. Кожному завданню ставляться у вiдповiднiсть вiдповiдi правильнi i неправильнi. Критерiї правильностi заздалегiдь визначаються авторами тесту. Ймовiрнiсть правильної вiдповiдi на будь-яке завдання залежить вiд спiввiдношення рiвня знань випробуваного i рiвня складностi завдання. При наявностi порiвняльної шкали цю ймовiрнiсть виражають значенням вiд нуля до одиницi.
Оцiнка вiдповiдей за ступенем їх правильностi проводиться досить рiдко, але при необхiдностi створюються завдання з такими вiдповiдями, що правильнi в рiзному ступенi.
За допомогою тестування, частiше iнших ознак, перевiряються знання, умiння, навички та уявлення. З погляду навчальних вимiрiв корисно ввести два основних показники якостi знань - рiвень i структура знань однаковi.
Однаковими є i правила виставлення оцiнок. Цi умови вiдкривають дорогу для об'єктивного порiвняння iндивiдуальних структур знання i незнання.
Рiвень знань
виявляється при аналiзi вiдповiдей на всi завдання тесту. Чим бiльше правильних вiдповiдей, тим вище iндивiдуальний тестовий бал. Звичайно в системах дистанцiйної освiти цей тестовий бал асоцiюється з поняттям "рiвень знань" i проходить процедуру уточнення на основi тiєї чи iншої моделi вимiру. Той самий рiвень знань може бути отриманий за рахунок вiдповiдей на рiзнi завдання.
Наприклад, у тестi з тридцяти завдань студент одержав десять балiв. Цi бали, скорiш за все, отриманi за рахунок правильних вiдповiдей на першi десять, порiвняно легких завдань. Властиву для такого випадку послiдовнiсть одиниць, а потiм нулiв можна назвати правильним профiлем знань учня
.
Якщо тестовий бал нижче необхiдного рiвня (вимiрюваного критерiю), то виявленi при цьому знання, умiння, навички i представлення вказують на докритерiальний рiвень пiдготовленостi
. Цей рiвень є найпоширенiшим i масовим. Для багатьох вiн виявляється цiлком переборним у мiру вивчення ними наук i оволодiння майстернiстю. Однак деякi, переважно в силу недолiку здiбностей i старанностi, так i залишаються на цьому рiвнi.
профiль знань
, що представляється послiдовнiстю одиниць i нулiв, одержуваних кожним студентом.
. Якщо випробуваний вiдповiдає правильно на першi, порiвняно легкi завдання, можна говорити про правильну структуру знань
. Профiль називається
, якщо в рядку балiв у випробуваного всi нулi випливають за всiма одиницями.
. Вона зустрiчається рiдко, i найчастiше, через порушення вимоги розташовувати завдання в мiру зростаючої складностi.
За умови, що тест зроблений правильно, кожен профiль свiдчить про структуру знань. Цю структуру можна назвати елементарною (оскiльки є ще факторнi структури, що виявляються за допомогою методiв факторного аналiзу).
Роль структури знань багаторазово пiдкреслювалася видатним педагогом А. Дистервегом, а також психологом Д. Брунером. Останнiй вважає, що "виклад структури знань, оволодiння цiєю структурою, а не просте засвоєння фактiв i технiчних прийомiв є центральним моментом
".
Розробники систем дистанцiйного навчання повиннi прагнути, у першу чергу, до формування правильних iндивiдуальних структур знань, у яких не було би пробiлiв (розривiв у знаннях), i на цiй основi пiдвищувати рiвень пiдготовки. Рiвень знань у значнiй мiрi залежить вiд особистих зусиль i здiбностей тих, хто навчається за допомогою таких систем, у той час як структура знань помiтно залежить вiд правильної органiзацiї навчальної системи, вiд iндивiдуалiзацiї навчання, вiд рiвня поданого матерiалу, вiд об'єктивностi контролю - загалом, вiд усього того, чого зазвичай не вистачає.
Як справедливо вiдзначав М. Мiнський, людина не може добре вчитися, якщо розриви для нього мiж вiдомим i невiдомим занадто великi. Рiвень знань у значнiй мiрi залежить вiд особистих зусиль i здiбностей учнiв. У той час як структура знань залежить вiд правильної органiзацiї навчального процесу, вiд iндивiдуалiзацiї навчання, вiд майстерностi педагога, вiд об'єктивностi контролю
2.
Класи i види тестiв
Традицiйний тест являє собою єднiсть, щонайменше, трьох систем:
- змiстовної системи знань, яка описується мовою навчальної дисциплiни, що перевiряється;
- формальної системи завдань зростаючої складностi;
- статистичних характеристик завдань i результатiв.
Традицiйний навчальний тест потрiбно розглядати з двох сторiн: як метод педагогiчного вимiру
i як результат застосування тесту
.
Обидва цi критерiї характеризують тест iз рiзних сторiн, тому що тест треба розумiти одночасно i як метод, i як результат навчального вимiру. Одне доповнює iнше. Тест як метод не мислиться без результатiв, що пiдтверджують якiсть його самого i якiсть оцiнок вимiру випробуваних рiзного рiвня пiдготовленостi.
Головна iдея традицiйного тесту
- мiнiмальним числом завдань, за короткий час, швидко, якiсно i з найменшими витратами порiвняти знання як можна бiльшого числа учнiв
.
Власне кажучи цим вiдбивається iдея ефективностi навчальної дiяльностi в областi контролю знань в системах дистанцiйного навчання.
До традицiйних тестiв вiдносяться тести
i гетерогеннi
.
Гомогенний тест систему завдань зростаючої складностi, специфiчної форми i визначеного змiсту - система, створюванi з метою об'єктивного, якiсного, i ефективного методу оцiнки структури i вимiри рiвня пiдготовленостi учнiв по однiй навчальнiй дисциплiнi
.
Легко бачити, що у своїй основi визначення гомогенного тесту збiгається з визначенням традицiйного тесту.
. Наявнiсть останнiх порушує вимога дисциплiнарної чистоти навчального тесту. Адже кожен тест вимiрює щось заздалегiдь визначене.
2. 2
Гетерогеннi тести
Гетерогенний тест систему завдань зростаючої складностi, специфiчної форми i визначеного змiсту - система, створена з метою об'єктивного, якiсного, i ефективного методу оцiнки структури i вимiри рiвня пiдготовленостi по декiлькох навчальних дисциплiнах
.
Нерiдко в такi тести включаються i психологiчнi завдання для оцiнки рiвня iнтелектуального розвитку.
Звичайно гетерогеннi тести використовуються для комплексної оцiнки випускника шкiл, оцiнки особистостi при прийомi на роботу i для добору найбiльш пiдготовлених абiтурiєнтiв при прийомi до вузи. Оскiльки кожен гетерогенний тест складається з гомогенних тестiв, iнтерпретацiя результатiв тестування ведеться по вiдповiдях на завдання кожного тесту (тут вони називаються шкалами) i крiм того, за допомогою рiзних методiв агрегування балiв робляться спроби дати загальну оцiнку пiдготовленостi.
Нагадаємо, що традицiйний тест являє собою метод дiагностики, у якому вiдповiдається на однi завдань, в однаковий час, в однакових умовах i з однаковою оцiнкою
.
При такiй орiєнтацiї задачi визначення точного обсягу i структури освоєного навчального матерiалу вiдступають на заднiй план. У тест вiдбирається таку мiнiмально достатню кiлькiсть завдань, що дозволяє порiвняно точно визначити, образно говорячи, не "хто що знає", а "хто знає бiльше".
Інтерпретацiя результатiв тестування ведеться переважно мовою тестологiї, з опорою на середню арифметичну, моду чи медiану i на так званi процентнi норми, що показують - скiльки вiдсоткiв випробуваних мають тестовий результат гiрше, нiж у будь-якого узятого для аналiзу випробуваного з його тестовим балом. Така iнтерпретацiя називається нормативно-орiєнтованою.
Тут висновок добудовується рейтингом:
Þ вiдповiдi Þ висновки про знання Þ рейтинг, що розумiється як висновок про мiсце чи ранзi випробуваного.
2. 3
Інтегрованi тести
складається iз системи завдань, що вiдповiдають вимогам iнтегрованого змiсту, тестової форми, якi збiльшують складнiсть завдань, нацiлених на узагальнену пiдсумкову дiагностику пiдготовленостi
.
Дiагностика проводиться за допомогою таких завдань, правильнi вiдповiдi на якi вимагають iнтегрованих
(узагальнених, явно взаємозалежних) знань в областi двох i бiльшого числа навчальних дисциплiн. Створення таких тестiв дається тiльки тим викладачам, що володiють знаннями ряду навчальних дисциплiн, розумiють важливу роль мiжпредметних зв'язкiв у навчаннi, здатнi створювати завдання, правильнi вiдповiдi на якi потребують знань рiзних дисциплiн i умiнь застосовувати такi знання.
Перевага iнтегрованих тестiв перед гетерогенними полягає в бiльшiй змiстовнiй iнформативностi кожного завдання й у меншому числi самих завдань.
Методика створення iнтегрованих тестiв подiбна з методикою створення традицiйних тестiв, за винятком роботи з визначення змiсту завдань. Для створення змiстовних iнтегрованих тестiв використання експертних методiв є обов'язковим. Це пов'язано з тим, що тiльки експерти можуть визначити адекватнiсть змiсту завдань цiлям тесту. Але, насамперед, самим експертам важливо буде визначитися з цiлями утворення i вивчення тих чи iнших освiтнiх програм, а потiм i домовитися мiж собою по принципових питаннях, залишивши для експертизи лише варiацiї в розумiннi ступеня значимостi окремих елементiв у загальнiй структурi пiдготовленостi.
2. 4
Адаптивнi тести
Доцiльнiсть адаптивного контролю випливає з необхiдностi рацiоналiзацiї традицiйного тестування.
Кожен викладач розумiє, що добре пiдготовленому учню немає необхiдностi давати легкi завдання, тому що занадто високо iмовiрнiсть правильного рiшення. До того ж легкi матерiали не володiють помiтним потенцiалом розвитку. Симетрично, через високу iмовiрнiсть неправильного рiшення нема рацiї давати важкi завдання слабкому учню. Вiдомо, що важкi i дуже важкi завдання знижують навчальну мотивацiю багатьох учнiв.
Потрiбно було знайти порiвняння в однiй шкалi для мiри складностi завдань i мiри рiвня знань. Ця мiра була знайдена в теорiї педагогiчних вимiрiв. Датський математик Г. Раск назвав цю мiру словом "логiт".
При успiшнiй вiдповiдi наступне завдання комп’ютер пiдбирає бiльш важким, при неуспiшному - легшим. Зрозумiло, цей алгоритм вимагає попереднього випробування всiх завдань, визначення їх мiри складностi, а також створення банка завдань i спецiальної програми.
Використання завдань, що вiдповiдають рiвню пiдготовленостi, iстотно пiдвищує точнiсть вимiрiв i мiнiмiзує час iндивiдуального тестування до 5-10 хвилин. Адаптивне тестування дозволяє забезпечити комп'ютерну видачу завдань на оптимальному, приблизно 50%-му рiвнi iмовiрностi правильної вiдповiдi для кожного учня.
Зараз у свiтi три варiанти адаптивного тестування
.
пiрамiдальним тестуванням
. При вiдсутностi попереднiх оцiнок всiм дається завдання середнiх труднощiв i вже потiм, у залежностi вiд вiдповiдi, кожному дається завдання легше чи важче; на кожнiм кроцi корисно використовувати правило розподiлу шкали складностi навпiл.
Другий варiант -
починається рiвня складностi, який обирає сам той, хто проходить тестування, з поступовим наближенням до реального рiвня знань.
Третiй варiант - stradaptive
(вiд англ. stratified adaptive), коли тестування проводиться за допомогою банку завдань, роздiлених за рiвнями складностi. При правильнiй вiдповiдi наступне завдання береться з верхнього рiвня, при неправильному - з нижнього.
Таким чином, адаптивний тест являє собою варiант автоматизованої системи тестування з заздалегiдь вiдомими параметрами складностi i здатнiстю кожного завдання, що диференцiює.
Ця система створена у видi комп'ютерного банку завдань, упорядкованих вiдповiдно до цiкавлячого характеристиками завдань.
2. 5
Критерiально-орiєнтованi тести
Це дуже умовне й в принципi неправильна назва групи тестiв, що одержали в нас деяке поширення i визнання. Власне кажучи ж ми маємо справу не стiльки з тестами названого роду, скiльки з iнтерпретацiєю тестових результатiв
Якщо головною задачею є прагнення з'ясувати, якi елементи змiсту навчальної дисциплiни засвоєнi, то це випадок предметно-педагогiчного пiдходу до iнтерпретацiї результатiв тестування. При цьому визначається: що з головної сукупностi завдань (по англ. Domain) випробуваний знає i чого не знає. Інтерпретацiя результатiв ведеться педагогами, мовою навчальної дисциплiни.
змiст навчальної дисциплiни Þ головна сукупнiсть завдання для вимiру знань Þ тест як вибiрка завдань з цiєї сукупностi, вiдповiдi Þ iмовiрнiсний висновок про знання навчальної дисциплiни.
Суперечки вiдбуваються навколо двох головних питань:
1. Правильнiсть змiсту тесту, що означає безпомилковiсть формулювань його завдань, предметно-наукову обґрунтованiсть, допустимiсть тесту для перевiрки знань.
При аргументацiї на користь того чи iншого тесту педагоги спираються на мову, принципи i взагалi на знання навчальної дисциплiни, яку вони викладають. У таких випадках говорять про тести iз змiстовно-орiєнтованою iнтерпретацiєю результатiв.
якi можна було б дати випробуваним для упевненої й обґрунтованої оцiнки. Фактично це питання обґрунтування точностi iндуктивного висновку про знання великого числа питань на основi вiдповiдей по малому числу завдань тесту.
Другий вид тестiв пов'язаний з орiєнтацiєю на такi конкретнi цiлi i задачi, як, наприклад, перевiрка рiвня засвоєння порiвняно короткого перелiку необхiдних знань, умiнь i навичок, що виступають як заданий чи стандарт критерiю засвоєння.
Наприклад, для атестацiї випускникiв дистанцiйних курсiв важливо мати такi завдання, що дозволяють робити висновок про мiнiмально припустиму їх компетентнiсть (Minimum Competency Tests). При перевiрцi мiнiмально припустимого рiвня знань змiст завдань носить принципово полегшений характер. Оскiльки такi завдання повиннi виконувати усi випускники, допущенi системою до атестацiї, тут важко говорити про тести як методi об'єктивного й ефективного вимiру рiзного рiвня пiдготовленостi, у строгому контекстi поняття "тест".
В такому випадку говориться про тести з
iнтерпретацiєю результатiв. Висновок вибудовується уздовж логiчного ланцюжка: завдання Þ вiдповiдi Þ висновки про вiдповiднiсть заданому критерiю.
Пiд критерiально-орiєнтованою iнтерпретацiєю мається на увазi порiвняння змiсту атестацiйних матерiалiв з результатами тестування i висновок: що iз заданого стандарту i на якому рiвнi, реально засвоєно.
При критерiально-орiєнтованiй iнтерпретацiї потрiбно трохи менше число завдань, за допомогою яких визначається - що випробуваний знає i чого не знає з заданого стандарту. Інакше кажучи, тут вiдповiдi оцiнюються щодо не всiєї областi (Domain) необхiдних знань, а тiльки з областi, обмеженої конкретним стандартом чи рiвнем (критерiєм) знань.
При критерiально-орiєнтованiй iнтерпретацiї для дiагностики заздалегiдь заданого рiвня пiдготовленостi використовуються, власне кажучи, не тести, у традицiйному розумiннi цього методу, а сукупностi завдань у тестовiй i в iншiй формi. Слово одне, але змiст iнший.
3. Принципи добору змiсту тестових завдань
Змiст тесту
можна визначити як оптимальне вiдображення навчального матерiалу в системi тестових завдань.
Слова "оптимальне вiдображення" припускають необхiднiсть добору такого контрольного матерiалу, вiдповiдi на який з високою iмовiрнiстю (бiльше 95%) свiдчили б про рiвень пiдготовленостi кожного учня.
Досягнення обґрунтованого висновку про знання учнiв на основi змiсту тесту є головною метою тестологiї - науки про розробку якiсних тестiв i їхньому ефективному застосуваннi.
Оптимальне вiдображення припускає також можливiсть вибору придатної форми i необхiдного числа завдань.
Форм лише чотири. Це:
- завдання з вибором одного чи декiлькох правильних вiдповiдей з числа запропонованих;
- завдання вiдкритої форми, де вiдповiдь дописується, у вiдведеному для цього мiсця;
- завдання на встановлення вiдповiдностi;
- завдання на встановлення правильної послiдовностi дiй.
При тестуваннi перевiряється не весь програмний матерiал, а лише та частина навчальної програми, що входить у змiст. Це знання, що пiдлягають обов'язковiй перевiрцi в кожнiм системi дистанцiйного навчання. Деякi елементи знань, що перевiряються, (переважно по окремих темах) використовуються тiльки рубiжному контролi
, наприклад, наприкiнцi навчальної чвертi. І, нарештi, у пiдсумковому контролi
використовуються завдання, правильнi вiдповiдi на який вимагають знання багатьох, а й iнодi i всiх тем, вивчених протягом навчального року.
Сформулюємо критерiї добору змiсту тестового матерiалу:
Значимiсть.
Цей принцип указує на необхiднiсть включити в тест лише тi елементи знання, якi можна вiднести до найбiльш важливих, ключових, без яких знання стають неповними, з численними пробiлами. Такi елементи знання, через їхню важливiсть, можна назвати структурними. У тест, отже, потрiбно включати тiльки тi матерiали, що вiдiграють роль структурних елементiв в iндивiдуальному знаннi.
Наукова вiрогiднiсть. включати в тестовi завдання. Суть тестових завдань полягає саме в тiм, що вони вимагають чiткого, заздалегiдь вiдомого викладачам вiдповiдi, визнаного ними в процесi розробки завдань об'єктивно щирим.
Вiдповiднiсть змiсту тесту рiвню сучасного стану науки. Цей принцип випливає з природної необхiдностi готувати фахiвцiв i перевiряти їхнього знання на сучасному матерiалi.
Репрезентативнiсть. Але де впевненiсть, що студент знає й iншi важливi елементи змiсту навчальної дисциплiни? Шлях до появи такої впевненостi лежить у найбiльш повному вiдображеннi необхiдного знання в завданнях тесту.
Репрезентативнiсть не означає обов'язкового включення в тест усiх значимих елементiв змiсту. Адже багато хто з них явно зв'язанi мiж собою в загальнiй структурi знань, включенi один в iнший цiлком чи частково. Крiм того, багато елементiв у структурi знань iєрархiчно супiдряднi. Цьому принципу вiдповiдають основнi завдання, що краще називати структурними
.
Практично всi пiдручники i посiбники побудованi за принципом зростаючої труднощiв. У таких навчальних дисциплiнах, як логiка, математика, iноземнi мови, статистика, фiлософiя й iн., знання наступних елементiв курсу жорстко залежить вiд знання попереднiх навчальних елементiв. Тому вивчати такi дисциплiни можна тiльки iз самого початку, i без пробiлiв.
Варiативнiсть змiсту.
Змiст тесту не може залишатися незмiнним i незалежної вiд розвитку науки, науково-технiчного прогресу, вiд нового змiсту навчальної дисциплiни i вiд нових пiдручникiв. В мiру змiни змiсту навчальної дисциплiни повинний варiюватися i змiст тесту. При цьому приймається в увагу контингент, який проходить тестування. Змiст тесту для слабких студентiв помiтно вiдрiзняється вiд змiсту тесту для сильних студентiв.
Системнiсть змiсту. знань. Це можливо лише в тих випадках, коли завдання тесту зв'язанi iз загальною факторною структурою знань. Такий зв'язок визначається методами факторного аналiзу.
Тест, розроблений для пiдсумкового контролю знань, не може складатися з матерiалiв тiльки однiєї теми, навiть якщо ця тема є самою ключовою у навчальнiй дисциплiнi. Необхiдно шукати завдання, що комплексно вiдображають основнi, якщо не всiй теми навчального курсу.
У той же час iснує прагнення збалансовано вiдобразити в тестi основний теоретичний матерiал-поняття, закони i закономiрностi, гiпотези, факти, структурнi компоненти теорiї разом з методами наукової i практичної дiяльностi, з умiннями ефективно вирiшувати типовi професiйнi завдання.
Такi завдання порiвняно легко можуть трансформуватися у форму тестових завдань на встановлення вiдповiдностi чи правильної послiдовностi, перетворюючись, таким чином, у дидактичну модель, що використовується однаково вдало i для контролю, i для навчання.
Взаємозв'язок змiсту i форми.
При розглядi цього загального дiалектичного принципу стосовно до тестiв мимоволi виникає асоцiацiя з мистецтвом. Дiйсно мистецтво являє собою, за словами Гегеля, закiнчене усерединi себе з'єднання змiсту з цiлком вiдповiдної йому формою
.
Точно так само i дiйсний тест можна охарактеризувати як результат взаємовпливу змiсту завдань з найбiльш придатною формою. При цьому на вiдмiну вiд широко розповсюдженого фiлософського тлумачення активностi змiсту i пасивностi форми тестову форму треба розглядати разом зi змiстом як активну сторону їхньої взаємодiї.
Уже на стадiї задуму змiст завдання починає знаходити свою форму. Невiдповiднiсть завдання однiєї з чотирьох форм допускає можливiсть тiльки двох правильних суджень: чи це не тестове завдання, чи використовується якась нова недослiджена форма за умови, що група вiдомих форм визначена.
Не всякий змiст пiддається представленню у формi тестового завдання. Докази, великi обчислення, багатослiвнi описи важко виражаються, а те i зовсiм не виражаються в тестовiй формi.
На вiдмiну вiд фiлософської традицiї розгляду форми через призму змiсту, у теорiї тестiв справа обстоїть, можна сказати, навпаки: змiст контролю по кожнiй навчальнiй дисциплiнi розглядається крiзь призму придатної форми
. При цьому змiст тесту треба вiдносити до теорiї тiєї чи iншої навчальної дисциплiни, у той час як пошук найкращої форми для вираження змiсту є предметом теорiї тестiв.
І, нарештi, при правильному доборi контрольного матерiалу змiст тесту може бути використано не тiльки для контролю, але i для навчання. Використання тестових завдань в автоматизованих контрольно-навчальних програмах дозволяє студенту самостiйно виявляти пробiли в структурi своїх знань i вживати заходiв для їхньої лiквiдацiї. У таких випадках можна говорити про значний навчальний потенцiал тестових завдань, використання якого стане одним з ефективних напрямкiв практичної реалiзацiї принципу єдностi i взаємозв'язки навчання i контролю.
Вiдповiднiсть метi.
Змiст тесту залежить вiд мети перевiрки.
Якщо потрiбно вiдiбрати невелике число найбiльш пiдготовлених студентiв, скажемо, на олiмпiаду, то ясно, що завдання повиннi бути важкi, тому що лише за допомогою таких завдань можна вiдiбрати кращих. Якщо ж, навпаки, потрiбно вiдсiяти самих слабких, то зробити це краще за допомогою порiвняно легких завдань; тi, хто не виконають цi завдання, i є самi слабкi. При необхiдностi оцiнити студентiв у всьому дiапазонi знань - вiд нижчого до вищого, у тест доведеться включати завдання легкi, середнi i важкi.
Якщо, нарештi, знадобиться оцiнити вiдповiднiсть знань випускникiв всiх освiтнiх заснувань вимогам мiнiмуму змiсту навчальних дисциплiн, зафiксованого в державних освiтнiх стандартах, то в засоби оцiнки доведеться включати тiльки легкi завдання, посильнi бiльшостi. Нi про якого тестя, у класичному розумiннi цього поняття, у такому випадку говорити не приходиться.
При цьому виникає ряд таких досить спiрних питань, як визначення мiнiмальне "прохiдного" вiдсотка правильного виконання числа завдань, визначення оцiнки в залежностi вiд вiдсотка правильних вiдповiдей.
4. Поняття складностi тесту i його вплив на оцiнку знань
систему завдань зростаючої складностi
Придумати тест не так вже й просто. Можна придумати скiлькох завгодно завдань у тестовiй формi (а це ще не тести). Їх не можна включати в дiйсний тест доти, поки не стане вiдомої мiра складностi.
З цiєї вимоги стає зрозумiлої обов'язковiсть попередньої емпiричної перевiрки кожного завдання, до початку тестування. У процесi перевiрки багато завдань не витримують пропонованих до них вимог i тому не включаються в тест.
Перша вимога до тестових завдань: у тестi завдання повиннi розрiзнятися за рiвнем складностi, що випливає з даного ранiше визначення тесту i розглянутого принципу.
І другiй - що не всi пропонованi завдання в тестовiй формi можуть стать тестовими завданнями.
Завдання в тестовiй формi i тестове завдання - це рiзнi поняття. У першому поняттi до самим iстотним вiдносяться вимоги форми i змiсту. До тестових же завдань у першу чергу ставиться вимога вiдомих складностi, те, що явно не потрiбно в завдань у тестовiй формi.
Показник складностi тесту i тестових завдань є змiстовним i формальної одночасно.
Змiстовним показником, тому що в гарному тестi складнiсть може залежати лише вiд змiсту i вiд рiвня пiдготовленостi самих випробуваних, у той час як у поганому тестi на результати починають помiтно впливати форма завдань (особливо якщо вона не адекватна змiсту), погана органiзацiя тестування.
Формальна складова сторона показника складностi виникають при розглядi тестування як процесу протистояння пропонованими завданням. Одержуваний при цьому результат корисно розглядати як результат такої боротьби.
При спрощеному тлумаченнi кожного випадку протистояння з черговим завданням звичайно розглядаються тiльки два результати: перемога при правильному рiшеннi завдання, де отримується один бал, чи поразка, за що дається нуль балiв.
Оцiнка результату такої боротьби залежить вiд спiввiдношення рiвня знання до рiвня складностi завдання, вiд обраної одиницi вимiру знань i вiд заздалегiдь прийнятого правила - що вважати "перемогою", а що нi.
У класичнiй теорiї тестiв багато рокiв розглядалися тiльки емпiричнi показники складностi. У нових варiантах психологiчних i педагогiчних теорiй тестiв бiльше увага стала придiлятися характеру розумової дiяльностi учнiв у процесi виконання тестових завдань рiзних форм.
Змiст тесту не може бути тiльки легким, середнiм чи важким. Тут повною мiрою виявляється вiдома думка про залежнiсть результатiв застосовуваного методу. Легкi завдання тесту створюють тiльки видимiсть наявностi знань в учнiв, тому що ними перевiряються мiнiмальнi знання.
Спотворює результати тестування i пiдбор свiдомо важких завдань, у результатi чого в бiльшостi школярiв виявляються заниженi бали. Орiєнтацiя на важкi завдання нерiдко розглядається як засiб посилення мотивацiї до навчання. Однак цей засiб дiє неоднозначно.
Одних важкi завдання можуть пiдштовхнути до навчання, iнших - вiдiпхнути вiд її. Подiбна орiєнтацiя спотворює результати й у пiдсумку, знижує якiсть педагогiчного вимiру. Якщо тест побудований строго з завдань зростаючою складнiстю, то цим вiдкривається шлях до створення однiєї iз самих цiкавих шкал вимiру - шкали Л. Гутмана.
оцiнки надiйностi тесту дають зниження надiйностi при включеннi в тест помiтно легких i важких завдань.
У той же час захоплення завданнями однiєї лише середньої складностi приводить до серйозної деформацiї змiсту тесту: останнiй утрачає здатнiсть нормально вiдображати змiст дослiджуваної дисциплiни, у якiй завжди є легкий i важкий матерiал. Таким чином, у погонi за теоретично високою надiйнiстю губиться змiстовна валiднiсть тесту. Прагнення ж пiдняти валiднiсть тесту нерiдко супроводжується зниженням його надiйностi. У науковiй лiтературi це називається парадоксом Ф. Лорда, що описали цей парадокс iз погляду статистичної теорiї тестiв.
5. Оцiнювання, оцiнка i вимiр знань
У закордоннiй педагогiчнiй лiтературi використовується близьке до вимiру поняття "evaluation", що можна перекласти як "оцiнювання", маючи у на увазi не тiльки кiнцевий результат, але i процес формування оцiнки. Вiдповiдно видiляються два основних види оцiнювання - формуюче
.
Мета першого - робити, за допомогою оцiнювання, вплив на поточний процес навчання за рахунок встановлення зворотного зв'язку вiд студента до викладача.
судження про цiннiстьприблизна характеристика деякої величини
.
Оцiнки подiляються на двох груп: абсолютнi
i "добре
", "
" i т. п. Оцiнки викладачiв вузiв ближче до абсолютних оцiнок, роздiленим на чотири рiвнi (градацiї)-
.
6. Вимiр знань i його об'єктивнiсть
Вимiр являє собою процедуру кiлькiсного зiставлення дослiджуваної властивостi з деяким еталоном, прийнятим за одиницю вимiру
.
У вiдмiннiсть, наприклад, вiд поняття "довжина столу" поняття "знання" не вiдноситься до безпосередньо вимiрюваного феномена i тому знання приходиться вимiрювати опосередковано, через емпiрично фiксованi прояви того, що фахiвцi назвали би ознаками (iндикаторами) знання. Тому кожне завдання тесту бажано розглядати як iндикатор, що виявляє якийсь один фрагмент знання в тих випробуваних, у яких знання є.
Здоровий глузд пiдказує, що судити про знання всього матерiалу, що перевiряється по вiдповiдi на одне лише завдання помилково, хоча в кожнiй навчальнiй дисциплiнi є питання, правильнi вiдповiдi на який говорять багато про що. Тим не менше, надiйнi висновки можна робити тiльки за результатами застосування достатнього числа завдань.
Визначення статистичних характеристик є головним (пiсля експертної перевiрки змiсту) засобом дiагностики якостi тесту по будь-якiй навчальнiй дисциплiнi.
Рiвень пiдготовленостi випробуваних виявляється при аналiзi їхнiх вiдповiдей на завдання тесту. Чим бiльше правильних вiдповiдей, тим вище iндивiдуальний тестовий бал. Звичайно цей тестовий бал асоцiюється з поняттям "рiвень знань" i проходить процедуру уточнення на основi тiєї чи iншої моделi вимiру знань.
Насправдi вiрнiше говорити про пiдготовленiсть, що включає в себе володiння необхiдними знаннями, умiннями, навичками i представленнями. Отримана сума балiв нерiдко приймається за iстинний рiвень знань, хоча кожний визнає, що власне знання i бали, отриманi по показниках знань - рiзнi явища. Адже можна придумати тисячi рiзних показникiв i усi вони будуть з рiзною кiлькiстю балiв показувати на рiвень знань. Виникає природне запитання - а якi з показникiв правильно вказують на наявнiсть знань, а якi помилково?
Для вимiру знань вимагаються емпiричнi показники. У якостi таких виступають зараз будь-якi методи контролю знань, хоча iнтуїтивно зрозумiло, що вони неоднаково представляють знання. Тому встає питання: "якi методи показують краще?"
Апрiорi можна затверджувати, що тест це робить краще через бiльшу його обґрунтованiсть. В основу обґрунтування якостi тесту, крiм згаданої вище iнтерпретацiї одержуваних результатiв, покладенi концепцiя i модель вимiру, а також данi статистичної обробки й iнтерпретацiї результатiв перевiрки знань.
На рiвнi повсякденної свiдомостi будь-яка iнтерпретацiя результатiв тестування не представляється важкою справою. Отримана сума балiв приймається за щирий рiвень знань, хоча кожний визнає, що знання i бали, отриманi по показниках знань - рiзнi явища. Адже можна придумати тисячi рiзних показникiв i усi вони будуть з рiзною кiлькiстю балiв показувати на рiвень знань.
Головна теза iнтерпретацiї - не хто що знає, а хто по даному наборi завдань виявився вище чи нижче. Хоча при такiй iнтерпретацiї завжди залишається мiсце для критики тесту з позицiї неповноти його змiсту, у практицi цей пiдхiд завжди виявлявся вирiшальним через можливiсть скоротити число завдань i приймати рiшення на основi тесту з меншим числом завдань. Власне кажучи, це форма редукцiї, успiх якої залежить вiд якостi розробки тесту, i вiд обґрунтування валiдностi скороченого тесту з нормативно орiєнтованою iнтерпретацiєю.
7. Поняття ефективностi тесту
Ефективним можна назвати тест, що краще, нiж iншi тести, вимiрює рiвень знань, з меншим числом завдань, якiснiше, швидше, дешевше, i все це - по можливостi, у комплексi.
"ефективнiсть" близьке до нього по змiсту поняття "оптимальнiсть". Останнє трактується як найкраще з можливих варiантiв, з погляду задоволення декiльком критерiям, узятим по черзi чи разом.
Ефективний тест не може складатися з неефективних завдань. У такому випадку природно порушити питання про ознаки, що вiдрiзняють ефективне завдання вiд неефективного. З погляду змiсту, ефективне завдання перевiряє важливий елемент змiсту навчальної дисциплiни, що нерiдко називають ключовим для необхiдної структури знань випробуваних. У тест вiдповiдно включаються тiльки такi завдання, що експерти визнають як ключовi елементи дослiджуваної навчальної дисциплiни.
У визначеннi ефективностi тесту звертається увага на два ключових елементи - це число завдань тесту i рiвень пiдготовленостi тих, хто проходить цей тест.
Якщо з якого-небудь тесту з великим числом завдань зробити оптимальний вибiр меншого числа, то може утворитися система, що не уступає помiтно по своїх властивостях тесту з порiвняно великим числом завдань. Тест iз меншим числом завдань у такому випадку можна називати порiвняно бiльш ефективним.
Ефективнiсть тесту залежить також i вiд принципу пiдбора завдань. Якщо пiдбирати завдання для вимiру на всьому дiапазонi змiни складностi, то знижується точнiсть вимiру на окремiй дiлянцi. І навпаки, якщо прагне точно вимiрити знання випробуваних, наприклад, середнього рiвня пiдготовленостi, то це зажадає мати бiльше завдань саме даного рiвня труднощi.
Тому тест не може бути ефективним узагалi, на всьому дiапазонi пiдготовленостi випробуваних. Вiн може бути бiльш ефективний на одному рiвнi знань i менш - на iншому. Саме цей змiст вкладається в поняття диференцiйноїефективностiтесту.
Використана лiтература
1. Дидактика сучасної школи: Навч. посiбник для вчителiв Б. С. Кобзар, Г. Ф. Кумарiна, Ю. А. Кусий та iн. Пiд ред. В. А. Онищука. К: Рад. шк., 1987. - 351 с.
2. Челишкова М. Б. Теорiя i практика конструювання педагогiчних тестiв. – М.: Дослiдницький центр проблем якостi пiдготовки спецiалiстiв, 2001
| 
