THE BELL

Есть те, кто прочитали эту новость раньше вас.
Подпишитесь, чтобы получать статьи свежими.
Email
Имя
Фамилия
Как вы хотите читать The Bell
Без спама

Шкалирование результатов тестирования

Стивенс (1946) определил 4 уровня шкал измерения, отличающиеся по степени, в которой принадлежащие им оценки сохраняют свойства множестве вещественных чисел. Это шкалы:

Номинальная (или номинативная, шкала наименований)

Порядковая

Интервальная

Шкала отношений.

Интерпретация результатов тестирования

В тестах с нормативно-ориентированной интерпретацией главная задача – определение сравнительного места каждого из тестируемых в общей группе испытуемых. Очевидно, что место каждого испытуемого зависит от того, на фоне какой группы его оценивают. Один и тот же результат может быть отнесен к категории довольно высоких, если группа слабая, и к категории довольно низких, если группа – сильная. Именно поэтому необходимо по возможности использовать нормы, отражающие результаты выполнения теста большой репрезентативной (от фр. выборкой испытуемых.

В тестах с критериально-ориентированной интерпретацией задача - сопоставление учебных достижений каждого ученика с планируемым к усвоению объемом знаний, умений и навыков. В этом случае в качестве интерпретационной системы отсчета используется конкретная область содержания, а не та или иная выборка испытуемых. Основной проблемой является установление проходного балла, отделяющего тех, кто освоил проверяемый материал, от тех, кто не освоил.

Установление норм выполнения теста

Чтобы устранить зависимость интерпретации от результатов других участников тестирования используют специальные нормы выполнения теста, и таким образом, первичный балл отдельного испытуемого сопоставляется с нормами выполнения теста. Нормы – это множество показателей, которые устанавливаются эмпирически по результатам выполнения теста четко определенной выборкой испытуемых. Разработка и процедуры получения этих показателей составляют процесс нормирования (или стандартизации ) теста. Наиболее распространенными нормами являются среднее значение и стандартное отклонение по множеству индивидуальных баллов. Соотнесение первичного балла испытуемого с нормами выполнения позволяет установить место испытуемого в выборке, использованной для стандартизации теста.

Виды шкал, используемых для преобразования первичных баллов

Наиболее известные преобразования первичных баллов:

Процентильный ранг, отражающий процент испытуемых в нормативной группе, результата которых ниже или равен данному значению первичного балла;

Линейная Z -оценка, определяемая как отношение индивидуального отклонения тестового балла к стандартному отклонению по группе испытуемых;

Оценки, которые являются линейным преобразованием z -оценки (Т-шкала, оценки стандартного IQ и т. д.);

Шкалы станайнов и стенов, которые получаются делением шкалы первичных баллов на различные интервалы.

Шкала процентильных рангов

Процентили позволяют установить ранг первичного показателя испытуемого в нормативной группе. Процентильный ранг, соответствующий данному первичному баллу, показывает процент испытуемых в нормативной выборке, результаты которых не выше данного первичного балла.

Процентили не следует смешивать с процентными показателями, представляющими процент правильно выполненных заданий испытуемым группы. В отличие от последнего - первичного - процентиль является производным показателем, указывающим на долю от общего числа испытуемых группы.

Помимо удобств, связанных с простотой интерпретации, процентильные ранги имеют существенные недостатки. Шкала процентильных рангов нелинейна, т. е. в различных областях шкалы первичных баллов увеличение на 1 балл может соответствовать различным увеличениям на шкале процентилей. Поэтому процентили не только не отражают, а даже искажают реальные различия результата выполнения теста.

Поэтому использование процентилей довольно ограничено. В силу удобства и простоты их применяют в основном в нормативно-ориентированных тестах для самооценки знаний учащихся, сообщения результатов самим учащимся и их родителям.

Z - шкала

Осуществляет перевод индивидуальных результатов в стандартную шкалу с общим средним баллом и общей мерой дисперсией . Z - оценку i - го ученика находят по формуле:

где первичный балл i - го испытуемого; OCRUncertain203">- стандартное отклонение по множеству первичных баллов.

Z -шкала является стандартной с нулевым средним значением и единичным стандартным отклонением. С ее помощью можно привести баллы учеников, полученные по различным тестам, к одному удобному для сравнения виду.

Величина Z -оценки равна расстоянию между рассматриваемым первичным баллом и средним значением оценок по группе, выраженному в единицах стандартного отклонения: в пределах скольких стандартных отклонений первичный балл испытуемого находится ниже или выше среднего значения группы.

Z-оценки за редким исключением принимают значения из промежутка (-3,+3). Будучи удобной для научного анализа в процессе разработки новых тестов, Z-шкала является неудобной для практического использования при оценке знаний испытуемых группы. Z-оценки могут принимать дробные и отрицательные значения, с которыми сложно работать при подсчетах и трудно интерпретировать для пользователей тестов. Округление Z-оценок до целых значений не всегда допустимо, т. к. основную цель создания тестов составляет выявление различий в подготовке испытуемых. Отрицательные значения Z-показателя, указывающие на результаты ниже среднего по группе тестируемых учеников, также вызывают определенные неудобства - они вызовут явное неприятие у получивших их учеников. В целом все это делает Z-показатель неудобным для сообщения результатов испытуемым и вынуждает применять специальные методы преобразования для выставления оценок ученикам.

Преобразования Z -оценок

Преобразования Z-оценок имеют целью перевод их в значения, которые легче записывать и объяснять. При этом, используемое преобразование должно быть линейным, чтобы сохранить форму распределения Z-оценок. Общая формула такого преобразования имеет вид

Z1=M + σ·Z,

где Z1 – преобразованная оценка, М – новое среднее значение (среднее значение оценок после преобразования), - новое стандартное отклонение. Различные преобразования отличаются значениями М и . Приведем несколько наиболее известных преобразований Z-оценок.

T -шкала (McCall, 1939, для сообщения о результатах выполнения детьми теста ментальных способностей). Выбирается среднее значение М = 50 и стандартное отклонение σ = 10. Получим: Z1=50 + 10·Z

Шкала СЕЕВ (ETS, для сообщения абитуриентам о результатах приемных экзаменов в колледжи). Выбирается среднее значение М = 500 и стандартное отклонение σ = 100. Получим: Z1=500 + 100·Z

Шкала IQ (Weshler, 1939, для интерпретации оценок по шкале интеллекта для взрослых). Выбирается среднее значение М = 100 и стандартное отклонение σ = 15. Получим: Z1=100 + 15·Z

Шкалы станайнов и стенов

Иногда при сообщении результатов используют шкалы, состоящие из отдельных целых чисел, например, от 1 до 9 или от 1 до 10. Это удобно для сообщения тестовых результатов, т. к. такие шкалы обладают очевидной простотой.

Разбиение нормального распределения на 9 интервалов приводит к шкале станайнов, имеющей 9 стандартных единиц. В этой шкале среднее значение равно 5, а стандартное отклонение – примерно 2. При оценке результатов испытуемых по любому тесту с любым числом заданий 4% самых худших результатов присваивается станайн 1, а самых лучших - станайн 9. Следующим за худшими и лучшими 7% результатов присваивают станайны 2 и 8 соответственно. Следующим за ними 12% результатов - станайны 3 и 7. Следующим 17% присваивают станайны 4 и 6 и, наконец, 20% средних результатов соответствует станайн 5.

В шкале стенов, называемой часто шкалой Кэттела, весь массив результатов делится на 10 частей с интервалом 0,5 стандартного отклонения. В шкале стенов среднее арифметическое принимается равным 5,5, а расстояние между двумя соседними стандартными единицами равно 0,5Вовлечение" href="/text/category/vovlechenie/" rel="bookmark">вовлекают в процедуру определения проходного балла экспертов. Рассмотрим некоторых из известных методов.

Методы, центрированные на заданиях

Метод Nedelsky (1954) – для закрытых заданий.

Каждый эксперт должен проанализировать все задания и вычеркнуть для каждого задания номера ответов, от которых будет в состоянии отказаться минимально компетентный испытуемый. Для каждого задания эксперт указывает число, обратное числу оставшихся ответов. Например, если в задании с пятью ответами эксперт два вычеркнул, то он укажет число 1/3 для этого задания. Затем все эти обратные величины суммируются. Полученное число может рассматриваться как вероятная оценка минимально компетентного испытуемого этим экспертом. Затем оценки всех экспертов усредняются.

Метод Angoff (1971). Экспертов просят представить себе группу минимально компетентных испытуемых и для каждого задания оценить долю испытуемых этой группы, правильно ответивших на задание. (Это то же самое, как оценить вероятность того, что минимально компетентный испытуемый ответит на задание правильно.) Данные вероятности складываются по каждому эксперту и усредняются по всем экспертам.

Метод Ebel (1972). В этом методе используется двумерная сетка для категоризации каждого задания. Экспертов просят разделить все задания по трудности (предлагается три уровня трудности - задание легкое, средней трудности, трудное) и по релевантности его содержания (предлагается 4 уровня релевантности – существенное, важное, допустимое, спорное). Таким образом, все задания раскладываются по ячейкам этой сетки. Затем эксперты должны оценить, как минимально компетентный испытуемый выполнит задания в каждой ячейке, т. е. указать процент числа заданий в ячейке, на которые он должен ответить правильно.

Методы, центрированные на испытуемых (Nedelsky, 1954; Zieky, Livingston, 1977)

Метод контрастных групп

Эксперты договариваются о том, что является результатом выполнения теста на уровне минимальной компетентности. Затем эксперты делят всех испытуемых на две группы – компетентных и некомпетентных (исключая тех, кто, по их мнению, находится на границе). Далее строятся графики распределения баллов для каждой из группы на одном чертеже. Точка пересечения графиков принимается за проходной балл.

Метод граничных групп

В отличие от предыдущего метода экспертов просят определить испытуемых, кто, по их мнению, находится на границе между двумя контрастными группами, отличающимися по компетентности. Медиана распределения баллов отобранной группы принимается за проходной балл.

Критики данного подхода указывают, что установление проходного балла, основанного на выполнении теста испытуемыми, не соответствует по сути основной цели критериально-ориентированного тестирования, т. к. этот подход не связан с содержанием теста.

Что, несомненно, должен знать и уметь делать каждый грамотный пользователь теста – это понимать, что такое тестовые нормы и как ими пользоваться.

Первоначальный суммарный балл, подсчитанный с помощью ключа, не является показателем, который можно диагностически интерпретировать. Его называют в тестологии “сырым тестовым баллом”. Применение тестовых норм в профессионально организованной психодиагностике основывается на переводе тестовых баллов из “сырой” шкалы в “стандартную”. Эта процедура называется “стандартизацией тестового балла”.

Пусть мы провели тест из 20 заданий и испытуемый дал 12 правильных ответов. Можно ли при этом сказать, что способность у испытуемого выражена лучше или хуже, чем в среднем? Нет. Для такого вывода нужно сравнить балл 12 со средним баллом по представительной выборке испытуемых.

Выборка, на которой определяются статистические тестовые нормы, называется выборкой стандартизации . Ее численность, как правило, не меньше 200 человек. Столько людей должно принять участие в психометрическом эксперименте по определению тестовых норм – в эксперименте по стандартизации теста.

Если после стандартизации теста выясняется, к примеру, что среднее арифметическое по сырой шкале теста равно 14, то оказывается балл 12 – это не лучше, а хуже среднего (хотя испытуемый и справился больше чем с половиной заданий). Просто в данном случае тест содержит слишком простые задания, несколько отклоняясь по этому параметру от оптимальной трудности.

Простейшая линейная стандартизация тестового балла производится по формуле

где Z – стандартный балл на так называемой стандартной шкале Z (с центром 0 и отклонением 1);

Х – сырой балл по тесту;

– средний балл по выборке стандартизации,

Sх – стандартное отклонение по выборке стандартизации.

После получения стандартного балла Z можно перевести тестовый балл в любую стандартную тестовую шкалу, принятую в психодиагностике. Например, перевод в шкалу IQ производится по формуле

Напомним, что в шкале IQ центр равен 100, а отклонение – 15.

Если перевод требуется в так называемую шкалу “стенов” (от англ. “ standart ten” – стандартная десятка), то формула пересчета из шкалы Z выглядит так:

Sten = Z..2 +5,5,

так как в шкале стенов центр равен 5,5, а отклонение равно 2.

Обобщенная формула перевода сырого балла в заданную стандартную шкалу имеет вид:

Y = S s ×Z+M, (7)

где Y – стандартный балл, по произвольной шкале, с центром М и отклонением Ss.

Для серьезных профессиональных тестов вместо описанной здесь простейшей линейной стандартизации используется более сложная процедура нелинейной нормализации (форсированный переход к нормальному распределению). В результате этой, более точной процедуры разработчики снабжают пользователей теста так называемой конверсионной таблицей для перевода сырых баллов в стандартные баллы по заданной шкале. В ней приводится полный перечень соответствий между интервалами сырой шкалы и стандартной.

Ниже приведен пример того, как может выглядеть конверсионная таблица для некоторого теста арифметических вычислений из 30 заданий. Простейшая процедура подсчета баллов (за правильный ответ – 1 очко, за ошибку –0) дает нам сырую шкалу от 0 до 30.

Таблица 1

Пример фрагмента конверсионной таблицы
для перевода сырых баллов в стены

Сырой балл

Как пользовались таблицей? Если испытуемый показал 5 сырых очков (решил только 5 заданий), то ему ставится минимальный стандартный балл 1. Если испытуемый решил 25 заданий, то получает балл 9.

После того, как балл по тесту стандартизирован, можно выносить диагностическое заключение. Общее правило здесь таково: если стандартный балл Y превышает единицу “верхней” (или “высокой”) группы M+Ss, то данному испытуемому приписывается повышенное значение измеренного психического свойства. Например, про ученика говорят, что он является определенно более дисциплинированным, чем средний ученик в российской школе (или московской, или иркутской – в зависимости от того, на какой выборке стандартизации получены нормы). Если же стандартный балл Y ниже границы “нижней” (“низкой”) группы M-Ss, то о данном испытуемом формулируется заключение, соответствующее низкому полюсу измеряемого свойства. Если стандартный тестовый балл Y заключен в пределах центрального интервала (M-Ss, M+Ss), то про испытуемого говорят, что у него измеренное свойство выражено в средней степени – как у большинства людей.

На шкале стенов граница “верхней” группы равна 7,5, а “нижней” – 3,5, то есть при получении 8 стенов и больше испытуемый зачисляется в “верхнюю” группу, а при получении 3 стенов и меньше – в “нижнюю”.

Если мы имеем дело с биполярным (двухполюсным) психическим свойством, например, “гибкость – ригидность”, то для “высокой” группы формулируется заключение как для “гибких” людей, а для “низкой” группы – как для ригидных людей. Соответственно средняя группа из центрального интервала признается нейтральной, неполяризованной по данному тестовому параметру.

Любые тестовые заключения при использовании статистических тестовых норм являются относительными. Они зависят от той выборки, на которой производилась стандартизация теста. То, насколько выборка стандартизации позволяет применять тест на широкой популяции, называется репрезентативностью тестовых норм. Репрезентативность – третье важнейшее психометрическое свойство теста. Понимание смысла этого требования к тесту помогает правильно учитывать ограничения в сфере его применения.

Например, если тест проходил стандартизацию на студентах, то перед его применением на школьниках следует вначале произвести рестандартизацию , то есть снова собрать тестовые нормы на представительной выборке, сформированной именно из школьников. В противном случае диагностические выводы, произведенные по неадекватным тестовым нормам, будут неточны и неверны.

Проверка репрезентативности тестовых норм осуществляется с помощью анализа так называемого распределения частот тестовых баллов. Одним из простейших методов является проверка нормальности этого распределения. Более сложный и универсальный подход предполагает сравнение двух распределений, построенных для двух случайных половин выборки стандартизации. Если эти два распределения оказываются практически тождественными, то можно говорить о репрезентативности тестовых норм.

Введение понятия репрезентативности позволяет нам дать более строгое определение того, что такое стандартизация теста. О стандартизации теста в строгом смысле можно говорить, когда задана полная таблица соответствия сырой шкалы и стандартной шкалы и содержание этой таблицы обосновано статистической структурой распределения тестовых баллов на выборке стандартизации.

Кроме статистических тестовых норм в современных тестах часто используются критериальные нормы . Они особенно важны для сферы образования. Действительно, что дает нам знание о том, что Петров выполнил тест лучше среднего испытуемого, если средний испытуемый тоже не справился с большинством заданий? Мы прогнозируем, что подавляюще большинство испытуемых без специального дополнительного обучения не смогут показать требуемого уровня эффективности в будущей деятельности.

При построении так называемого “теста по критерию” шкала сырых тестовых баллов калибруется особыми реперными точками, которые соответствуют уровням рассчитанной вероятности достижения какого-то критерия (заданной эффективности деятельности). Например, если оператор АЭС был точен в 45 из 48 процентов заданий, то это может еще и не соответствовать требуемому уровню критериальной “надежности оператора” (в данном случае “надеж­ность” – измеряемое свойство), а вот если он был точен в 47 из 48 заданий, то это может считаться достаточным уровнем “надеж­ности”. Таким образом, при построении диагностических заключений по критериальным тестам мы интересуемся не степенью отклонения балла от центра шкалы, а достижением или недостижением какого-то критического уровня на шкале.

Стандартизация

– унификация, приведение к единым нормативам процедуры и оценок теста. Благодаря стандартизации методики достигается сопоставимость полученных результатов у разных испытуемых и появляется возможность выражения тестовых оценок в относительных к выборке стандартизации показателях.

1) Стандартизация – обработка и регламентация процедуры проведения, унификация инструкции, бланков обследования, способов регистрации результатов, условий проведения обследования, характеристика контингентов испытуемых. Строгая периодичность процедуры обследования – обязательное условие обеспечения надежности теста и определения тестовых норм для оценивания результатов в обследования.

2) Стандартизация – преобразование нормальной шкалы оценок в новую шкалу, основанную не на количественных значениях изучаемого показателя, а на его относительном месте в распределении результатов в выборке испытуемых.

Этапы стандартизации

1 этап. Создание единообразной процедуры тестирования.

Она состоит из определения моментов диагностической ситуации.

· Условия тестирования (помещение, освещение и др. внешние факторы).

· Содержание инструкции и особенности ее предъявления (тон голоса, паузы, скорость речи и т.д.).

· Наличие стандартного стимульного материала (например, карты Роршаха).

· Временные ограничения выполнения данного теста.

· Стандартный бланк для выполнения данного теста.

· Учет влияния ситуационных факторов на процесс и результат тестирования.

· Учет влияния поведения диагноста на процесс и результат тестирования

· Учет влияния опыта испытуемого в тестировании.

2 этап. Создание единообразной оценки выполнения теста. С тандартной интерпретации полученных результатов и предварительной стандартной обработки. На этом этапе сравнивается полученный показатель с нормой выполнения этого теста для данного возраста.

3 этап. Определение норм выполнения теста. Нормы разрабатываются для различных возрастов, профессий, полов и т.д.

z-стандартный показатель

Наиболее распространенным преобразование первичных оценок являются центрирование и нормирование посредством среднеквадратических отклонений. Процедура нормирования заключается в переходе к другим единицам измерения. В качестве функции нормирования обычно выступает Z-показатель (стандартный показатель), который выражает отклонение индивидуального результата Х в единицах, пропрорциональных стандартному отклонению.

Более широкое распространение в психодиагностике получили стандартные показатели, рассчитываемые на основе линейного и нелинейного преобразования первичных показателей, распределенных по нормальному или близкому к нормальному закону. При таком расчете проводится z-преобразование оценок. Чтобы определить z-стандартный показатель, определяют разность между индивидуальным первичным результатом средним значением для нормальной группы, а затем делят эту разность на δ нормативной выборки.

Х – сырой балл (количество выполненных заданий)

Мх – средняя величина выполненных заданий по всей выборке

δ – среднеквадратичное отклонение (в зарубежной психологии SD)

Математик Карл Гаусс предложил функцию, описывающию нормальное распределение. График уравнения нормального распределения – симметричная унимодальная колоколообразная кривая (или кривая нормального распределения ).

Назовем среднее арифметическое Мх, а стандартное отклонение δ (сигма малая). При нормальном распределении все изучаемые величины находятся в пределах Мх ± 5 δ.

В пределах Мх ± δ находится 68,26 %, остальные 31,74 % расположены симметрично по 15,87

В пределах Мх ± 2 δ находится 95,44 %

А в пределах Мх ± 3 δ находится 99,72 %

ПРОЦЕНТИЛИ

Процентиль – процентная доля индивидов из выборки стандартизации, результат которых ниже данного первичного показателя. Шкалу процентилей можно рассматривать как совокупность ранговых градаций при числе рангов 100 и отсчете от 1-го ранга, соответствующего самому низкому результату;

50-й процентиль (Р 50 )соответствует медиане распределения результатов

Процентили не следует смешивать с обычными процентными показателями. Последние представляют собой долю правильных решений из общего количества заданий теста в индивидуальном результате. Ранги Р 1 и Р 100 получают соответственно самый низкий и самый высокий результаты из наблюдавшихся в выборке, однако этим рангам могут соответствовать и далеко не нулевой (ни одного правильного решения) или абсолютный (все решения правильны) показатели. Например, при общем количестве 120 заданий минимальный результат, соответствующий первому рангу, может составить 6 правильных решений, в то время как максимальный результат, соответствующий рангу Р 100 , будет составлять 95 правильно решенных заданий. Такая ситуация наблюдается, например, при оценке тестов скорости.

Основной недостаток процентильных шкал состоит в неравномерности единиц измерения. При нормальном распределении отдельные переменные тесно группируются в центре распределения и по мере удаления к краям рассеиваются. Поэтому равным частотам случаев вблизи центра соответствуют более короткие интервалы по оси абсцисс, расположенные по краям распределения оценок. Процентили показывают относительное положение каждого испытуемого в нормальной выборке, но не величину различий между результатами. Это создает некоторые неудобства в интерпретации индивидуальных результатов. Так, разница в первичных показателях, соответствующая интервалу Р 70 Р 80, может составить 10баллов, а различие в количестве правильных решений в интервале рангов Р 50 Р 60 , - лишь 1 – 3 балла.

Вместе с тем процентильные оценки обладают и рядом достоинств. Они легко доступны пониманию пользователей психодиагностической информацией, универсальны по отношению к различным типам методик и легко рассчитываются.

Статистические нормы

А. Статистические нормы. Граничные значения на шкале тестовых баллов, образованные на основе частотного распределения тестовых баллов в выборке стандартизации. Как правило, эти граничные значения отделяют от выборки фиксированный процент испытуемых: (дециль), 25 (квартиль), 50 (медиана). При нормальном распределении статистическая норма описывается с помощью параметров (среднее плюс/минус сигма, или стандартное отклонение). Статистические нормы служат принятию «сравнительный решения» и не дают информации для принятии «нормативных решений»

Б. Возрастные нормы – частные варианты психодиагностических норм, собранные для детей разного возраста.

В. Критериальные нормы - диагностические нормы, в которых задано соответствие между тестовыми баллами по шкале измеряемого свойства и уровнем критериального показателя. В случае критериального поведения критериальные нормы указывают на вероятность появления критериального поведения при данном значении тестового балла.

Г. Школьные нормы разрабатываются на основе тесов школьных достижений или тестов школьных способностей.

Д. Профессиональный нормы. Устанавливаются на основе тестов для различных профессиональных групп.

Е. Локальные нормы . Устанавливаются для узких категорий людей, отличающихся наличием общего признака – возраста, пола, географического района, социоэкономического статуса.

Ж. Национальные нормы. Разрабатываются для представителей данной нации или страны в целом.

СТАНАЙНЫ

Примером нелинейного преобразованной в стандартную шкалу является и шкала станайнов (англ. standart nine – стандартная девятка), где оценки принимают значения от 1 до 9, М = 5, δ = 2

Шкала станайнов получает все большее распространение, сочетая в себе достоинства стандартных шкальных показателей и простоту процентилей. Первичные показатели легко преобразуются в станайны. Для этого испытуемых ранжируют по возрастанию результатов и из них образуют группы с числом лиц, пропорциональным определенным частотам оценок в нормальном распределении тестовых результатов.

СТЭНЫ

При трансформации оценок в шкалу стэнов (от англ. standsrt ten - стандартная десятка) проводится аналогичная процедура с той лишь разницей, что в основании этой шкалы лежат десять стандартных интервалов.
Шкалирование результатов тестирования

Стивенс (1946) определил 4 уровня шкал измерения, отличающиеся по степени, в которой принадлежащие им оценки сохраняют свойства множестве вещественных чисел. Это шкалы:

Номинальная (или номинативная, шкала наименований)

Порядковая

Интервальная

Шкала отношений.

Интерпретация результатов тестирования

В тестах с нормативно-ориентированной интерпретацией главная задача – определение сравнительного места каждого из тестируемых в общей группе испытуемых. Очевидно, что место каждого испытуемого зависит от того, на фоне какой группы его оценивают. Один и тот же результат может быть отнесен к категории довольно высоких, если группа слабая, и к категории довольно низких, если группа – сильная. Именно поэтому необходимо по возможности использовать нормы, отражающие результаты выполнения теста большой репрезентативной выборкой испытуемых.

В тестах с критериально-ориентированной интерпретацией задача - сопоставление учебных достижений каждого ученика с планируемым к усвоению объемом знаний, умений и навыков. В этом случае в качестве интерпретационной системы отсчета используется конкретная область содержания, а не та или иная выборка испытуемых. Основной проблемой является установление проходного балла, отделяющего тех, кто освоил проверяемый материал, от тех, кто не освоил.

Установление норм выполнения теста

Чтобы устранить зависимость интерпретации от результатов других участников тестирования используют специальные нормы выполнения теста, и таким образом, первичный балл отдельного испытуемого сопоставляется с нормами выполнения теста. Нормы – это множество показателей, которые устанавливаются эмпирически по результатам выполнения теста четко определенной выборкой испытуемых. Разработка и процедуры получения этих показателей составляют процесс нормирования (или стандартизации ) теста. Наиболее распространенными нормами являются среднее значение и стандартное отклонение по множеству индивидуальных баллов. Соотнесение первичного балла испытуемого с нормами выполнения позволяет установить место испытуемого в выборке, использованной для стандартизации теста.

Виды шкал, используемых для преобразования первичных баллов

Наиболее известные преобразования первичных баллов:

Процентильный ранг, отражающий процент испытуемых в нормативной группе, результата которых ниже или равен данному значению первичного балла;

Линейная Z -оценка, определяемая как отношение индивидуального отклонения тестового балла к стандартному отклонению по группе испытуемых;

Оценки, которые являются линейным преобразованием z -оценки (Т-шкала, оценки стандартного IQ и т.д.);

Шкалы станайнов и стенов, которые получаются делением шкалы первичных баллов на различные интервалы.

Шкала процентильных рангов

Процентили позволяют установить ранг первичного показателя испытуемого в нормативной группе. Процентильный ранг, соответствующий данному первичному баллу, показывает процент испытуемых в нормативной выборке, результаты которых не выше данного первичного балла.

Процентили не следует смешивать с процентными показателями, представляющими процент правильно выполненных заданий испытуемым группы. В отличие от последнего - первичного - процентиль является производным показателем, указывающим на долю от общего числа испытуемых группы.

Помимо удобств, связанных с простотой интерпретации, процентильные ранги имеют существенные недостатки. Шкала процентильных рангов нелинейна, т.е. в различных областях шкалы первичных баллов увеличение на 1 балл может соответствовать различным увеличениям на шкале процентилей. Поэтому процентили не только не отражают, а даже искажают реальные различия результата выполнения теста.

Поэтому использование процентилей довольно ограничено. В силу удобства и простоты их применяют в основном в нормативно-ориентированных тестах для самооценки знаний учащихся, сообщения результатов самим учащимся и их родителям.

Z-шкала

Осуществляет перевод индивидуальных результатов в стандартную шкалу с общим средним баллом и общей мерой дисперсией. Z- оценку i-го ученика находят по формуле:

Где первичный балл i-го испытуемого; - среднее значение индивидуальных баллов N испытуемых группы (i=1,2,…,N ); -стандартное отклонение по множеству первичных баллов.

Z -шкала является стандартной с нулевым средним значением и единичным стандартным отклонением. С ее помощью можно привести баллы учеников, полученные по различным тестам, к одному удобному для сравнения виду.

Величина Z -оценки равна расстоянию между рассматриваемым первичным баллом и средним значением оценок по группе, выраженному в единицах стандартного отклонения: в пределах скольких стандартных отклонений первичный балл испытуемого находится ниже или выше среднего значения группы.

Z-оценки за редким исключением принимают значения из промежутка (-3,+3). Будучи удобной для научного анализа в процессе разработки новых тестов, Z-шкала является неудобной для практического использования при оценке знаний испытуемых группы. Z-оценки могут принимать дробные и отрицательные значения, с которыми сложно работать при подсчетах и трудно интерпретировать для пользователей тестов. Округление Z-оценок до целых значений не всегда допустимо, т.к. основную цель создания тестов составляет выявление различий в подготовке испытуемых. Отрицательные значения Z-показателя, указывающие на результаты ниже среднего по группе тестируемых учеников, также вызывают определенные неудобства - они вызовут явное неприятие у получивших их учеников. В целом все это делает Z-показатель неудобным для сообщения результатов испытуемым и вынуждает применять специальные методы преобразования для выставления оценок ученикам.

Преобразования Z-оценок

Преобразования Z-оценок имеют целью перевод их в значения, которые легче записывать и объяснять. При этом, используемое преобразование должно быть линейным, чтобы сохранить форму распределения Z-оценок. Общая формула такого преобразования имеет вид

Z 1 =M + ?·Z ,

Где Z 1 – преобразованная оценка, М – новое среднее значение (среднее значение оценок после преобразования), - новое стандартное отклонение. Различные преобразования отличаются значениями М и . Приведем несколько наиболее известных преобразований Z-оценок.

T-шкала (McCall, 1939, для сообщения о результатах выполнения детьми теста ментальных способностей). Выбирается среднее значение М = 50 и стандартное отклонение? = 10. Получим: Z 1 =50 + 10·Z

Шкала СЕЕВ (ETS, для сообщения абитуриентам о результатах приемных экзаменов в колледжи). Выбирается среднее значение М = 500 и стандартное отклонение? = 100. Получим: Z 1 =500 + 100·Z

Шкала IQ (Weshler, 1939, для интерпретации оценок по шкале интеллекта для взрослых). Выбирается среднее значение М = 100 и стандартное отклонение? = 15. Получим: Z 1 =100 + 15·Z

Шкалы станайнов и стенов

Иногда при сообщении результатов используют шкалы, состоящие из отдельных целых чисел, например, от 1 до 9 или от 1 до 10. Это удобно для сообщения тестовых результатов, т.к. такие шкалы обладают очевидной простотой.

Разбиение нормального распределения на 9 интервалов приводит к шкале станайнов, имеющей 9 стандартных единиц. В этой шкале среднее значение равно 5, а стандартное отклонение – примерно 2. При оценке результатов испытуемых по любому тесту с любым числом заданий 4% самых худших результатов присваивается станайн 1, а самых лучших - станайн 9. Следующим за худшими и лучшими 7% результатов присваивают станайны 2 и 8 соответственно. Следующим за ними 12% результатов - станайны 3 и 7. Следующим 17% присваивают станайны 4 и 6 и, наконец, 20% средних результатов соответствует станайн 5.

В шкале стенов, называемой часто шкалой Кэттела, весь массив результатов делится на 10 частей с интервалом 0,5 стандартного отклонения. В шкале стенов среднее арифметическое принимается равным 5,5, а расстояние между двумя соседними стандартными единицами равно 0,5.

Иногда из шкалы станайнов получают одиннадцатибалльную шкалу путем выявления по одному проценту самых сильных и самых слабых испытуемых и присвоения им соответственно максимального и минимального балла.

Установление проходного балла

Известно много методов установления проходного балла при критериально-ориентированном тестировании. Все методы делятся на абсолютные и относительные. Почти все методы вовлекают в процедуру определения проходного балла экспертов. Рассмотрим некоторых из известных методов.

Методы, центрированные на заданиях

Метод Nedelsky (1954) – для закрытых заданий.

Каждый эксперт должен проанализировать все задания и вычеркнуть для каждого задания номера ответов, от которых будет в состоянии отказаться минимально компетентный испытуемый. Для каждого задания эксперт указывает число, обратное числу оставшихся ответов. Например, если в задании с пятью ответами эксперт два вычеркнул, то он укажет число 1/3 для этого задания. Затем все эти обратные величины суммируются. Полученное число может рассматриваться как вероятная оценка минимально компетентного испытуемого этим экспертом. Затем оценки всех экспертов усредняются.

Метод Angoff (1971). Экспертов просят представить себе группу минимально компетентных испытуемых и для каждого задания оценить долю испытуемых этой группы, правильно ответивших на задание. (Это то же самое, как оценить вероятность того, что минимально компетентный испытуемый ответит на задание правильно.) Данные вероятности складываются по каждому эксперту и усредняются по всем экспертам.

Метод Ebel (1972). В этом методе используется двумерная сетка для категоризации каждого задания. Экспертов просят разделить все задания по трудности (предлагается три уровня трудности - задание легкое, средней трудности, трудное) и по релевантности его содержания (предлагается 4 уровня релевантности – существенное, важное, допустимое, спорное). Таким образом, все задания раскладываются по ячейкам этой сетки. Затем эксперты должны оценить, как минимально компетентный испытуемый выполнит задания в каждой ячейке, т.е. указать процент числа заданий в ячейке, на которые он должен ответить правильно.

Методы, центрированные на испытуемых (Nedelsky, 1954; Zieky, Livingston, 1977)

Метод контрастных групп

Эксперты договариваются о том, что является результатом выполнения теста на уровне минимальной компетентности. Затем эксперты делят всех испытуемых на две группы – компетентных и некомпетентных (исключая тех, кто, по их мнению, находится на границе). Далее строятся графики распределения баллов для каждой из группы на одном чертеже. Точка пересечения графиков принимается за проходной балл.

Метод граничных групп

В отличие от предыдущего метода экспертов просят определить испытуемых, кто, по их мнению, находится на границе между двумя контрастными группами, отличающимися по компетентности. Медиана распределения баллов отобранной группы принимается за проходной балл.

Критики данного подхода указывают, что установление проходного балла, основанного на выполнении теста испытуемыми, не соответствует по сути основной цели критериально-ориентированного тестирования, т.к. этот подход не связан с содержанием теста.

Психологический диагноз (от греч. – «распознание») (ПД) – конечный результат деятельности психолога, направленный на выяснение сущности индивидуально-психологических особенностей личности с целью оценки их актуального состояния, прогноза дальнейшего развития и разработки рекомендаций, определяемых задачей психодиагностического обследования.

Предмет психологического диагноза (ПД) – установление индивидуально-психологических различий в норме и в патологии. Важнейшим элементом психологического диагноза является выяснение в каждом отдельном случае того, почему данные проявления обнаруживаются в поведении обследуемого, каковы их причины и следствия. По мере обогащения психологического знания этиологический элемент в ПД, вероятно, не будет иметь столь существенного значения, как в настоящее время, во всяком случае в текущей, практической работе. Сегодня, как правило, установив средствами психодиагностики те или иные индивидуально-психологические особенности, исследователь лишен возможности указать на их причины, место в структуре личности.

Такой уровень диагностики Л. С. Выготский назвал симптоматическим (или эмпирическим). Этот диагноз ограничивается констатацией определенных особенностей или симптомов, на основании которых непосредственно строятся практические выводы. Л. С. Выготский отмечает, что данный диагноз не является собственно научным, ибо установление симптомов никогда автоматически не приводит к диагнозу. Здесь работу психолога вполне можно заменить машинной обработкой данных.

Второй ступенью в развитии психологического диагноза является тиологический диагноз , учитывающий не только наличие определенных особенностей (симптомов), но и причины их возникновения.

Высший уровень – типологический диагноз , заключающийся в определении места и значения полученных данных в целостной, динамической картине личности. По словам Л. С. Выготского, диагноз всегда должен иметь в виду сложную структуру личности.

Диагноз неразрывно связан с прогнозом. По Л. С. Выготскому содержание прогноза и диагноза совпадает, но прогноз строится на умении настолько понять внутреннюю логику самодвижения процесса развития, что на основе прошлого и настоящего намечает путь развития. Рекомендуется разбивать прогноз на отдельные периоды и прибегать к длительным повторным наблюдениям. Развитие теории психологического диагноза в настоящее время является одной из наиболее важных задач психодиагностики.

1. Кодирование тестовых оценок

Кодирование тестовых оценок – элемент процедуры обработки данных психодиагностического обследования. Применяется в многопараметровых тестовых батареях , личностных опросниках, других методиках, предусматривающих представление результата в виде профильных оценок .

Кодирование тестовых оценок дает возможность более экономного и краткого описания совокупности шкальных оценок, профиля шкал, а также более четкой и быстрой разбивки материала на клинически (или характерологически) сходные группы. Кодирование тестовых оценок способствует выявлению в изучаемой группе наиболее общих характеристик и закономерностей. Формализация комплексных тестовых оценок является важным элементом создания банка данных и автоматизированной обработки данных обследования (см. компьютерная психодиагностика).

Примером кодирования тестовых оценок может служить процедура шифровки данных Миннесотского многоаспектного личностного опросника (MMPI). Код ММРI представляет собой обозначение профиля с последовательным перечислением шкал (начиная с самых высоких) с использованием их порядкового обозначения для шкал клинических и буквенного – для контрольных шкал. Существует несколько вариантов кодирования тестовых оценок профиля MMPI. Наиболее детальным является метод Г. Уэлша. Определение кода осуществляется в несколько этапов.

1. Все клинические шкалы перечисляются с использованием их цифрового обозначения слева направо в таком порядке, чтобы на первом месте находилась шкала, которая является в данном профиле ведущим пиком, а затем – остальные по мере снижения.

2. Обозначается высота шкал профиля в зависимости от выраженности результата в Т-баллах (табл. 13).

Таблица 13 Выражение результата по отдельным шкалам

Используя эти обозначения, можно отделить шкалы, расположенные в различных сигмах графика (сигмы разделяют на профиле десятки стандартных делений Т). Если между шкалами 2 и более сигм, то следует перечислить пропущенные сигмы. Например, если 2-я шкала находится выше 90 Т, а следующая 3-я – между 80 и 70, то следует записать 2"3" и т. д.

3. Шкалы, расположенные на одном уровне, записываются согласно порядковому номеру и подчеркиваются одной линией. Если разница показателей шкал в Т единицах не превышает 1 балла, то они также подчеркиваются, однако первой из них становится расположенная выше независимо от порядкового номера (21 – если 2-я имеет результат 68 Т, а 1-я – 67 Т).

4. Шкалы достоверности перечисляются начиная с наиболее высоко расположенной, между ними ставятся обозначения сигм.

Кроме описанного метода кодирования тестовых оценок, существует процедура, предложенная С. Хатуэем , при которой шкалы, расположенные между 46 и 54 Т, не записываются совсем, шкалы выше 70 Т отделяются знаком (С), а те, что расположены ниже 46 Т, – знаком (-). Контрольные шкалы (без шкалы «?») пишутся в порядке их расположения на графике в числовом выражении (в «сырых» баллах). При этом если результат по шкале превышает критические значения (см. контрольные шкалы), перед обозначением шкалы ставится косой крест, чтобы обратить внимание на недостоверность профиля.

Приведенные способы в соответствующей модификации могут быть перенесены на шифровку данных других методик, например тестов интеллекта. Приемы кодирования применимы в тех случаях, когда результаты отдельных субтестов выражаются в единых измерительных шкалах.

2. Шкальные оценки

Шкальные оценки – способ оценки результата теста путем установления его места на специальной шкале. Шкала содержит данные о внутригрупповых нормах выполнения данной методики в выборке стандартизации. Так, индивидуальные результаты выполнения заданий (первичные оценки испытуемых) сравниваются с данными в сопоставимой нормативной группе (например, результат, достигнутый учеником, сравнивается с показателями детей того же возраста или года обучения; результат исследования общих способностей взрослого сопоставляется со статистически обработанными показателями репрезентативной выборки лиц в заданных возрастных пределах).

Шкальные оценки в этом смысле имеют четко определенное количественное содержание и могут быть использованы при статистическом анализе. Одной из распространенных в психологической диагностике форм оценки результата теста путем соотнесения с групповыми данными является расчет процентилей .

Процентиль – процентная доля индивидов из выборки стандартизации, результат которых ниже данного первичного показателя. Шкалу процентилей можно рассматривать как совокупность ранговых градаций (см. ранговая корреляция) при числе рангов 100 и отсчете от 1-го ранга, соответствующего самому низкому результату; 50-й процентиль (PSQ) соответствует медиане (см. меры центральной тенденции) распределения результатов, Р ›50 и Р ‹50 соответственно представляют ранги результатов выше и ниже среднего уровня результата.

Процентили не следует смешивать с обычными процентными показателями. Последние представляют собой долю правильных решений из общего количества заданий теста в индивидуальном результате (см. первичные оценки). Ранги Р, и Р 100 получают соответственно самый низкий и самый высокий результаты из наблюдавшихся в выборке, однако этим рангам могут соответствовать и далеко не нулевой (ни одного правильного решения) или абсолютный (все решения правильны) показатели (например, при общем количестве 120 заданий минимальный результат, соответствующий первому рангу, может составить 6 правильных решений, в то время как максимальный результат, соответствующий рангу Р 100 , будет составлять 95 правильно решенных заданий). Такая ситуация наблюдается, например, при оценке тестов скорости.

Основной недостаток процентильных шкал состоит в неравномерности единиц измерения. При нормальном распределении отдельные переменные тесно группируются в центре распределения и по мере удаления к краям рассеиваются. Поэтому равным частотам случаев вблизи центра соответствуют более короткие интервалы по оси абсцисс, расположенные по краям распределения оценок. Процентили показывают относительное положение каждого испытуемого в нормальной выборке, но не величину различий между результатами. Это создает некоторые неудобства в интерпретации индивидуальных результатов. Так, разница в первичных показателях, соответствующая интервалу Р 70 -Р 80 , может составить 10 баллов, а различие в количестве правильных решений в интервале рангов Р 50 -Р 60 – лишь 1–3 балла.

Вместе с тем процентильные оценки обладают и рядом достоинств. Они легкодоступны пониманию пользователей психодиагностической информацией, универсальны по отношению к различным типам методик и легко рассчитываются.

Процентильные оценки не относятся к типичным шкальным показателям. Более широкое распространение в психодиагностике получили стандартные показатели , рассчитываемые на основе линейного и нелинейного преобразования первичных показателей, распределенных по нормальному или близкому к нормальному закону. При таком расчете проводится г-преобразование оценок (см. стандартизация, нормальное распределение). Чтобы определить 2-стандартный показатель, определяют разность между индивидуальным первичным результатом и средним значением для нормальной группы, а затем делят эту разность на а нормативной выборки. Полученная таким образом шкала z имеет среднюю точку М = 0, отрицательные значения обозначают результаты ниже среднего и убывают по мере удаления от нулевой точки; положительные значения обозначают, соответственно, результаты выше среднего. Единица измерения (масштаб) в шкале z равна 1а стандартного (единичного) нормального распределения.

Для преобразования полученного при стандартизации распределения первичных нормативных результатов в стандартную z-шкалу необходимо исследовать вопрос о характере эмпирического распределения и степени его согласованности с нормальным. Поскольку для большинства случаев значения показателей в распределении умещаются в пределах М ± 3?, единицы измерения простой z-шкалы слишком велики. Для удобства оценивания применяется еще одно преобразование типа z = (x – ‹x›) / ?. Примером такой шкалы могут быть оценки тестовой батареи SAT(СЕЕВ) методики для оценки способности к обучению (см. тесты достижений). Эта r-шкала пересчитана таким образом, что средней точке соответствует значение 500, а? = 100. Другим аналогичным примером является шкала Векслера для отдельных субтестов (см. шкала измерения интеллекта Векслера, где М = 10, ? = 3).

Наряду с определением места индивидуального результата в стандартном распределении групповых данных введение ШО направлено и на достижение другой важнейшей цели – обеспечение сопоставимости количественных результатов различных тестов, выраженных в стандартных шкалах, возможности их совместных интерпретаций, сведение оценок к единой системе.

В случае, если оба распределения оценок в сравниваемых методиках близки к нормальному, вопрос о сопоставимости оценок решается довольно просто (в любом нормальном распределении интервалам М ± n? соответствует одинаковая частота случаев). Для обеспечения сопоставимости результатов, принадлежащих к рас-пределениям другой формы, применяются нелинейные преобразования , позволяющие придать распределению форму заданной теоретической кривой. В качестве такой кривой обычно используется нормальное распределение. Как и 160–150 в простом г-преобразовании, нормализованным стандартным показателям можно придать любую желаемую форму. К примеру, умножив такой нормализованный стандартный показатель на 10 и прибавив константу 50, получаем Т-показатель (см. стандартизация, миннесотский многоаспектный личностный опросник).

Примером нелинейно преобразованной в стандартную шкалу является и шкала станайнов (от англ. standart nine – «стандартная девятка»), где оценки принимают значения от 1 до 9, М = 5, ?=2.

Шкала станайнов получает все большее распространение, сочетая в себе достоинства стандартных шкальных показателей и простоту процентилей. Первичные показатели легко преобразуются в станайны. Для этого испытуемых ранжируют по возрастанию результатов и из них образуют группы с числом лиц, пропорциональным определенным частотам оценок в нормальном распределении тестовых результатов (табл. 14).

Таблица 14 Перевод первичных тестовых результатов в шкалу станайнов

При трансформации оценок в шкалу стэнов (от англ. standart ten – «стандартная десятка») проводится аналогичная процедура с той лишь разницей, что в основании этой шкалы лежат десять стандартных интервалов. Пусть в выборке стандартизации 200 человек, тогда по 8 (4 %) испытуемых, имеющих самые низкие и самые высокие оценки, будут отнесены к 1 и 9 станайнам соответственно. Процедура продолжается до заполнения всех интервалов шкалы. Соответствующие процентным градациям баллы по тесту, таким образом, будут упорядочены в шкалу, соответствующую стандартным частотам распределения результата.

Одной из наиболее распространенных форм шкальных оценок в тестах интеллекта является стандартный IQ-показатель (М = = 100, ? = 16). Эти параметры для стандартной шкалы оценок в психодиагностике выбраны в качестве эталонных. Существует довольно много шкал, опирающихся на стандартизацию; их оценки легко сводимы друг к другу. Шкалирование, в принципе, допустимо и желательно для широкого круга методик, применяемых в диагностических и исследовательских целях, в том числе и для методик, результаты которых выражены в качественных показателях. В этом случае для стандартизации можно использовать перевод номинативных шкал в ранговые (см. шкалы измерительные) или разработать дифференцированную систему количественных первичных оценок.

Следует отметить, что при всей простоте, наглядности шкальные показатели являются статистическими характеристиками, позволяющими лишь указать на место данного результата в выборке из множества аналогичных по характеру измерений. Шкальный показатель даже для традиционного психометрического инструмента является лишь одной из форм выражения показателей теста, используемых при интерпретации результатов обследования. Количественный анализ при этом должен всегда проводиться в комплексе с многосторонним качественным изучением причин возникновения данного тестового результата с учетом как комплекса сведений о личности испытуемого, так и данных о текущих условиях обследования, надежности и валидности методики. Гипертрофированные представления о возможности обоснованных заключений лишь по количественным оценкам приводили к многим ошибочным представлениям в теории и практике психологической диагностики.

3. Заключение

Заключение – документ о результатах тестирования, подготовленный психологом. 3аключение должно строиться на всех доступных для исследователя данных. Стандартной формы и правил написания заключения не существует, оно видоизменяется в зависимости от цели, ситуации, в которой проводится тестирование, адресата, теоретических установок и специализации психолога. Основное в подготовке заключения – его соответствие потребностям, интересам и уровню квалификации заказчика.

Заключение должно быть ориентировано на действия, которые необходимо предпринять в связи с тем или иным психологическим диагнозом (рекомендации по программам обучения, типа лечения или коррекции, выбора профессии и т. п.). В заключении должны быть показатели заметно низкие или высокие, а не близкие к средним. Основное содержание – это интерпретация и выводы, в отдельных случаях могут прилагаться протоколы обследования. Утверждения психолога должны отражать степень надежности каждого из приводимых фактов или выводов. Следует избегать специальной терминологии. Заключение эффективно лишь в том случае, когда применимо только к данному обследуемому, а не к людям этого возраста, пола, образования, страдающим тем же заболеванием и т. д. При подготовке заключения обязательно следует руководствоваться этическими нормами психодиагностики.



THE BELL

Есть те, кто прочитали эту новость раньше вас.
Подпишитесь, чтобы получать статьи свежими.
Email
Имя
Фамилия
Как вы хотите читать The Bell
Без спама