Определение структуры теста. Разработка спецификации теста

Спецификация теста Е.Ю. Карданова, 04.10. 2012 Спецификация теста Документ, в котором содержится информация о целях, задачах, плане и структуре педагогического теста, а также основные требования к правилам проведения педагогического тестирования, обработке результатов и их интерпретации. На данном этапе разрабатывается первая версия. По итогам дальнейшей работы над тестом спецификация может меняться. Окончательный вариант спецификации предоставляется любым пользователям теста и является необходимой частью пакета тестовых документов, наряду с самим тестом. Спецификация теста Цель создания теста. Обоснование выбора подхода к его созданию. Описание возможных сфер применения. Перечень документов, используемых при планировании содержания теста (образовательный стандарт, программа). Основные учебники и учебные пособия, которые могут быть использованы при подготовке к тестированию. Перечень элементов содержания и компетенций, проверяемых в ходе тестирования (в частности, кодификатор элементов содержания теста и компетентностная карта дисциплины). Перечень требований к уровню подготовки обучающихся, проверяемых в ходе тестирования. Описание общей структуры теста, перечень субтестов (если они есть) с указанием подходов к их разработке. Описание теста: общее количество заданий, тип заданий с указанием процентного содержания или количества заданий каждой формы, описанием каждой формы. Рекомендуемая автором стратегия расположения заданий в тесте, т.е. композиция теста. Распределение заданий теста по разделам содержания и видам деятельности (содержательнодеятельностная матрица). Рекомендуемое время выполнения теста, в том числе и на каждый субтест, среднее время выполнения каждого задания с учетом специфики формы. Рекомендации автора по оцениванию заданий (дихотомическая или политомическая оценка) и теста в целом. План теста по отдельным заданиям (обобщенный план теста). Кодификатор элементов содержания учебной дисциплины Перечень элементов содержания дисциплины, в котором каждому элементу содержания присвоен собственный код При составлении кодификатора все содержание дисциплины выражается в виде перечня логически завершенных содержательных модулей – разделов, подразделов, тем, подтем, отдельных элементов содержания учебной дисциплины Элемент содержания учебной дисциплины – это логически завершенная минимальная часть учебной дисциплины, определенная нормативными документами (образовательным стандартом, программами). Фрагмент кодификатора КИМ ЕГЭ по истории (цитируется с официального сайта ФИПИ: http://www.fipi.ru/view/sections/93/docs/58.html) Код раздела Код контролируемого элемента История России с древности до конца XVI в. 1 1.1 1.1.1 1.2 1.2.1 1.2.2 1.2.3 1.2.4 1.2.5 1.3 Элементы содержания, проверяемые заданиями КИМ Восточные славяне в VI-VIII вв. Расселение, занятия, быт, верования восточных славян. Славяне и их соседи Древнерусское государство (IX- первая половина XII в.) Формирование древнерусского государства. Новгород и Киев. Версии происхождения государства на Руси Население сел и городов. Развитие ремесла и торговли. «Русская правда» Князья Древней Руси. Князь и дружина Крещение Руси. Распространение христианства Культура и быт Древней Руси Русь в ХII-ХVвв. ……………………………………………………….. Компетентностная карта дисциплины методический документ, содержащий информацию о компетентностных результатах образования, зафиксированных в образовательном стандарте по данному направлению подготовки, и формируемых средствами данной дисциплины, а также об уровне и методах их формирования в рамках данной дисциплины. Компетентностная карта дисциплины № 1 2. . Компетенции Код Степень Дескрипторы по формирования – основные (формулировка ОрОС компетенции признаки из освоения образовательного (РБ, СД, МЦ) (показатели стандарта) достижения результата) Формы Методы оценки и методы уровня формировани сформирован я и развития ности компетенции компетенции * * Системные компетенции 1.1 1.2… 2.1 2.2… Инструментальные компетенции Социально-личностные компетенции Содержательно-деятельностная матрица Включает примерную раскладку процентного соотношения содержания разделов дисциплины и определение необходимого количества тестовых заданий различного уровня трудности, исходя из важности раздела и числа часов, отведенных на его изучение в программе. Работа по отбору содержания теста и определению для каждого элемента содержания уровня его усвоения была проведена на первых этапах работы над содержанием теста, поэтому на данном этапе все эти данные суммируются и оформляются в виде одной таблицы. Содержательно-деятельностная матрица теста (пример) Проверяемые знания и виды деятельности 1 раздел 20% Разделы содержания 2 раздел 3 раздел 30% 40% 4 раздел 10% Всего заданий Знание понятий, определений, терминов (10%) Знание законов и формул (30%) Применение формул и законов (30%) Нахождение сходств и различий (20%) 1 1 3 1 6 4 5 7 2 18 4 5 7 2 18 2 4 5 1 12 Умение интерпретировать материал на графиках и схемах (10%) Всего 1 3 2 0 6 12 18 24 6 60 Обобщенный план теста Таблица, в которой каждое тестовое задание соотносится с определенным элементом содержания учебной дисциплины и оцениваемым уровнем компетенции обучающегося. Указывается форма и вид тестового задания План теста по отдельным заданиям (Обобщенный план теста) № задания Раздел (элемент) содержания учебной дисциплины Проверяемая компетенция (код согласно компетентностной карте дисциплины) Степень формирования компетенции Тип Время задания выполнения (мин.) Максимальный балл за выполнение задания

Прежде чем приступать к созданию теста, необходимо четко знать, для чего он нужен. Ясный ответ на этот вопрос – необходимое условие для работы. Поэтому первым шагом будет формулирование цели будущего теста. После этого следует обратиться к разработке спецификации будущего теста. Наиболее удобно сделать это в виде таблицы, в которой по горизонтали будут располагаться содержательные области, которые предполагается измерять, а по вертикали – их манифестации, или пути, по которым содержательные области могут проявляться.

Например, при конструировании «опросника супружеского статуса» Дж. Руст и С. Голомбок (Rust, Golombok, 1988) основывались на опросе экспертов, в качестве которых выступали семейные терапевты и консультанты, а также на данных, полученных от клиентов этих специалистов. Экспертов просили назвать те области взаимоотношений между мужчиной и женщиной, которые они полагали наиболее важными для гармоничного брака. Информация от клиентов позволила обнаружить те проблемные зоны семейной жизни, в которые супруги хотели бы внести изменения. На этой основе были выделены такие содержательные области, как «совместные интересы и степень зависимости – независимости», «вербальная и невербальная коммуникации», «доверие и уважение» и др. Ясное понимание цели будущего теста, естественно, облегчает построение перечня того, что предстоит измерять. При спецификации манифестаций важно обеспечить выделение различных форм их реализации. Так, при конструировании вышеупомянутого опросника «установки и чувства, проявляющиеся в отношениях» рассматривались как манифестации «вербальных и невербальных коммуникаций» между супругами.

Из практических соображений обычно по каждой оси разрабатывается от 4 до 7 категорий. Меньшее число категорий часто приводит к созданию слишком узкого опросника, а большее может сделать обременительным процесс конструирования опросника. В итоге получается своего рода решетка, количество ячеек в которой будет равно количеству планируемых для изучения параметров, умноженному на количество их поведенческих манифестаций (табл. 3.1).

При разработке опросников обычно считают, что решетка размером от 16 до 25 ячеек (например, 4x4,4x5, 5x4 или 5x5) считается идеальной для той длины теста, который вполне реально сконструировать, предъявить и обработать.

Далее необходимо определить, сколько заданий, например вопросов, должно быть создано для каждой из ячеек. При решении этой задачи следует руководствоваться тем, насколько важным представляется исследователю измерение одного из параметров сравнительно с другим или другими. В решетке, приведенной в табл. 3.2 (Rust, Golombok, 1989), допускается, что содержательным областям, обозначенным как Аи В, следует приписать 40 %-ный вес, а С и D – 10 %-ный. В то же время каждой манифестации А, В, C и D приписывается 25 %-ный вес. Необходимо обратить внимание на то, что в целом процентный вес всех содержательных областей (по горизонтали) и всех манифестаций (по вертикали) должен составлять 100 %. Такое расположение процентных весов подскажет, какую часть от всех заданий следует создать для каждой ячейки. Следующий шаг состоит в том, чтобы решить, какое количество заданий должно быть включено в тест. При этом необходимо учитывать такие факторы, как размер решетки и время, предполагаемое для выполнения заданий. Хорошо известно, что в определении количества заданий перед исследователем возникает дилемма: обеспечение, с одной стороны, надежности теста, что требует увеличения заданий, а с другой – минимизация количества заданий для обеспечения эффективной работы испытуемого с ними, подразумевающей прежде всего поддержание концентрации внимания в ходе обследования. Так, для достижения удовлетворительной надежности опросника требуется не менее 20 заданий, выполнение которых обычно занимает не более 10 минут. Наконец, важную роль в определении количества заданий теста играют особенности того контингента, который предполагается обследовать. Обычно при проводимом разработчиками пилотажном исследовании количество заданий предварительного варианта теста должно быть по крайней мере на 50 % больше числа тех, которые будут включены в окончательную версию.

После того как определен процентный вес каждой из ячеек решетки и установлено общее количество заданий для пилотажной версии теста, нетрудно подсчитать, сколько заданий должно быть разработано для каждой ячейки. Нижеприведенная решетка (Rust, Golombok, 1989) содержит то количество заданий для каждой ячейки, которое необходимо для пилотажного исследования с помощью опросника, состоявшего из 80 вопросов (табл. 3.2).

Спецификация теста представляет собой такое его описание, которое включает необходимую информацию о целях, задачах, плане и структуре теста, а также об основных требованиях к правилам проведения тестирования, обработках результатов тестирования и их интерпретации. Для тестов, ориентированных па критерий (КОРТ), подготовка детальной спецификации очень важна, поскольку отбор содержания является самым важным этапом его создания. Для принятия решения о достижении данной цели обучения (например, стандарта выполнения) необходимо достаточно точно и полно описать все составляющие этого стандарта и выразить его совокупностью заданий, которая была бы представительной для этой цели.

Для того чтобы быть уверенным, что все значимые учебные цели войдут в разрабатываемый тест, составляется специальная таблица, которая получила название технологическая матрица .

Содержанием строк технологической матрицы являются предметные области, разделы, учебные темы, столбцы матрицы заполняются, исходя из соотношения учебных целей разного уровня и их иерархии. Общее количество вопросов, входящих в массив тестовых заданий, должно быть при этом распределено так, чтобы они отражали их важность - "вес" тех или иных умственных действий и их уровней или объем и количество учебного времени, отводимого на изучение тестируемого материала. При составлении матрицы для любого предмета тестирования разработчик обязан убедиться, что весь предмет охвачен предлагаемыми вопросами. Содержание предмета должно полностью "покрываться" матрицей по всем темам. Если же имеет место тестирование по отдельным учебным предметам, то и в этом случае необходимо, чтобы все его разделы были охвачены вопросами теста.

Например, в тесте, разработанном для международного мониторинга математического образования - Т1М85, тестирование учебных достижений учащихся нацелено как на оценку овладения выделенными элементами содержания, так и на оценку видов учебно-познавательной деятельности, которые должны продемонстрировать учащиеся, прошедшие учебный курс математики в четвертом и в 8-х классах. Соответственно, авторами теста выделены блоки содержания, отражающие специфическую сложность математики, изучаемой в этих образовательно-возрастных группах. Так, что по сравнению с 8-м классом на младшей ступени значительно больше внимания уделяется теме "Числа". В 8-м классе алгебра и геометрия являются отдельными школьными предметами, поэтому они выделены как отдельные блоки содержания. В то же время в 4-м классе изучается общий курс математики, поэтому диагностика учебных достижений четвероклассников сфокусирована на простейших геометрических формах и измерениях их элементов, а также на первоначальных представлениях об алгебраических понятиях (например, о числовых последовательностях), которые включены в тему "Числа". В 4-м классе тема "Представления данных" сфокусирована на диагностике умения понимать и представлять несложные условия и исходные отношения задачи, а вопросы, связанные с темой "Вероятность", вообще не затрагиваются. В то же время в 8-м классе основное внимание уделяется оценке умения интерпретировать данные и овладению первоначальными понятиями теории вероятностей, отнесенными к разделу "Шансы".

Виды учебно-познавательной деятельности одинаковы для 4-го и 8-го классов, так как они отражают характерные познавательные процессы при применении математики в различных ситуациях в начальной и основной школе. К ним авторы теста отнесли знание, применение и рассуждение .

Первый вид деятельности - знание - сфокусирован на знании учащимся необходимых фактов, понятий и процедур. В отличие от привычного для требований российской школы только знания фактов, в "ПМЗБ этот вид деятельности связывают с использованием стандартных алгоритмов и методов в стандартных ситуациях (например, сложить две дроби, разделить число в заданном отношении, решить стандартное линейное уравнение).

Категория "знание" включает знание языка математики и математических фактов и свойств, которые составляют основу математического мышления. Чем больше знаний может воспроизвести ученик, чем шире круг понятий, которыми он владеет, тем больше его потенциальная возможность справиться с различными проблемами, требующими использования математики.

Виды деятельности, связанные с категорией "знание", включают воспроизведение, распознавание, вычисления, извлечение информации, использование вычислительных устройств и измерительных инструментов, классификацию математических объектов (тел, геометрических фигур).

Второй вид деятельности - применение - сфокусирован на способности учащихся применять изученные понятия для решения задач и получения ответа на поставленные вопросы, в которых в основном приходится иметь дело либо со знакомыми, либо с несколько измененными учебными ситуациями.

Третий вид деятельности - рассуждения - явно выходит за рамки решения стандартных задач и связан с применением знаний в незнакомой ситуации, с решением сложных и многошаговых задач. Особенности деятельности но группе "применение" в математике можно охарактеризовать как выбор продуктивного метода или стратегии решения задачи.

Проведение рассуждений включает различные виды деятельности, каждый из которых является значимым результатом обучения и способствует развитию более обобщенного стиля мышления. Например, рассуждения включают способность наблюдать, выводить логические следствия, основанные на предположениях и правилах, и объяснять результаты. К рассуждениям относятся задания на обобщение, предлагающие расширить область, в которой могут применяться результаты математических размышлений и решения задач посредством формулировки результатов в более общих терминах. Например, предлагается задача, в которой дана последовательность чисел: 1, 4, 7, 10. Требуется математически описать в виде формул зависимость между каждым членом последовательности и следующим за ним членом. Правильный ответ - п + 3.

Результатом подробного анализа содержания и видов деятельности является таблица, отражающая особенности структуры теста для разных образовательно-возрастных групп (табл. 8.1).

Таблица 8.1. Распределение заданий в математических тестах ТІМSS

При разработке теста необходимо обеспечить соответствие содержания применяемым формам тестовых заданий, а также предусмотреть возможное разнообразие таких форм. Нельзя забывать, что для разных элементов тестируемого содержания подходят разные по форме задания. Для сложных определений, проверки понимания фактического материала - задания с альтернативными ответами, для знания дат - задания на восстановление последовательности. Для умений различать органы или их системы в анатомии, химические соединения в химии, фонемы в родном или иностранном языке, архитектурные стили в истории искусств применяются задания на идентификацию.

Следует учитывать и то, что при использовании теста, построенного на заданиях одного вида, существует вероятность получить в качестве основной составляющей итогового балла умение обучаемых работать именно с этой формой заданий. Те из учащихся, кто быстрее приспособятся к ней, для кого эта форма окажется наиболее знакомой, получат значительные преимущества. Этого можно избежать, используя задания различного вида. Наконец, задания разного типа делают тестирование более разнообразным, с точки зрения испытуемых, что позволяет отодвинуть порог наступления утомления и, как следствие, больше времени выделить на тестирование.

Немаловажным аспектом разрабатываемого теста является подход к оцениванию его результатов. Обычно вопросы теста оцениваются дихотомически: либо одним баллом (верно), либо нулем (неверно). Однако часть вопросов требует более дробной -полиметрической - кодировки. Необходимо учитывать, что ответ на свободный вопрос в заданиях открытого типа может быть неполным, но вместе с тем осмысленным. Рассматривать такой ответ как неправильный (с нулевой оценкой) будет несправедливо. Поэтому для оценки самых сложных вопросов теста применяется модель частичного оценивания, которая позволяет дифференцировать полные и неполные правильные ответы. Полный правильный ответ получает оценку два балла, неполный - один балл. Данная процедура оценки широко применяется в тестировании достижений и в некотором смысле является предпочтительнее, поскольку более полно учитывает информацию, содержащуюся в ответе. Например, уже в упоминаемых выше тестах ТIMSS приводятся следующие разъяснения оценки выполнения математических заданий с кратким и полным ответом.

Развернутый ответ, оцениваемый двумя баллами, является полным и правильным. В ответе продемонстрировано полное понимание математических понятий и (или) методов, необходимых для решения поставленной задачи:

• - ответ показывает, что ученик полностью выполнил задание и использовал при этом верные математические методы;
• - ответ содержит ясное, полное объяснение или обоснование и (или) соответствующее решение, когда это требуется.

Развернутый ответ, оцениваемый одним баллом, является частично верным. В ответе продемонстрировано только частичное понимание математических понятий и (или) методов, необходимых для решения поставленной задачи, при этом:

• - верно учтены только некоторые условия задачи, но решение либо не завершено, либо содержит ошибки в использовании некоторых методов или в понимании понятий;
• - может быть дан верный ответ при неверном или несоответствующем объяснении или решении, решение и (или) объяснение совсем не приводится, хотя и требуется по условию задания;
• - могут быть ошибки в решении, но использованы соответствующие математические методы.

Ответ, оцениваемый нулем баллов, является полностью неверным, неуместным или непоследовательным.

При оценке выполнения задания с кратким ответом используется уже не трехбалльные, а двухбалльные шкалы. При этом ответ, оцениваемый одним баллом, является верным, ответ, оцениваемый нулем баллов, является полностью неверным, неуместным или непоследовательным. Подобный подход к оцениванию осуществлен и в тестах PISA.

Интерпретация результатов теста достижений не должна ограничиваться только фиксацией уровня измеренных знаний или умений. И разработчикам, и пользователям тестов важно осознавать значение тех или иных образовательных результатов для дальнейших (не только образовательных) перспектив, как для самих учащихся, так и для общества, в котором им предстоит жить и работать.

Примером ширококонтекстной интерпретации образовательных достижений (в случае оценки читательской грамотности) является следующая характеристика групп читателей с разными се уровнями, выявленными тестом читательской грамотности в программе PISA. Так, читатели, достигшие 6-й ступени высшего уровня, рассматриваются как высококомпетентные читатели. Их способность добывать из текста новую информацию и критически относиться к ней является чрезвычайно ценной для современного общества; где развитие экономического и социального устройства зависит от возможности совершенствоваться и принимать решения, основанные на тонком учете всей доступной информации. Читатели 5-й ступени этого уровня готовы и к дальнейшему образованию и могут войти в число профессионалов мирового класса. Читатели, достигшие 4-й ступени высокого уровня читательской грамотности, продемонстрировали свою способность учиться с помощью текстов, приобретая не только бытовые, общежитейские знания, но и знания формальные, специализированные. Читатели, достигшие среднего уровня читательской грамотности, демонстрируют начальную форму способности учиться с помощью текстов. Они способны с помощью текстов ориентироваться в новых житейских ситуациях. Читатели, не достигшие этого уровня, могут сталкиваться с трудностями в повседневных задачах (и личных, и общественных, и деловых, и образовательных), требующих минимальной читательской грамотности. Средний уровень читательской грамотности считается "пороговым условием успешного функционирования современного взрослого человека в обыденной жизни. Выделяются еще два допороговых уровня (1а и 16), указывающих на серьезные проблемы в формировании читательской компетентности" .

По мере разработки тестовых заданий, определения вариантов их оценивания и интерпретации подготавливается спецификация, представляющая своего рода техническое задание к тексту. Она включает в себя краткое описание той области содержания, для изучения которой предназначен тест, образцы задания, стимулы-признаки критерия, типичные ответы, которые могут дать испытуемые в ситуации тестирования.

• Майоров Л. П. Теория и практика создания тестов для системы образования. Как выбирать, создавать и использовать тесты для целей образования. М., 2000.
• Концептуальные подходы к оценке учебных достижений по математике и естествознанию в международном сравнительном исследовании TIMSS / Ковалева Г. С. [и др.|. М.. 2008. URL: hUp://enteroko.ru/public.htm
• Цукерман Г. А. Читательская грамотность российских учащихся: материалы к обсуждению. М., 2010. URL: strategy2020.rian.ni/load/366070484

В процессе обучения учащимся в качестве проверки знаний могут быть представлены задания как в форме тестов, так и не в тестовой форме (вопросы, задачи, упражнения и т.д.).

С точки зрения разработчика, тестовое задание представлено как совокупность формы и содержания.

Форма - способ существования и выражения содержания, главной функцией которой является донесение до тестируемого содержания задания как можно понятнее, нагляднее.

Идеальное сочетание формы и содержания рождает высококачественное тестовое задание, способное адекватно оценить знание испытуемого.

Для такого задания характерны:

• логическая форма высказывания;
• краткость формулировки;
• оптимальность формы представления;
• наличие определенного места для ответов;
• адекватность расположения элементов задания;
• общность правил оценки ответов;
• адекватность инструкции форме и содержанию задания.

По форме все известные в практике тестовые задания можно разделить на четыре основные группы: закрытые, открытые, на последовательность, на соответствие.

Закрытая форма

Задания такой формы еще называют заданиями с выбором одного или нескольких правильных заключений.

Состоит из неполного тестового утверждения и множества допустимых заключений, одно или несколько из которых являются правильными. Тестируемый определяет правильные заключения из данного множества. При подстановке этих (или этого) заключений в тестовое суждение, оно приобретает полноту и становится истинным утверждением.

В закрытой форме ответы не могут быть все верными или все неверными.

Примеры:

Новая страница 1

Открытая форма

Имеет вид неполного утверждения, в котором отсутствует один или несколько ключевых элементов (число, буква, слово). Ответ формулируется самим тестируемым.

Примеры:

Новая страница 1

Форма на соответствие

Состоит из двух групп элементов и четкой формулировки критерия выбора соответствия между ними. Соответствие может быть «один к одному» или «один ко многим». Это определяется количеством связей, которые сопоставляются одному элементу из первой группы элементам второй. С целью усложнения выбора ответа, в задании на соответствие могут присутствовать лишние (альтернативные) элементы, не имеющие соответствующей связи.

Примеры:

Новая страница 1

1) Соответствие между авторами и их произведениями		2) Соответствие между авторами и их произведениями
У. Эко	Имя Розы	Б. Акунин	Алмазная колесница
Ф. Ницше	Так говорил Заратустра		Любовник смерти
Ф. Достоевский	Идиот	Ошо	Близость
	Сознание		Осознание
	Война и мир	Ф. Ницше	Так говорил Заратустра
			Отверженные

Обратим внимание, что в данном примере задание 1 является заданием на соответствие «один к одному» с двумя альтернативными элементами («Сознание», «Война и мир»), а задание 2 - «соответствие один ко многим» с одним альтернативным элементом - «Отверженные».

• название теста;
• алгоритмы тестирования (способ выбора заданий из банка);
• временные ограничения (отсутствуют, присутствуют, устанавливаются тестируемым);
• специальная информация (отображение времени, заданий ответов);
• способы оценивания ответа на задание;
• шкала оценок;
• тематический состав теста (проверяемые дидактические единицы).