Тесты для определения доши Отвечая на каждый вопрос, выбирайте соответствующий вашему состоянию балл: 1 означает «несильно, слабо, нехарактерно», 2 – «в среднем, нормально», 3 – «очень выражено, максимально». Рядом с цифрой ставьте «птичку» или обводите ее в кружок. Затем

Приложение Пройдите тесты и узнайте, здоровы ли вы? Тест 1 «Здоровый ли вы человек?» 1. Возраст оказывает существенное влияние на здоровье. Насчитайте себе по одному баллу за каждый прожитый вами год.2. Рассчитайте, нормален ли ваш вес. Если величина вашего веса в

Тесты на гипнабельность 1. Всплытие рук Поставьте испытуемого перед собой, попросите его закрыть глаза и опустить руки вдоль туловища. Затем внушайте:«Внимание на мой голос… Вы хорошо слышите мой голос и подчиняетесь ему… Ваши руки зашевелились, отрываются от туловища

Пример.

Тест может иметь высокую надежность, но низкую валидность. Тест с высокой валидностью обязательно имеет высокую надежность. Если тест имеет низкую валидность, то применять его нельзя, даже если он имеет высокую надежность.

Понятия надежности и валидности педагогического теста чрезвычайно важны, поскольку именно они характеризуют тест как измерительный инструмент. Тест с неизвестными надежностью и валидностью непригоден для измерения. Когда преподаватель, разработав тест, проводит тестирование, то полученные результаты следует интерпретировать (например, для ранжирования испытуемых) очень осторожно, так как неизвестны надежность и валидность вновь составленного теста.

Педагогическое тестирование широко применяется для контроля знаний учащихся в различных целях. По целям применения педагогических тестов их можно разделить на два больших класса - нормативно - ориентированные и критериально - ориентированные.

НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ тест позволяет ранжировать испытуемых по уровню знаний. Такой тест позволяет сравнивать учебные достижения испытуемых друг с другом.

Целью нормативно-ориентированного теста является упорядочение испытуемых по уровню их подготовленности. В результате может оказаться, что все испытуемые плохо справились с тестом - получили низкие индивидуальные баллы. Тем не менее, и в этом случае можно ранжировать испытуемых - кто-то получил низкий балл, а кто-то еще ниже. Возможны случаи, когда какое-то задание не дифференцирует испытуемых, например, задание легкое и все успешно на него ответили. И наоборот, очень трудное задания и все на него не ответили. Такие задания не позволяют провести ранжирование и, поэтому, должны быть удалены из теста. Если все испытуемые не ответили ни на одно задание, или верно ответили на все задания, то нормативно-ориентированный тест не работает, так как не позволяет достичь поставленной цели и подлежит дальнейшей переработке. Отметим, что, возможно, этот тест неплохо будет работать как критериально-ориентированный.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ тест позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах прошлого века, то есть значительно позже нормативно-ориентированных. Критериально-ориентированные тесты в свою очередь делятся на тесты, ориентированные на предметную область, и квалификационные тесты.

Целью критериально-ориентированного теста является выяснение - знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу.

В дальнейшем нам потребуются следующие определения:

Критериально-ориентированный педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися.

Теперь перейдем к сравнению нормативно-ориентированных и критериально-ориентированных тестов.

Внешне оба типа тестов имеют много общего - в них используются тестовые задания сходные по форме, эти задания сопровождаются похожими инструкциями, выполняются задания одинаковым образом. Но, несмотря на внешнюю схожесть, это совершенно разные тесты. Они имеют следующие различия.

1. ЦЕЛЬ СОЗДАНИЯ ТЕСТА. Нормативно-ориентированные тесты создаются специально для того, чтобы сравнить испытуемых в той области содержания, для которой тест предназначен. Эти тесты можно использовать, например, для отбора абитуриентов при поступлении в вузы. В тех случаях, когда конкурс составляет несколько человек на одно место, возникает проблема ранжирования испытуемых с тем, чтобы выбрать наилучших.

Критериально-ориентированные тесты нужны для аттестации испытуемых в определенной области содержания. Такие тесты используются в итоговом тестировании, например по завершении обучения в среднем общеобразовательном учреждении. Здесь важно выяснить - усвоена ли в надлежащем объеме школьная программа. Вопросы ранжирования тут не играют большой роли.

Если критериально-ориентированные тесты использовать в качестве нормативно-ориентированных, то ввиду малой дисперсии тестовых результатов, эти результаты будут отличаться низкой надежностью. Справедливо и обратное - применение нормативно-ориентированных тестов в критериально-ориентированном тестировании также даст малонадежные результаты. Это обусловлено сильной вариацией тестовых заданий по трудности в нормативно-ориентированном тесте.

2. УРОВЕНЬ ДЕТАЛИЗАЦИИ ОБЛАСТИ СОДЕРЖАНИЯ.

Разработка теста начинается с создания его спецификации и эти спецификации для обоих типов тестов сильно отличаются. Спецификации критериально-ориентированных тестов гораздо детальнее описывают элементы области содержания, поскольку это позволит адекватно интерпретировать результаты тестировании. Для нормативно-ориентированных тестов уровень детализации области содержания гораздо ниже. Для этих тестов гораздо важнее получить вариативные тестовые задания.

3. СТАТИСТИЧЕСКАЯ ОБРАБОТКА результатов тестирования. Шкалированные баллы нормативно-ориентированного тестирования основываются на тестовых нормах, полученных на «выборках стандартизации». При критериально-ориентированном тестировании тестовые баллы не связаны с какой-либо нормативной группой испытуемых. Обычно тестовый балл отражает долю правильно выполненных заданий и выражается в процентах.

4. АНАЛИЗ И ОТБОР ТЕСТОВЫХ ЗАДАНИЙ.

Для нормативно-ориентированных тестов большое значение имеют статистические характеристики - уровень трудности задания, его дифференцирующая способность. Если задание имеет средний уровень трудности и высокую дифференцирующую способность, то оно считается хорошим для нормативно-ориентированного теста.

Эти статистические характеристики не имеют большого значения для критериально-ориентированного теста. Здесь главным критерием для включения задания в тест является соответствие специфике и элементу области содержания.

5. РАСПРЕДЕЛЕНИЕ ИСПЫТУЕМЫХ по индивидуальным баллам имеет различный характер для обоих видов тестов. Для нормативно-ориентированного теста кривая распределения симметрична и близка к гауссовой кривой. В случае критериально-ориентированного теста эта кривая несимметрична и обычно сдвинута в область высоких индивидуальных баллов.

6. ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.

Поскольку цели нормативно-ориентированного и критериально-ориентированного тестирования различны, то и интерпретация полученных данных будет различной.

Результаты нормативно-ориентированного тестирования интерпретируются на основе статистически обоснованных тестовых норм. При этом имеется возможность определить положение испытуемого относительно нормативной группы. Информации же о том, какие как усвоены те или иные разделы, элементы области содержания, нормативно-ориентированный тест дает мало.

Результаты критериально-ориентированного тестирования интерпретируются с точки зрения полноты освоения области содержания, согласно детальной спецификации теста.

Ниже приведена таблица, содержащая сравнение характеристик обоих типов тестов.

Таблица. Сравнительные характеристики нормативно-ориентированных и критериально-ориентированных тестов

Подытоживая, отметим, что нормативно-ориентированные и критериально-ориентированные тесты сильно отличаются друг от друга. При использовании тестов необходимо придерживаться следующих правил:

1) нельзя использовать критериально-ориентированный тест в качестве нормативно-ориентированного и наоборот;

2) нельзя использовать один и тот же тест и в качестве нормативно-ориентированного и в качестве критериально-ориентированного.

Нарушение этих правил приводит к получению тестовых результатов, обладающих низкой надежностью и большой ошибкой измерения.

Первое, на чем надо остановиться, рассматривая классификацию тестов, это два подхода, которые в настоящее время сложились в тестировании – тесты, ориентированные на критерий (критериально-ориентированные), и тесты, ориентированные на норму (нормативно-ориентированные).

Критериально-ориентированный тест позволяет оценить, насколько учащиеся достигли заданного уровня знаний, умений и отношений, например, определенного как обязательный результат обучения (образовательный стандарт). В данном случае оценка конкретного ученика не зависит от того, какие результаты получили другие ученики. Результат будет показывать, соответствует ли уровень достижений данного ученика социально-культурным нормам, требованиям стандарта или другим критериям. При данном подходе результаты могут интерпретироваться двумя способами: в первом случае делается вывод о том, освоен или не освоен проверяемый материал (достиг стандарта или нет), во втором – дается уровень или процент освоения проверяемого материала (на каком уровне освоен стандарт или какой процент из всех требований стандарта усвоен).

Нормативно-ориентированный тест ориентирован на статистические нормы, определяемые для данной совокупности учащихся. Учебные достижения отдельного ученика интерпретируются в зависимости от достижений всей совокупности учащихся, выше или ниже среднего показателя – нормы. Происходит распределение учащихся по рангам. Независимо от того, какая шкала используется при этом, все эти шкалы не дают информации об овладении учащимися определенной системой знаний и умений или о достижении ими конкретных целей обучения. Данный подход не соотнесен с содержанием процесса обучения.

Хорошо иллюстрирует разницу в критериально-ориентированных и нормативно-ориентированных тестах схема, предложенная В. С. Аванесовым. Для критериально-ориентированной интерпретации вывод выстраивается вдоль логической цепочки: задания → ответы → выводы о соответствии испытуемого заданному критерию.

Для нормативно-ориентированной ориентации вывод достраивается рейтингом: задания → ответы → выводы о знаниях испытуемого → рейтинг, понимаемый как вывод о месте или ранге испытуемого.

В современных тестах, ориентированных на норму, обычно объединяют задания в определенные группы (кластеры), выполнение которых позволяет описать достижения учащихся по отношению к определенным целям или темам (критериям) обучения. Результаты выполненных заданий позволяют сравнивать различные группы друг с другом и проводить аналогию внутри одной группы.

Критериально-ориентированные тесты определяют, насколько каждый испытуемый владеет знаниями и навыками, необходимыми для выполнения каких-либо учебных или профессиональных задач. Некоторые тесты больше подходят для диагностики развития того или иного качества, умения, навыков, однако сложнее поддаются стандартизации и количественным измерениям.

Нельзя не согласиться с А. Н. Майоровым, который указывает, что термины «нормативные» (нормативно-ориентированные), «критериальные» (критериально-ориентированные) тесты не являются строго корректными. В основе каждого нормативного теста лежат определенные критерии оценивания правильности ответа, и, в свою очередь, каждый критериальный тест должен отвечать на вопрос о том, достигнуты ли при тех или иных его показателях минимально требуемые цели (на данном этапе обучения, в данных конкретных условиях). Однако эта терминология в современной зарубежной и отечественной педагогике и психологии уже является общепринятой и отвечает целям тестирования.

Психологи, занимавшиеся разработкой критериальных тестов, отмечают, что определение задания в качестве критериального обусловлено двумя факторами. Первый заключается в том, что представленный в задании материал позволяет дать обобщенную совокупность знаний и умений, относящихся к внутренне завершенной области учебной или профессиональной деятельности. Второй фактор – возможность представить систематизированный перечень умственных действий, обеспечивающих его выполнение. Ни нормативные, ни критериальные тесты не идеальны. Нормативные тесты критикуют в основном за недостаточную репрезентативность выборок их валидизации и социокультурные аспекты формулировки заданий теста. Зачастую эта критика справедлива, однако сейчас при решении многих диагностических задач в педагогике без нормативных тестов не обойтись, тогда как большинство трудностей критериального тестирования в педагогике связано с тем, что далеко не все учебные предметы имеют профессиональный аналог в каком-либо виде деятельности, связанной с той предметной областью, на которую ориентирован тест.

В последнее время наметилась тенденция объединения двух подходов (критериально-ориентированного и нормативно-ориентированного) при оценке образовательных достижений и использовании в одном инструментарии (например, тесте) характеристик как тестов, ориентированных на норму, так и тестов, ориентированных на критерии.

Стремление объединить два подхода к разработке инструментария можно проиллюстрировать следующими примерами. В соответствии с классической схемой тест для итогового контроля должен разрабатываться в рамках нормативно-ориентированного подхода. Однако итоговые тесты, оценивающие достижение стандарта, предлагается разрабатывать в рамках критериально-ориентированного подхода. По мнению некоторых ведущих специалистов мира (Р. Вуд, В. Ангофф), основная характеристика критериально-ориентированного теста заключается не в наличии проходного критерия (прошел – не прошел, достиг – не достиг), а в тщательном описании проверяемого содержания, разработке теста в строгом соответствии с этим содержанием и описании результатов выполнения тестов в терминах, что освоено из проверяемого содержания. В настоящее время понятия «критериально-ориентированный подход» или «тест» заменяются понятиями «ориентированный на содержание» («сопtеnt-геfегеnсеd») и «ориентированный на цели или требования к уровню подготовки» («оbjective- геfегеnсеd»).

позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах 20 века. Критериально-ориентированные тесты в свою очередь делятся на ориентированные на предметную область и квалификационные тесты.

Целью критериально-ориентированного теста является выяснение - знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися. Материалом для таких тестов служат задания из конкретных учебных предметов и установленные специальным анализом отдельные собственно психологические аспекты их выполнения.

При сопоставлении результатов тестирования и социально-психологического норматива судят о соответствии умственного развития школьников рассматриваемому этапу возрастного развития. Сопоставление результатов выполнения теста с критерием позволяет выявить, соответствуют ли осуществляемые учащимися умственные действия логике рассматриваемого материала. Подлежат исследованию связи между компонентами умственного развития, специфичного для той или иной области учебного содержания. Соотношение результатов выполнения «нормативных» и «критериальных» методик могло бы установить особенности умственного развития учащихся в овладении содержанием учебных предметов на конкретном этапе обучения.

28. КОРТ своими содержательными и структурными характеристиками соответствуют конкретной ситуации обучения и выступают в качестве оперативного средства контроля и оценки его результатов. Обычно ограничения, связанные с получением высокого коэффициента ретестовой надежности (в частности, влияние обучения на повторное тестирование, определение изменения в понятийном и логическом развитии ученика и т.п.), не могут не проявиться в ситуации КОРТ. Так, результаты в КОРТе у учащихся, не прошедших определенный этап обучения, будут значительно отличаться от тестовых результатов этих же учащихся после овладения ими рассматриваемым учебным материалом.

Отечественным примером КОРТ является школьный тест умственного развития. ШТУР предназначен для диагностики умственного развития подростков - учащихся 7-9 классов.

ШТУР состоит из 6 субтестов, каждый из которых может включать от 15 до 25 однородных заданий.

Два первых субтеста направлены на выявление общей осведомленности школьников и позволяют судить о том, насколько адекватно используют учащиеся в своей активной и пассивной речи некоторые научно-культурные и общественно-политические термины и понятия.

Третий субтест направлен на выявление умения устанавливать аналогии, четвертый - логические классификации, пятый - логические обобщения, шестой - нахождение правила построения числового ряда.

Тест ШТУР является групповым. Время, отведенное на выполнение каждого субтеста, ограничено и является вполне достаточным для всех учащихся. Тест разработан в двух параллельных формах А и Б.

Авторами ШТУР являются К.М.Гуревич, М.К.Акимова, Е.М.Борисова, В.Г.Зархин, В.Т.Козлова, Г.П.Логинова. Разработанный тест соответствует высоким статистическим критериям, которым должен удовлетворять любой диагностический тест.

32. выраженный в годах, указывает, что данный индивид по своему умственному развитию соответствует большинству людей такого-то возраста. К примеру, при тестировании молодого человека 23 лет (реальный паспортный возраст) было выявлено, что его умственный возраст равен 25 годам. Из этого следует, что этот молодой человек интеллектуально развит так же как большинство 25-летних. Его коэффициент умственного развития (IQ) = 25х23 = 1,1, что составляет около 110% ("отличная" норма).

План лекции

1. Понятие КОРТа

2. Этапы разработки КОРТ

3. Практическое использование КОРТ

1. Понятие КОРТа

Критериально-ориентированное тестирование - новое направле­ние в диагностике умственного развития учащихся. Основанные на особых способах конструирования и обработки методики КОРТ приобретают все большее значение в современной школе. Для по­строения заданий в КОРТ используется материал учебных программ --из него отбираются учебные задания, отвечающие определенным требованиям: задания должны репрезентировать внутренне завер­шенную область какого-то учебного предмета. Далее необходимо, чтобы задание могло быть представлено как логическая последова­тельность умственных действий, приводящих к его выполнению. Это задание при его выполнении должно вводить в мышление уча­щихся новые термины, понятия, ситуации и способствовать уста­новлению связей и отношений между ними и тем, что уже было ус­воено ранее. Такие задания называют ключевыми.

Первый - критерий как показатель учебных достижении. Он обобщает ключевые задания из тех разделов учебных программ, изучение которых уже завершено. Сравнивая результаты, получен­ные при испытании методиками КОРТ, с критерием, устанавливают уровень умственного развития отдельного учащегося или группы учащихся. Разумеется, что этот уровень развития относится к той специфической области, которую представляет критерий.

Второй вид - критерий как показатель логико-психологической подготовленности учащегося к выполнению ключевых заданий из состава разделов программы, которые предстоит изучать. Критерий этого вида предназначен для того, чтобы установить, соответствует ли умственное развитие учащегося требованиям, предъявляемым новым программным материалом. И в этом случае результаты испы таний методиками КОРТ при их сравнении с критерием дадут ин­формацию о том, представлены ли в мышлении учащегося необхо­димые для усвоения новых разделов программы умственные дейст­вия, может ли он уверенно использовать, актуализировать их при выполнении новых ключевых заданий.

При анализе этой информации нужно считаться с тем, что уро­вень умственного развития учащихся может выявить недочеты ло­гико-психологической структуры тех разделов учебной программы, которые уже изучены и должны бы были подготовить учащихся к восприятию и усвоению нового материала.

По отношению к отдельным учащимся полученная по результа­там испытаний методиками КОРТ информация после ее психологи­ческого анализа позволяет установить пробелы и недостатки в их умственном развитии и построить систему коррекционных занятий, направленных на его приближение к критерию

2. Этапы разработки КОРТ

Психологическое содержание методик КОРТ определяется не только их особой направленностью - обращенностью теста на кон­троль и оценку умственного развития. Методики КОРТ исследуют умственные действия, опосредующие выполнение учащимися учеб­ных заданий. Указания на то, что это за действия, в методической литературе, как правило, отсутствуют, а если и имеются, то им присущ самый общий характер - это ссылки на необходимость анализа, синтеза, сравнения, обобщения, без определения содержа­тельных показателей их выполнения на материале с конкретной предметной спецификой. Эти действия должны быть выявлены как путем логико-психологического анализа задания, так и в ходе спе­циально организованных наблюдений за учащимися, когда они вы­полняют задание. Психологическое содержание закладывается в тест и с помощью методических приемов, связанных с отбором со­держания тестовых заданий, а также анализом способов ориентации в предметном материале, каждый из которых обусловлен «субъективной логикой» учащихся, овладевающих требуемыми умственны­ми действиями.

1. Подбор ключевых заданий. Конструируя методику КОРТ, автор всегда исходит из того, что представленное в тесте за­дание является ключевым. В данном случае предполагалось, что умение составлять уравнения является таковым в ряду математиче­ских знаний и умений. В 5-6 классах это умение только формиру­ется, здесь закладывается и его психологическое содержание, т.е. умственные действия, обусловливающие функционирование умения. На дальнейших этапах роль этого умения возрастает.

2. Спецификация теста. Все это учитывается в ходе составления спецификации теста. Описывая критерий, на который данный тест ориентирован, специ­фикация вместе с тем определяет границы той области содержания, к которой тест относится. Для того чтобы показать, как проводится спецификация, обра­тимся к уже имеющемуся опыту разработки методик КОРТ.

Подготавливая спецификацию теста, прежде всего, нужно рас­крыть критериальное значение исследуемого содержания. Для ука­занного теста оно таково: специфика изучения математики тесно связана с актуализацией умственных действий, формированием приемов мышления школьников. Эти приемы выступают как усло­вие исследования и решения тестовых задач. В данном случае в спецификации отмечается, что существенным в решении текстовых задач является построение последовательности моделей задачи, ко­нечным звеном в которой является математическая модель (уравнение). Моделирование отношений между величинами являет­ся конституирующей характеристикой математического мышления, а знаковые модели и их трансформации выступают в качестве со­держательной основы умственных действий. Ориентация на знако­вую модель, которая является результатом мыслительного преобра­зования текстовой математической задачи, выступает, таким обра­зом, как критерий формирования умственных действий. Он и закла­дывается в данный тест. Составление уравнения по условиям тек­стовых задач предполагает, что учащийся владеет такими умствен­ными действиями:

1) анализирует ситуацию задачи, т.е. выявляет условие, существенное для составления уравнения по тексту задачи (основание для уравнивания);

2)устанавливает тождество между знаковыми моделями разной степени обобщенности и текстом-описанием

3) разбивает задачи на классы по существенному основанию: типу отношений между величинами;

4) усматривает подобие в задачах исходя из аналогичного характера моделирования зависимости между величинами.

Выявленная совокупность умственных действий состав­ляет основу конструирования методики КОРТ. Сформированность каждого действия проверяется отдельным субтестом. В тесте, о котором идет речь, таких субтестов четыре (по чис­лу обозначенных действий): «Выделение существенного», «Четвертый лишний», «Найди подобную», «Установление тождества»

Разработчик теста должен быть уверен, что в тест войдет мате­риал, который репрезентативен для исследуемого учебного содер­жания. С этой целью была произведена каталогизация тестовых за­дач. Она включала в себя сведения о сюжетах, особенностях задач, их предметном содержании (т.е. какие величины представлены в задаче: взаимосвязанные или разные значения одной и той же ве­личины), типах знаковой модели отношений между величинами, входящими в условие задачи. Далее определялся примерный удель­ный вес каждой задачи, т.е. то место, которое отводится задаче данного типа в школьном учебнике математики. Таким образом, в задания субтестов были включены все основные типы задач, пред­ставленные в учебной программе. При разработке методики КОРТ тексты отобранных задач были подвергнуты некоторым изменениям, связанным с включением в условия стимульного материала. Напри­мер, для заданий методик КОРТ стимульным материалом явились такие элементы содержания и структуры задачи, которые могли бы побудить учащихся использовать сложившиеся у них способы ори­ентации в материале - субъективные «логики». В условия задач вводились одинаковые числовые данные, сходная лексика и т.д. Все эти несущественные, внешние по отношению к собственно матема­тическому содержанию задач данные осуществляли функцию «шума», предназначенного «маскировать» сигналы, т.е. отношения между вели­чинами, фиксируемые знаковой моделью определенного вида.

Внесение в задания стимульного материала позволяет опреде­лить, насколько соответствует степень сформированности умствен­ного действия установленному критерию. Если ученик так и не ов­ладел требуемым умственным действием, он не сумеет преодолеть неадекватные способы ориентации в учебном материале. Все это ясно продемонстрирует методика КОРТ.

Независимо от того, на каком предметном содержании разраба­тываются методики КОРТ или какие частные принципы положены воснову их конструирования, спецификация теста всегда включает в себя краткое описание той области содержания, для изучения кото­рой предназначен тест, образцы задания, стимулы-признаки крите­рия, типичные ответы, которые могут дать испытуемые в ситуации тестирования. Спецификация теста задает основу для установления содержательного соответствия тестовых заданий и реальных учебных задач- И не важно, подробной или краткой будет эта спецификация, ее основное значение заключается в том, что она позволяла в со­держательном и операциональном планах оценить, что действитель­но означает выполнение теста по отношению к критериальной об­ласти поведения.

3. Когда спецификация составлена, подготовленные мето­дики КОРТ подлежат проверке.

Прежде всего разработчику теста необходимо убедиться, что его предварительный анализ умственных действий, опосредующих вы­полнение учебных заданий, был верен и каждое из умственных дей­ствий имеет свое собственное логическое содержание. Эта задача решается путем составления результатов по отдельным субтестам КОРТ 1 . Если каждое из анализируемых умственных действий играет свою особую роль в опосредовании умения, то вряд ли можно будет ожидать, что между успешностью выполнения отдельных субтестов будет выявлена тесная связь.

Модель умственных действий, представленная в методиках КОРТ, должна быть исследована с точки зрения ее содержательного соответствия реальному выполнению учащимися учебных заданий. Это достигается путем сопоставления результатов КОРТ и предста­вительных выборок учебных контрольных заданий (сокращенно КЗ). Это не исключает сопоставления данных тестирования с учебной успеваемостью, с результатами экзаменационных проверок и т.д.

Если анализ логического состава умения верен и владение сово­купностью умственных действий, актуализируемых методикой КОРТ, действительно связано с реальным выполнением учебных за­даний, то следует ожидать, что учащиеся, которые владеют всеми умственными действиями по методике КОРТ, успешно выполнят и КЗ. Соответственно те учащиеся, которые не владеют ни одним из умственных действий, заданных КОРТ, с ними не справятся. Про­верка этого предположения осуществляется путем установления зависимости между выполнением методики КОРТ и КЗ

Сопоставление методик КОРТ и КЗ не может ограничиваться рассмотрением коэффициентов корреляции, поскольку этот коэф­фициент не говорит о причинах совпадений или расхождений. Воз­никает необходимость качественного анализа рассогласований. Это предполагает обращение к характерным особенностям выполнения методик КОРТ и КЗ отдельными учащимися и их группами.

Специальному анализу подлежат также данные учащихся, кото­рые, владея лишь некоторыми из представленных в методиках КОРТ умственными действиями, все же выполняют КЗ с высоким результатом. Будет правомерным предположить, что успех выпол­нения заданий (КЗ) здесь может непосредственно зависеть от того, удается ли им заменить то умственное действие, которым они не владеют, другими действиями или их сочетаниями. Компенсация умственного действия в данном случае связана с переформулирова­нием условия задания, с перестройкой умственных действий для решения задания.

Анализ рассогласований в выполнении методик КОРТ и КЗ по­зволяет исследователю выявить присущие учащимся способы вы­полнения заданий и оценить, насколько эти способы отвечают зада­чам умственного развития в области математики.

Корт своими содержательными и структурными характеристика­ми соответствует конкретной ситуации обучения и поэтому может служить оперативным средством контроля и оценки результатов обучения. Разработка и исследование таких тестов всегда связаны с решением актуальных учебно-образовательных задач. С помощью методик КОРТ учителя и психологи могут выявить объективные по­казатели умственного развития в отношении тех разделов обучения, которые соотносимы с ключевыми, ведущими требованиями школь­ной программы. Анализ выполнения теста позволяет локализовать и раскрыть недостатки и пробелы в логико-психологической и учеб­ной подготовке школьников, в их умственном развитии, определить направление и содержание коррекционных воздействий. Критери­ально-ориентированное тестирование может выступить как один из компонентов обратной связи в функционировании системы образо­вания. Применение методик КОРТ позволяет выявить, соответству­ют ли осуществляемые учащимися умственные действия логике предметного материала, складывается ли у учащихся предметная ориентация мышления. И не случайно первый опыт разработки ме­тодик КОРТ был вызван необходимостью углубленного психологи­ческого анализа трудностей и недостатков умственного развития учащихся, связанных с усвоением базовых учебных умений и прие­мов мыслительной деятельности в конкретных областях предметно­го содержания.

3. Практическое применение КОРТ

Современная психологическая диагностика располагает достаточ­но большим аресналом методик для оценки сформированности ма­тематического мышления, о чем шла речь в предыдущем параграфе, а также лингвистического и технического мышления. Это связано с достаточной исследованностью проблемы содержания и структуры данных видов мышления. Отсутствие до недавнего времени методик, посвященных диагно­стике сформированности естественнонаучного мышления, было свя­зано, как отмечается в литературе, с неразработанностью специфи­ки этой проблемы.

В связи с этим для диагностики сформиро­ванности процесса теоретического естественнонаучного мышления должны использоваться задания качественного характера, решение которых невозможно подвести под жесткий алгоритм. Качествен­ными заданиями в естествознании (в отличие от расчетных, экспе­риментальных и графических задач) называются задания, которые решаются логическим способом. При решении данного типа заданий не требуется никаких вычислений, определяются только качествен­ные зависимости между объектами. Существенно и то, что качест­венная форма проблемной ситуации в наибольшей степени соответ­ствует реальной ситуации научного поиска. Дифференциация стадий сформированности естественнонаучного мышления должна осуществляться в зависимости от сформирован­ности действия теоретического обобщения. Основное содержание теоретического обобщения определяет процессы синтеза, осуществ­ляемые как переход мысли от известной закономерности к приме­нению ее в конкретных условиях.

Структура теста должна быть связана с диагностикой развития естественнонаучного мышления как процесса. При этом если диаг­ностика процесса мышления на микроуровне направлена на иссле­дование сформированности отдельных нормативных составляющих мыслительных процессов (прежде всего анализа и синтеза) и выяв­ление тем самым реального процесса мышления в его индивидуаль­ном варианте, то диагностика мыслительного процесса на макро­уровне предполагает анализ сформированности его отдельных ста­дий и определения, таким образом, индивидуальных моделей разви­тия мышления. И та и другая диагностика при этом связаны с оценкой промежуточных результатов в развитии мышления, но не­посредственно интегрированных с процессом мышления и вследст­вие этого характеризующих его.

В рамках критериальной диагностики разработаны тесты для ди­агностики естественнонаучного мышления (Г.А. Берулава, 1992). Тесты естественнонаучного мышления для учащихся 7 (ТЕМ-7) и 8 класса (ТЕМ-8) включают в себя систему заданий, являющихся мо­делью когнитивной организации предметной области естествозна­ния. Каждый тест содержит родовые задачи, каждой из которых соответствует некоторый класс индивидуальных задач.

В тесты включены лишь задачи качественного характера. В есте­ственнонаучных предметах процент задач, решаемых по жесткому алгоритму, очень незначителен. Это связано с тем, что взаимодей­ствие объектов, лежащих в основе любой естественнонаучной зада­чи, в значительной степени определяется условиями взаимодейст­вия и индивидуальными свойствами объектов взаимодействия, в от­личие, например, от математики, где данные факторы не имеют значения.

При определении содержательной валидности тест должен ори­ентироваться на внешние социально обусловленные и педагогически адаптированные требования. Однако сам теоретический критерий валидности должен быть психологическим. При этом существенно, что он должен быть различным для дифференцированных моделей обучения, реализуемых в рамках школ различных типов.

Разработанные тесты являются нормативными для учащихся школ с углубленным изучением естественнонаучных предметов. Все задания носят качественный характер. При этом сюжетная форма заданий, без наличия в их условиях каких-либо абстрактных симво­лов и знаков, не позволяет ассоциировать их с какой-либо абст­рактной теорией.

Каждый тест для диагностики сформированности у уча­щихся естественнонаучного мышления содержит 30 задач, в основе которых лежит 5 естественнонаучных законов, яв­ляющихся для усвоения учебного материала в 7 и 8 классах основополагающими. Каждому закону соответствуют шесть задач, три из которых составлены на материале физики, в рамках которого изучались данные законы, и три - на межпредметном ма­териале (биологии и физики в 7 классе, биологии, физики и химии - в 8). Каждый тест содержит два субтеста, один из которых диагно: стирует сформированность дифференциально-синтетической стадии естественнонаучного мышления, а второй - синтетической. Приводим примеры заданий из дифференциально-синтетического субтеста теста естественнонаучного мышления для 7 класса

Задание. Почему нельзя тушить горящий керосин, заливая его водой?

а) вода будет испаряться с поверхности горящего керосина; б) вода будет смешиваться с керосином вследствие явления диффузии; в) плотность воды больше плотности керосина, поэтому вода будет опускаться вниз, а керосин будет всплывать наверх и не закроет доступ воздуха, необходимого для горения керосина.

Варианты ответов для задания субтеста (их по три в каждой за­даче) позволяют диагностировать преимущественный способ мыш­ления учащегося: эмпирически-бытовой (ему в данном задании со­ответствует 1-й вариант ответа), эмпирически-научный (ему соот­ветствует 2-й вариант ответа) или дифференциально-синтетический (3-й вариант ответа), который характеризует уже теоретический тип мышления.

Аналогичную структуру имеют задания синтетического субтеста.

Задание. Почему кит, оказавшись на мели, погибает?

а) сила трения, имеющаяся на твердой почве, мешает ему доб­раться до воды; б) кит задыхается от воздуха; в) вследствие закона Архимеда вес кита оказывается незначительным; на суше выталки­вающая сила отсутствует, и кит погибает под действием собствен­ного веса.

В основе решения данной задачи лежит закон Архимеда, в то же время "она построена на нехарактерном для курса физики биологиче­ском материале. Эмпирически-бытовому способу мышления в данном случае соответствует 2-й вариант ответа, эмпирически-научному - 1-й вариант, теоретическому (дифференциально-синтетическому) способу мышления соответствует 3-й вариант ответа.

При разработке структуры теста естественнонаучного мышления для 8 класса (ТЕМ-8) был использован тот же принцип построения, но законы, лежащие в его основе, являются уже репрезентативны­ми для естественнонаучного познания учащихся 8 класса.

Задания дифференциально-синтетического субтеста ТЕМ-8 имеют структуру, аналогичную заданиям дифференциально-синтетического субтеста ТЕМ-7

Задание. Почему притертую стеклянную пробку легко вынуть из флакона, если потереть его горлышко сухой тряпкой или бумагой?

а) при натирании горлышка бутылки совершается механическая работа, благодаря чему увеличивается внутренняя энергия горлыш­ка, оно нагревается и расширяется; б) из-за колебаний горлышка бутылки пробка расшатывается, и ее легче вынуть из бутылки; в) в результате силы трения горлышко расшатывается, и поэтому проб­ку легче вынуть из бутылки.

Вариант ответа «б» при этом соответствует эмпирически-бытовому способу мышления, «в» - эмпирически-научному. Пер­вый вариант ответа характеризует теоретический способ мышления (в данном случае его дифференциально-синтетическую стадию). В основе решения предложенной задачи лежит закон сохранения энергии. В рамках дифференциально-синтетического субтеста ему соответствуют две задачи, построенные на характерном для курса физики материале. В синтетическом субтесте данный закон приме­няется в условиях, адекватных материалу, используемому в курсах биологии и химии.

Задание. Почему пораженные током живые организмы погибают?

а) потому что ток убивает клетки живых организмов; б) при про­хождении тока по клеткам живого организма электрическая энергия превращается во внутреннюю энергию, вследствие чего нагревается плазма клеток; в) потому что при прохождении тока в клетках жи­вых организмов происходят необратимые химические реакции.

С использованием предметного материала курса химии закон со­хранения и превращения энергии реализован, например, в задаче следующего содержания.

Задание. Почему выделяется теплота при взаимодействии цинка с разбавленной серной кислотой?

а) потому что у серной кислоты повышена температура, и она сжигает все вещества; б) в процессе химической реакции с серной кислотой уменьшается внутренняя энергия системы, вследствие че­го выделяется теплота; в) выделение теплоты в процессе указанной реакции происходит в результате взаимодействия электрических за­рядов цинка и серной кислоты.

Структура теста позволяет оценить сформированность процесса теоретического обобщения, понимаемого как восхождение от абст­рактного к конкретному. Это обеспечивается тем, что каждому ес­тественнонаучному закону соответствует серия задач одинаковой объективной сложности, в которых варьируются лишь конкретные условия применения закона. Сложность заданий определялась по объективным критериям экспертным путем и с помощью алгоритмического метода, при этом учитывалось то, что жесткая статистическая оценка трудности за­дач для критериальных исследований неприемлема. Тесты прошли формальную проверку на надежность и валидность.

Диагностика сформированное™ естественнонаучного мышления с помощью разработанных тестов создает возможность не только опре­делить тип естественнонаучного мышления (эмпирический или теоре­тический), но и стадию их сформированности. В рамках эмпирического типа - это эмпирически-бытовая и эмпирически-научная стадии.

Каждому естественнонаучному закону соответствует серия зада­ний одинакового уровня сложности, в которых варьируют лишь конкретные условия применения закона. Разработанный тест является групповым. Время для решения всего теста - 40-50 минут (1 урок). Тест предъявляется всем учащимся класса одновременно, при этом сидящие рядом ученики делают разные субтесты. Каждое верно выполненное задание оценива­ется одним баллом.

Качественная обработка результатов позволяет также сделать вывод, какие типы связей (законов) вызывают затруднение у уча­щихся, и произвести в этом направлении целенаправленную кор­рекцию.

Проверка тестов, диагностирующих некоторые специальные виды мышления учащихся (математическое и естественнонаучное), пока­зала, что они обладают высокой практической эффективностью. В этой главе описаны два варианта разработки методик критериально-ориентированного тестирования. В том и другом варианте диагно­стирование ставило своей целью выявить, насколько умственное развитие учащихся приближается к тем требованиям, которые предъявляются учебными программами. В диагностировании естест­веннонаучного мышления тестовые задания позволяли дифференци­ровать разные стадии развития этого вида мышления