Тест критериально-ориентированный. Новые технологии в тестировании. критериально-ориентированное тестирование (корт) Психологический тест корт кратко содержание


Новый взгляд на тесты стал формироваться в нашей стране и за рубежом в связи с гуманистическими критериями оценки человека и смысла его существования. Особое место в связи с этим принадлежит акмеологии как науки о полноценном гармоничном формировании психики взрослой личности [Деркач А.А., 2002, 2004; Деркач А.А., Зазыкин В.Г., 2003].

Современная гуманистическая социопсихология показывает, что критерием полноценной жизнедеятельности являются качества развития. Это значит, что организация жизни человека должна способствовать пробуждению интереса к познанию окружающего мира и активизации собственной его активности и инициативности. Этому способствует включение личности в социум, осуществляемое, в частности, через работу. Психологи, социологи, педагоги в практической работе имеют дело со всей психологической реальностью человека постольку, поскольку они могут способствовать оптимальности его психического развития.

Психологическая служба в развитых странах (например, во Франции) может менять государственные стандарты, если они препятствуют прогрессивному развитию личности. Цели психологической службы - предотвратить стрессирующий человека неуспех, способствовать социальному научению и социальной адаптации личности, помогать в трудных ситуациях развития интегрироваться в общий поток социального прогресса (что прямо противоположно цели, выдвигаемой на предшествующих этапах службы, направленной на отделение таких людей), содействовать общеобразовательному и профессиональному росту, повышать квалификацию специалистов в области психологических служб.

Инновационные технологии, основанные на экологической (целостной, сохраняющей, предохраняющей) психологии индивидуальности должны в плане проведения психодиагностики прежде всего рассмотреть особенности «зоны» ближайшего развития. Данная ориентация методов позволяет психологу иметь конструктивную оценку тех новообразований личности, которые на момент обследования еще не фиксируются, но могут быть сформированы во взаимодействии человека с социумом.

Широкое внедрение в практику получили отечественные методики оценки и психокоррекции психического развития детей разных возрастов. Например, школьный тест умственного развития (ШТУР) и комплекс коррекционных методов, как свидетельствует опыт работы школьной психологической службы, позволяет формировать недостаточно развитые высшие психические функции до социального норматива . Успехи в данной области науки отмечены Государственной премией за обеспечение работы психологической службы образования.

Здесь особо отметим гуманистическую направленность российской школы психодиагностики, психокоррекции и реабилитации. В противовес традиционным тестам, пытающимся ситуативно обусловленный диагноз выдать за долгосрочный прогноз будущих успехов человека, в нашей стране и за рубежом развиваются так называемые критериально-ориентированные тесты (КОРТы). Они основываются на социальных нормативах психического развития лиц разных возрастов, выделении соответствующих психических функций, процессов и свойств, которые в комплексе могут обеспечить комфортную напряженность человека в процессе усвоения необходимых для интенсивного психического развития знаний, умений, навыков. Своевременная психодиагностика последних позволяет выявить «слабые» стороны рассматриваемого среза характеристик и с помощью коррекционных методик развить уровень нужных параметров до социально фиксируемых нормативных значений.

В этой связи показательны стратегии создания школьного теста умственного развития (ШТУР), который является основным в работе школьного психолога . Первый этап конструирования данного теста состоял в подробном опросе и анкетировании компетентных, авторитетных учителей, психологов, руководителей системы образования об их мнении о том, что является необходимым школьнику, чтобы он в современной школе учился с комфортной напряженностью и высокой результативностью. Эти материалы анализировались (переводились на язык психологии) с выделением конкретных психических функций, процессов, индивидуальных свойств, знаний, умений, необходимых для каждого возраста школьного обучения.

Далее на каждый аналитически выделенный компонент (отдельно для дошкольников, учащихся 1-3, 4-6, 7-9 классов) конструировали специальные критериально - ориентированные тесты (в двух формах - А и Б), которые тщательно проверялись на надежность, валидность, тест-ритес-товую коррелируемость и другие необходимые качества полноценной тестовой методики. При этом важно подчеркнуть, что данные критерии априорно признавались психологами временными, обусловленными сегодняшними требованиями общества к развитию способностей школьника. (Так, например, умение читать когда-то признавалось особой способностью, которой наследственно обладают только дворяне - люди с «голубой» кровью. В наши дни это мнение уже не признается в обществе).

Реабилитационное значение такой стратегии очевидно. Внедряемые в социальную практику психологические технологии снимают необходимость фатально предопределять траектории психического развития человека, что ранее способствовало созданию в обществе своеобразных психологических резерваций.

Актуальные вопросы проводимой сейчас реформы образования (включающей вопросы непрерывного образования людей разных возрастов) обусловлены его изменившимися стратегическими целями. Ориентация «времен застоя» на формирование конкретных знаний, умений, навыков и требуемых обществу качеств личности становится в современном мире недостаточной из-за непредсказуемости траекторий индивидуального развития под влиянием сложносочетанных факторов социума.

Развивающийся человек вынужден сегодня действовать в характерных для общества ситуациях неопределенности прогноза будущего. Психологическая специфика данных ситуаций способствует фиксации стрессогенных состояний, выраженность которых неблагоприятно сказывается на психосоматическом здоровье человека и на темпах психического развития. Поэтому планирование содержательной стороны тех знаний, которыми должен обладать индивид, становится в наши дни весьма сложной проблемой. Оптимизация психического развития здесь в значительной степени определяется формально-динамической стороной жизнедеятельности (темп, объем и др.), которая отражает индивидуализированные задатки способностей личности.

Практическая психология подчеркивает значение научно обоснованного критериально-ориентированного тестирования, в частности в ходе сопровождения психического развития личности в плане работы психологической службы образования. Однако аналитические стратегии традиционных КОРТов, которые подошли для решения определенного круга задач школьного образования, не могут напрямую применяться к работе со зрелой личностью, часто иррациональной, непредсказуемой и вариативно изменяющейся.

Решение актуальных для современного мира проблем совладания с трудными и стрессогенными ситуациями, снятия фиксированных страхов, вопросов профотбора и профподбора, выделения сущностных детерминант формирования интеллекта, сохранения и приумножения здоровья нации требуют системного комплексного анализа интеграции процессов, состояний и свойств индивида, личности и субъекта деятельности в структуре индивидуальности. Соответствующие проблемы наиболее полно прорабатываются с учетом знания акмеологических законов формирования целостной индивидуальности как предиктора своеобразия строения психики человека.

Особое значение для модификации психотехнологий тестирования имело обновление системы образования в России, направленное на демократизацию и гуманизацию учебно-воспитательного процесса. При этом кардинально изменились цели воспитания и обучения, в качестве которых выступает не совокупность знаний, умений, навыков, а свободное развитие личности. Знания, умения, навыки сохраняют свое значение в качестве средств достижения целей субъекта. В этих условиях на первый план выступают акмеологические технологии формирования инициативы личности, самостоятельности, творческости, которые позволят эффективно действовать в условиях неопределенности прогноза будущего (именно эта особенность характеризует современное общество, что ведет к стрессам и психосоматическим заболеваниям, к снижению умственного развития).

Данные качества личности могут помочь преодолевать противоречия между технической и гуманитарной культурой и обеспечить включение развивающегося человека в новые социально-экономические условия общества. Осуществление этих задач предполагает формирование акмеологи-ческой культуры самоопределения личности, понимание самоценности человеческой жизни, ее индивидуальности и неповторимости.

Принципиально новый этап развития психодиагностики открывается в связи с интенсивным развитием акмеологии, которая впервые поставила в центре исследования человека, который вариативно изменяется, строит семью, взаимоотношения с людьми, профессиональную карьеру на жизненном пути при высокой «планке» планируемых достижений. Ранее психология изучала психику человека в «особых условиях», например, - при патопсихологических или нейропсихологических дефектах, личностных деформациях, в младенчестве, «группах риска». Фиксируемые закономерности с трудом можно переносить на зрелую личность. Отмечу, что планируемый в образе-цели высокий норматив результата деятельности является целостнообразующим фактором, скрепляющим параметры жизнедеятельности в «жесткие» звенья, которые служат инвариантным звеном широкого содержательного спектра целенаправленной активности и сказываются в эмоционально-энергетической «канве» жизнедеятельности.

Критериально-ориентированные тесты – тип тестов, предназначенных для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико-функционального анализа содержания заданий. В качестве критерия (или объективного эталона) обычно рассматриваются конкретные знания, умения, навыки, необходимые для успешного выполнения той или иной задачи. Это основное отличие критериальноориентированных тестов от традиционных психометрических тестов, оценка в которых осуществляется на основе соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму). Термин «критериально-ориентированные тесты» предложен Р. Гласером в 1963 г. Установление содержательного и структурного соответствия заданий теста и реальной задачи – важнейший этап разработки критериально-ориентированных тестов. Этим целям служит так называемая спецификация, включающая:

2) систематизацию знаний, умений и навыков, обеспечивающих выполнение критериальной задачи;

3) образцы тестовых заданий и описание стратегии их конструирования.

Различают две разновидности критериально-ориентированных тестов:

1) тесты, задания которых гомогенны, т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода критериально-ориентированные тесты разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;

2) тесты, задания которых гетерогенны и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. Такого рода критериально-ориентированные тесты обычно используются для диагностики специфических трудностей в обучении. Существенной особенностью критериально-ориентированных тестов является то, что в них индивидуальные различия сводятся к минимуму (индивидуальные различия влияют на длительность усвоения, а не на конечный результат). Поэтому критериально-ориентированные тесты лучше всего приспособлены для оценки развития основных навыков на элементарном уровне. В более сложных областях поведения предела достижений не существует, и исходя из этого необходимо обращаться к оценкам, ориентированным на нормы.

Сегодня за рубежом разработаны тесты, выполнение заданий которых можно соотносить как с критериями, так и с нормами. Необходимо учитывать и то, что нормы неявно присутствуют в критериально-ориентированных тестах, ибо выбор содержания или навыков, подлежащих измерению, предполагает наличие сведений о том, как в подобных ситуациях действовали другие обследуемые ( А. Анастази , 1982). Исходя из этого наиболее перспективным представляется объединение критериально-ориентированного подхода с традиционным психометрическим.

А. Анастази (1982) правомерно считает, что акцент критериальноориентированных тестов на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели. Для критериально-ориентированных тестов непригодны в большинстве случаев обычные приемы определения валидности и надежности.

В отечественных исследованиях имеется опыт создания критериально-ориентированных тестов ( Е. И. Горбачева , 1985). Кроме того, осуществляется разработка методик, близких критериальноориентированным тестам, но ориентированных не на критерий, а на так называемый социально-психологический норматив или общественно-заданный объективный содержательный эталон (Школьный тест умственного развития). Также исходя из социально-психологического норматива анализируются результаты, полученные с помощью известных психометрических тестов.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЕ ТЕСТЫ (от греч. kriterion - признак, на основании которого производится оценка, лат. oiientis - восток и англ. test - испытание, исследование). Класс тестов достижений, которые направлены на выявление степени овладения индивидом той или иной учебной или профессиональной деятельностью. Критерием в них вы - ступает владение вполне определенными знаниями, умениями или навыками. Для оценки индивидуальных результатов используется не сравнение индивидуальных результатов со статистическими нормами, а констатация наличия или отсутствия определенного психологического компонента в общей структуре оцениваемого действия. Первым отделил критериально-ориентированные тесты, использовав данное наименование, от тестов, ориентированных на статистическую норму, Р. Глезер. Необходимость этого возникла в рамках разработки методов программированного обучения, для целей которого было очень важно оперативно и, по возможности автоматически, оценивать динамику учебных достижений (прежде всего знаний, умений, навыков) учащегося по мере прохождения им обучающей программы. В соответствии с этим предметом критериально-ориентированного тестирования является содержание деятельности индивида (в частности, умственной деятельности), а именно то, что он знает или умеет делать по отношению к контрольным требованиям, которые предъявляет к нему учебно-образовательная программа (т. е. по отношению к критерию). В дальнейшем была сделана попытка расширить понимание критериально-ориентированного тестирования, как формы констатирующей оценки усвоенных знаний, до включения в его рамки Перспективного прогноза. Для этого в качестве объекта диагностики выбираются не просто те или иные знания, а прежде всего умение эти знания приобретать (т. е. в качестве критерия выступает уровень «мастерства»), В частности, один из тестов, ориентированных на критерий сформированности процесса чтения, операционализирован с помощью следующих составляющих понимания прочитанного: возможности ставить вопросы к прочитанному материалу, переформулировать трудные места, выделять главные мысли, составлять план и пр. Также разработан тест естественнонаучного мышления для учащихся 7-8 классов (Г. А. Берулаева), в котором заложена модель когнитивной организации предметной области естествознания; он состоит из качественных вопросов (например, почему нельзя тушить керосин водой).

Кондаков И.М. Психология. Иллюстрированный словарь. // И.М. Кондаков. – 2-е изд. доп. И перераб. – СПб., 2007, с. 280.

Литература:

Hilke R. Grundlagen normoorientirte und kri- teriumorientirte Test, Bern, 1960; Pophan W.J. Criterionreferenced Measurement. New Jersey, Englewood Cliffs, 1978; Гуревич К. M. Современная психологическая диагностика: пути развития // Вопросы психологии. 1982, № 1; Горбачева Е. И. Опыт конструирования диагностггческого критериально-ориентированного теста // Вопросы психологии. 1985. № 5. С. 133-139; Klauer К. J. Kriteriusorientirte Tests. Gottingen, 1987; Берулаева Г. А. Психология естественнонаучного мышления. Томск, 1991; Гуревич К. М., Горбачева Е. И. Умственное развитие школьников: Критерии и нормативы. М., 1992; Психологическая диагностика: Учебное пособие / Под ред. К. М. Гуревича, М. К. Акимовой, Г. А. Берулаевой и др. Бийск, 1993.

Пример.

Тест может иметь высокую надежность, но низкую валидность. Тест с высокой валидностью обязательно имеет высокую надежность. Если тест имеет низкую валидность, то применять его нельзя, даже если он имеет высокую надежность.

Понятия надежности и валидности педагогического теста чрезвычайно важны, поскольку именно они характеризуют тест как измерительный инструмент. Тест с неизвестными надежностью и валидностью непригоден для измерения. Когда преподаватель, разработав тест, проводит тестирование, то полученные результаты следует интерпретировать (например, для ранжирования испытуемых) очень осторожно, так как неизвестны надежность и валидность вновь составленного теста.

Педагогическое тестирование широко применяется для контроля знаний учащихся в различных целях. По целям применения педагогических тестов их можно разделить на два больших класса - нормативно - ориентированные и критериально - ориентированные.

НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ тест позволяет ранжировать испытуемых по уровню знаний. Такой тест позволяет сравнивать учебные достижения испытуемых друг с другом.

Целью нормативно-ориентированного теста является упорядочение испытуемых по уровню их подготовленности. В результате может оказаться, что все испытуемые плохо справились с тестом - получили низкие индивидуальные баллы. Тем не менее, и в этом случае можно ранжировать испытуемых - кто-то получил низкий балл, а кто-то еще ниже. Возможны случаи, когда какое-то задание не дифференцирует испытуемых, например, задание легкое и все успешно на него ответили. И наоборот, очень трудное задания и все на него не ответили. Такие задания не позволяют провести ранжирование и, поэтому, должны быть удалены из теста. Если все испытуемые не ответили ни на одно задание, или верно ответили на все задания, то нормативно-ориентированный тест не работает, так как не позволяет достичь поставленной цели и подлежит дальнейшей переработке. Отметим, что, возможно, этот тест неплохо будет работать как критериально-ориентированный.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ тест позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах прошлого века, то есть значительно позже нормативно-ориентированных. Критериально-ориентированные тесты в свою очередь делятся на тесты, ориентированные на предметную область, и квалификационные тесты.

Целью критериально-ориентированного теста является выяснение - знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу.



В дальнейшем нам потребуются следующие определения:

Критериально-ориентированный педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися.

Теперь перейдем к сравнению нормативно-ориентированных и критериально-ориентированных тестов.

Внешне оба типа тестов имеют много общего - в них используются тестовые задания сходные по форме, эти задания сопровождаются похожими инструкциями, выполняются задания одинаковым образом. Но, несмотря на внешнюю схожесть, это совершенно разные тесты. Они имеют следующие различия.

1. ЦЕЛЬ СОЗДАНИЯ ТЕСТА. Нормативно-ориентированные тесты создаются специально для того, чтобы сравнить испытуемых в той области содержания, для которой тест предназначен. Эти тесты можно использовать, например, для отбора абитуриентов при поступлении в вузы. В тех случаях, когда конкурс составляет несколько человек на одно место, возникает проблема ранжирования испытуемых с тем, чтобы выбрать наилучших.

Критериально-ориентированные тесты нужны для аттестации испытуемых в определенной области содержания. Такие тесты используются в итоговом тестировании, например по завершении обучения в среднем общеобразовательном учреждении. Здесь важно выяснить - усвоена ли в надлежащем объеме школьная программа. Вопросы ранжирования тут не играют большой роли.

Если критериально-ориентированные тесты использовать в качестве нормативно-ориентированных, то ввиду малой дисперсии тестовых результатов, эти результаты будут отличаться низкой надежностью. Справедливо и обратное - применение нормативно-ориентированных тестов в критериально-ориентированном тестировании также даст малонадежные результаты. Это обусловлено сильной вариацией тестовых заданий по трудности в нормативно-ориентированном тесте.

2. УРОВЕНЬ ДЕТАЛИЗАЦИИ ОБЛАСТИ СОДЕРЖАНИЯ.

Разработка теста начинается с создания его спецификации и эти спецификации для обоих типов тестов сильно отличаются. Спецификации критериально-ориентированных тестов гораздо детальнее описывают элементы области содержания, поскольку это позволит адекватно интерпретировать результаты тестировании. Для нормативно-ориентированных тестов уровень детализации области содержания гораздо ниже. Для этих тестов гораздо важнее получить вариативные тестовые задания.

3. СТАТИСТИЧЕСКАЯ ОБРАБОТКА результатов тестирования. Шкалированные баллы нормативно-ориентированного тестирования основываются на тестовых нормах, полученных на «выборках стандартизации». При критериально-ориентированном тестировании тестовые баллы не связаны с какой-либо нормативной группой испытуемых. Обычно тестовый балл отражает долю правильно выполненных заданий и выражается в процентах.

4. АНАЛИЗ И ОТБОР ТЕСТОВЫХ ЗАДАНИЙ.

Для нормативно-ориентированных тестов большое значение имеют статистические характеристики - уровень трудности задания, его дифференцирующая способность. Если задание имеет средний уровень трудности и высокую дифференцирующую способность, то оно считается хорошим для нормативно-ориентированного теста.

Эти статистические характеристики не имеют большого значения для критериально-ориентированного теста. Здесь главным критерием для включения задания в тест является соответствие специфике и элементу области содержания.

5. РАСПРЕДЕЛЕНИЕ ИСПЫТУЕМЫХ по индивидуальным баллам имеет различный характер для обоих видов тестов. Для нормативно-ориентированного теста кривая распределения симметрична и близка к гауссовой кривой. В случае критериально-ориентированного теста эта кривая несимметрична и обычно сдвинута в область высоких индивидуальных баллов.


6. ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.

Поскольку цели нормативно-ориентированного и критериально-ориентированного тестирования различны, то и интерпретация полученных данных будет различной.

Результаты нормативно-ориентированного тестирования интерпретируются на основе статистически обоснованных тестовых норм. При этом имеется возможность определить положение испытуемого относительно нормативной группы. Информации же о том, какие как усвоены те или иные разделы, элементы области содержания, нормативно-ориентированный тест дает мало.

Результаты критериально-ориентированного тестирования интерпретируются с точки зрения полноты освоения области содержания, согласно детальной спецификации теста.

Ниже приведена таблица, содержащая сравнение характеристик обоих типов тестов.

Таблица. Сравнительные характеристики нормативно-ориентированных и критериально-ориентированных тестов

Нормативно - ориентированные тесты Критериально - ориентированные тесты
1. Цель тестирования: возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен. Пример использования: конкурсный отбор кандидатов на обучение. 1. Цель тестирования: возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания. Пример использования: итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров.
2. Используемые шкалы: нормативные (или стандартные) шкалы. Необходимо указание среднего значения и стандартного отклонения в выбранной шкале. 2. Используемая шкала - в основном, шкала процентов с выбранным одним (или несколькими) критериальным баллом (баллами). Особое внимание уделяется методики оптимального выбора критериального балла (или баллов).
3. Распределение индивидуальных баллов: близко к нормальному, в большинстве случаев имеет симметричный вид. 3. Распределение индивиду-альных баллов: произвольное, в большинстве случаев асим-метричное и имеет несимметричный вид.
4. Уровень детализации области содержания - несущественен. Авторы теста выбирают наиболее значимые элементы содержания. 4. Уровень детализации области содержания - подробный. Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы содержания. Затем по этой спецификации разрабатываются задания.
5. Нормативная группа испытуемых обязательна. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев применяются специальные нормативные таблицы, где каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе. 5. Нормативная группа испытуемых не является необходимой. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается шкале процентов.
6. Статистический анализ и отбор тестовых заданий. Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий. 6. Статистический анализ и отбор тестовых заданий. Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статисти-ческие характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла.
7. Надежность теста. Оценивается либо путем нахождения корреляциимежду результатами двух тестирований, либо методом расщепления теста на две половины при однократном тестировании. 7. Надежность теста. Оценивается степенью постоянства принятия решения «зачет – незачет» при двукратном тестировании.
8. Валидность. Наряду с содержательной валидностью для тестов конкурсного отбора учащихся особое внимание уделяется высоким показателям прогностической валидности. 8. Валидность. Особое внимание уделяется содержательной валидности. В случае принятия важных решений по результатам тестирования исследуются критериальная и конструктная валидность.

Подытоживая, отметим, что нормативно-ориентированные и критериально-ориентированные тесты сильно отличаются друг от друга. При использовании тестов необходимо придерживаться следующих правил:

1) нельзя использовать критериально-ориентированный тест в качестве нормативно-ориентированного и наоборот;

2) нельзя использовать один и тот же тест и в качестве нормативно-ориентированного и в качестве критериально-ориентированного.

Нарушение этих правил приводит к получению тестовых результатов, обладающих низкой надежностью и большой ошибкой измерения.

Критериально-ориентированные тесты. КОРТ.

Возникли в системе образования в США в 60-70е годы, у нас в 80-е (новые тенденции в психодиагностике). До этого использовались 2 вида тестов:

 - тест интеллекта

 - тест достижений в системе образования

В 1963 году – Гласер – первый использовал термин критериально-ориентированное измерение.

В 1968 году – описаны способы конструирование Критериально-ориентированные тестов. Появились в системе образования в США.

В начале 70-х годов – интерес к практике критериально-ориентированного измерения. КОРТы отражали: что и как усвоено в процессе программированного обучения. С помощью КОРТа можно оценить насколько человек готов к выполнению какой-либо деятельности, справится ли человек с определенной деятельностью, и на каком уровне может быть выполнена определенная деятельность? КОРТы могут быть полезны не только в системе образования, но и в профессиональной деятельности.

Цели использования КОРТа:

1. Контроль за развитием психических функций, контроль усвоения учебного материала. С помощью КОРТа можно оценить насколько человек продвинулся в усвоении, развитии.

2. Оценить насколько развитие определенной функции усвоения соответствует конкретным требованиям той или иной должности. Прогнозировать справится ли человек с той или иной деятельностью.

Отсюда основная особенность КОРТа – тесты ориентированы на внешние требования, выражающиеся в критерии развития или усвоения (критерий выполнения).

Критерий КОРТ.

Понятие «критерий». На первом этапе рассматриваются 2 концепции критерия:

1. Критерий – это уровень мастерства, выполнение на определенном уровне конкретной деятельности.

2. Критерий – это определенные содержательные и операциональные аспекты деятельности. Набор знаний, навыков, действий, чтобы справиться с определенной деятельностью.

Слились 2 концепции в одну: выполнение деятельности и определенная сформированность знаний, навыков, соответствующая определенному уровню мастерства.

Понимание критерия было отвергнуто, так как вносило путаницу в тестирование. Таким образом, можно было думать, что любой тест можно превратить в КОРТ, если ввести уровень мастерства (уровень выполнения теста) на этапе интерпретации теста. Критерий отражает содержательные и операциональные элементы той деятельности, которую необходимо выполнить, чтобы соответствовать заранее заданным требованиям извне. Чтобы отразить насколько человек владеет определенной деятельностью, КОРТ должен отражать, что человек знает, умеет. КОРТ – особый метод диагностики. Различие на первом этапе: выяснение целей, в отличие от традиционных тестов.

Вторая особенность КОРТа – его результаты представляются не столько в условных баллах, сколько в конкретных показателях усвоенности и сформированности определенных знаний, навыков, умений. Главное не окличество выполненных заданий, а что человек знает, какие операции умеет делать.

Третья особенность КОРТа – показатели выполнения оцениваются не по сопоставимости с нормой, а по сопоставлению КОРТа с критерием (внешний заданный критерий). Что именно человек знает, чтобы рассчитывать на успех в определенной деятельности.

Как конструируется КОРТ?

С самого начала обратить внимание на определенную критериальную задачу – это внешнее требование к человеку, что человек должен знать и уметь. Насколько человек способен к пониманию прочитанного сложного текста. Деятельность понимания выражается в отдельных операциональнеых компонентах.

Типы задач: подчеркивать предложение, где отражается главная мысль. Выбор заголовка для отрывка текста. Перечислить факты, отражающие главную мысль.

Принципы при отборе задач:

1. должны дифференцировать испытуемого

2. должны быть разными по трудности (отбросить задачи, которые решаются всеми или ни одним)

Не важно дифференцируют ли задания разных испытуемых, различны ли по трудности – главное – чтобы были адекватны той деятельности, которую нужно диагностировать. По результатам КОРТа судят: какими операциональными компонентами деятельности владеет испытуемый, а какими нет.

Цель использования: можно выяснить, какими операциональными, содержательными компонентами испытуемый не владеет в полной мере – выяснив это можно определить направление коррекционной работы. Определив в чем недостатки – можно наметить путь усовершенствования.

Четвертая особенность КОРТа – в процессе критериально-ориентировочной практики – КОРТы выполняют мотиво-образующую функцию. Их выполнение побуждает индивидов к совершению собственных умений, заданий.

Как КОРТы используют по отношению к диагностике умственного развития?

Сформированность отдельных навыков – которые можно разложить на отдельные компоненты - ограничивают КОРТы. Сложную умственную деятельность невозможно разложить на отдельные компоненты. Можно оценивать элементарные навыки.

1. разработка методик ориентированных на систему социально-психологических нормативов (частный вид КОРТа). На общие требования к умственному развитию опирались разработчики тестов на социально-психологические нормативы. Можно оценить насколько соответствует умственное развитие – внешним требованиям.

2. Разработка особых методик, ориентированных на критерий – совокупность компонентов умственного развития, обеспечивают их успешное выполнение.

Насколько умственное развитие соответствует специфическим требованиям можно определить, используя КОРТ.

Первая работа по разработке КОРТ в 80-е годы Горбачевой – КОРТ диагностики умственного развития в специфичной области. Выявление компонентов умственного развития, обеспечивающих успешное решение определенного класса математических задач. Умение составить уравнение по текстовым задачам. Какие нужны умственные операции – недостаточно тех знаний, которые даются на уроках математики. Совокупность умственных операций – чтобы выяснить, какие нужны операции. Горбачева давала в 5 классе тексты математических задач. В задаче требовалось составить уравнение, но составлять (решать) нужно с определенными условиями – ничего нельзя записывать. Школьники проговаривали свои способы выполнения. Она определила 4 группы умственных действий – операциональные компоненты деятельности по решению текстовых задач.

Для каждого умственного действия - разные типы задач. Всего 4 субтеста:

1. выделение существенного

2. четвертый лишний

3. найди подобие

4. установление тождества.

Валидность устанавливалась по сопоставлению с успешностью обучения математики. Специальные контрольные задания по математике. Выяснилось, что каждый из отдельных субтестов слабо коррелирует с успешностью выполнения контрольных заданий. Но общее значение субтестов высоко коррелирует с успешностью выполнения контрольных заданий. Отдельного действия недостаточно. Наглядное мышление и вербальное мышление должны быть сформированы для успешного выполнения деятельности