Надежность психологических тестов
В обычной жизни надежность человека или какого-либо предмета означает уверенность в том, что на него можно положиться. Как же проверяют, что на психологический тест можно положиться?
Первый способ проверки надежности психологического теста – анализ устойчивости результатов теста. Действительно, если результаты использования теста на одной и той же выборке существенно не меняются при нескольких тестированиях, то это может служить критерием его надежности.
Повторное тестирование называется ретест. Его проводят с интервалом от недели до года. Затем анализируют корреляции нескольких замеров. Если корреляции между результатами ретестов не ниже 0,76, то такой тест считается надежным.
Недостатки ретестовой проверки надежности психологического теста.
1. Некоторые психологические показатели неустойчивы и изменчивы. Например, измеряя настроение, самочувствие в разное время дня или в разные дни, можно получить разные результаты, и это не будет следствием ненадежности теста.
2. При неоднократном заполнении одного и того же теста испытуемые к нему «привыкают». Они могут помнить свои ответы и отвечать так же. Могут, наоборот, менять ответы в сторону социальной желательности. Таким образом, ретестовая надежность не будет в полной мере отражать надежность теста.
Второй способ проверки надежности психологического теста – анализ согласованности различных частей теста. Например, в тесте один показатель, который диагностируется 10-ю вопросами. Согласованность данного теста определяется высокой корреляцией ответов на каждый вопрос с общим результатом по шкале.
Часто для определения согласованности психологического теста его расщепляют на две части. Можно это сделать, отбирая вопросы через один. Можно разделить первую и вторую половину теста. Далее анализируют корреляции ответов двух расщепленных частей теста. Чем выше корреляция, тем выше согласованность теста и его надежность.
Итак, надежность психологического теста – это характеристика его формальной пригодности для диагностики психологических показателей. Например, если тест диагностики тревожности надежен, то это значит, что при его использовании на разных выборках, в разное время вы будете получать схожие результаты. Но будут ли эти результаты характеризовать именно тревожность испытуемых? Надежность психологического теста этого не гарантирует. За это отвечает другой показатель – валидность психологического теста.
Понятие теста
Термин «тест» в смысле обследования, проверки, который очень распространен в различных областях знаний, имеет долгую историю. Согласно Р. Пенто и М. Гравицу (1972), слово «тест» происходит из старофранцузского языка и является синонимом слова «мензурка» (лат. testa — ваза из глины). Этим словом называли небольшие сосуды из обожженной глины, используемые алхимиками для проведения экспериментов. В русском языке слово «тест» долгое время имело два значения:
1) испытательная присяга, религиозная английская клятва, которую должен принести каждый, кто занимает государственную должность, чтобы доказать, что он не является тайным католиком;
2) неглубокий плавильный сосуд или сосуд с выщелоченной золой для извлечения олова из золота или серебра (Российский энциклопедический словарь. 1877).
Термин «тест» как психологический термин приблизился к своему современному значению в конце XIX века.
В психологии тесты — это стандартизированные методы психодиагностики, позволяющие получить сопоставимые количественные и качественные показатели степени развития исследуемых характеристик.
Стандартизация таких методов означает, что они всегда и везде должны применяться одинаково, начиная с ситуации и инструкций, которые получает участник тестирования, и заканчивая тем, как рассчитываются и интерпретируются полученные результаты измерений. Сопоставимость означает, что результаты, полученные с помощью теста, можно сравнивать друг с другом, независимо от того, где, когда и кем они были получены, при условии, конечно, что тест был применен правильно. Из всех возможных психодиагностических процедур к тестам предъявляются самые высокие требования по валидности, надежности, точности и уникальности.
Существует множество видов тестов, которые делятся на группы по нескольким причинам: по предмету теста (качество, которое оценивается данным тестом); по характеристикам заданий, используемых в тесте; по материалу, предъявляемому тестируемому; по предмету оценки.
В психодиагностике известны различные классификации тестов. По характеристикам используемых тестовых заданий их можно разделить на вербальные и практические тесты, по форме процедуры тестирования — на групповые и индивидуальные, по направленности — на тесты способностей, тесты личности и тесты определенных психических функций, а по наличию или отсутствию временных ограничений — на тесты скорости и тесты достижений. Тесты также могут отличаться по принципам их построения. В последние десятилетия многие известные тесты были адаптированы к компьютерной среде (отображение, обработка данных и т.д.), их можно назвать компьютерными тестами. Ведется активная работа по разработке компьютерных тестов, которые изначально разрабатываются с учетом возможностей современной компьютерной техники.
Тест, как и любой другой когнитивный инструмент, имеет присущие ему характеристики, которые можно рассматривать как его сильные и слабые стороны при определенных условиях исследования. Эффективное использование тестов зависит от учета многих факторов, наиболее важными из которых являются: теоретическая концепция, на которой основан тот или иной тест; сфера применения; весь поведенческий комплекс, обусловленный стандартными требованиями к психологическим тестам и их психометрическим свойствам. Широко распространенные представления о «простоте» и доступности тестов не соответствуют действительности. Поскольку тест — это средство изучения сложнейших психических явлений, его нельзя трактовать просто как постановку задачи и регистрацию ее решения. Научное применение тестов возможно только при условии опоры на общепсихологические знания, компетентности в теории и практике соответствующего психодиагностического исследования. Не менее важным является соблюдение этических норм психодиагностики.
Валидность психологических тестов
Валидность психологических тестов отражает соответствие их результатов сущности измеряемых психологических феноменов. Например, насколько результат теста агрессивности отражает реальный уровень агрессивности респондента.
Можно выделить два основных способа определения валидности психологических тестов.
Первый способ выявления валидности психологического теста предполагает соотнесение результатов теста с аналогичными показателями других тестов. Например, для проверки валидности теста на самооценку можно сделать следующее:
- провести тестирование испытуемых по новому тесту;
- выявить самооценку испытуемых по другому тесту (предполагается, что он валиден);
- рассчитать корреляцию показателей самооценки по двум психодиагностическим методикам;
- статистически значимая корреляция даст основания говорить о валидности нового теста.
Такой способ позволяет выявить так называемую конструктную валидность. Она отражает соответствие выявляемого психологического показателя психологическому конструкту.
Второй способ выявления валидности психологического теста предполагает соотнесение результатов теста с внешними критериями. Такая валидность называется критериальная валидность психологического теста.
Например, показателем критериальной валидности теста склонности к отклоняющемуся поведению может быть реальное число правонарушений подростка. Применительно к тесту мотивации достижений показателем критериальной валидности может быть успешность выполнения той или иной деятельности.
Типы валидности тестов и методы ее определения
ЛЕКЦИЯ № 10. Сущность валидности
1. Определения валидности
Валидность
(от англ. valid – «действительный, пригодный, имеющий силу») – комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.
В наиболее простой и общей формулировке валидность теста – это «понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает» А. Анастази
, 1982). В стандартных требованиях к психологическим и образовательным тестам валидность определяется как комплекс сведений о том, относительно каких групп психологических свойств личности могут быть сделаны выводы с помощью методики, а также о степени обоснованности выводов при использовании конкретных тестовых оценок или других форм оценивания. В психодиагностике валидность – обязательная и наиболее важная часть сведений о методике, включающая (наряду с указанными выше) данные о степени согласованности результатов теста с другими сведениями об исследуемой личности, полученными из различных источников (теоретических ожиданий, наблюдений, экспертных оценок, результатов других методик, достоверность которых установлена и т. д.), суждение об обоснованности прогноза развития исследуемого качества, связь изучаемой области поведения или особенности личности с определенными психологическими конструктами. Валидность описывает также конкретную направленность методики (контингент испытуемых по возрасту, уровню образования, социально-культурной принадлежности и т. д.) и степень обоснованности выводов в конкретных условиях использования теста. В совокупности сведений, характеризующих валидность теста, содержится информация об адекватности применяемой модели деятельности с точки зрения отражения в ней изучаемой психологической особенности, о степени однородности заданий (субтестов), включенных в тест, их сопоставимости при количественной оценке результатов теста в целом.
2. Важнейшие составляющие валидности
Важнейшая составляющая валидности – определение области изучаемых свойств – имеет принципиальное теоретическое и практическое значение при выборе методики исследования и интерпретации ее данных. Содержащаяся в названии теста информация, как правило, недостаточна для суждения о сфере его применения. Это лишь обозначение, «имя» конкретной процедуры исследования. В качестве примера можно привести широко известную корректурную пробу. Область изучаемых свойств личности включает устойчивость и концентрацию внимания, психомоторную подвижность. Данная методика позволяет получать оценки выраженности этих психологических качеств у испытуемого, хорошо согласуется с показателями, полученными другими методами, и, следовательно, обладает высокой валидностью. Наряду с этим результаты выполнения корректурной пробы подвержены влиянию большого количества других факторов (нейродинамических особенностей, характеристик кратковременной и оперативной памяти, индивидуальной переносимости монотонии, развития навыка чтения, особенностей зрения и т. д.), по отношению к которым методика не является специфичной. В случае применения корректурной пробы для их измерения валидность будет невелика или сомнительна.
Таким образом, очерчивая сферу применения методики, валидность отражает и уровень обоснованности результатов измерения. Очевидно, что при небольшом количестве сопутствующих факторов, влияющих на результат исследования, а значит, при их незначительном воздействии на результат теста достоверность тестовых оценок будет выше. Еще в большей степени достоверность данных теста определяется набором измеряемых свойств
, их значимостью для осуществления диагностируемой сложной деятельности, полнотой и существенностью отражения в материале теста предмета измерения. Так, чтобы удовлетворить требованиям валидности, диагностическая методика, предназначенная для профотбора, должна включать анализ широкого круга нередко различных по своей природе показателей, наиболее важных для достижения успеха в данной профессии (уровеня внимания, особенностей памяти, психомоторики, эмоциональной устойчивости, интересов, склонностей и т. д.). Как видно из вышеизложенного, в понятие валидности входит большое количество самой разнообразной информации о тесте. Различные категории этих сведений и способы их получения образуют
типы валидности
.
Соотношение надежности и валидности психологических тестов
Надежность теста отражает его качество как метода диагностики, с точки зрения формальных показателей. Без учета содержательного анализа результатов.
Валидность оценивает именно содержательные результаты теста. Насколько они соответствуют реальным психологическим феноменам.
Надежный тест может не быть валидным. Например, тест инициативности может показывать высокую ретестовую надежность и согласованность частей. Однако, с содержательной точки зрения, результаты теста отражают не столько инициативность, сколько силу воли. То есть, надежность данного теста высокая, а валидность низкая.
В практике психологического тестирования надежность тестов с помощью ретеста. Валидность психологических тестов, как правило, проверяется с помощью анализа взаимосвязей с показателями других тестов, измеряющих аналогичные или схожие психологические показатели.
Типы критериев валидности
Валидность теста — это один из показателей, который позволяет оценить адекватность и пригодность методики для изучения того или иного явления. Можно выделить четыре основных критерия, которые могут повлиять на нее:
- критерий исполнителя (речь идет о квалификации и опыте исследователя);
- субъективные критерии (отношение испытуемого к тому или иному явлению, что отражается на конечном результате теста);
- физиологические критерии (состояние здоровья, усталость и прочие характеристики, которые могут оказать существенное влияние на конечный результат тестирования);
- критерий случайностей (имеет место в определении вероятности наступления того или иного события).
Критерий валидности представляет собой независимый источник данных о том или ином явлении (психологическом свойстве), исследование которого проводится посредством тестирования. До тех пор, пока не будет проведена проверка полученных результатов на соответствие критерию, о валидности судить нельзя.
