Как оценивались задания

За выполнение отдельных заданий учащиеся получали от 0 до 3 баллов. Все задания с выбором ответа, включая комплексные, а также задания с кратким ответом оценивались в 0 баллов (неправильное выполнение или пропуск задания) или в 1 балл (правильное выполнение). Задания с открытым свободно конструируемым ответом оценивались от 0 до 3 баллов. При этом количество баллов, полученных учеником, зависело от полноты и соответствия ответа разработанным для оценки задания критериям.

Обращает на себя внимание то, что при проверке заданий со свободно конструируемым ответом использовались критерии «ответ принимается полностью», «ответ принимается частично», «ответ не принимается» вместо критериев «верный ответ», «частично верный ответ» и «неверный ответ». Это было сделано по двум причинам. Во-первых, на некоторые вопросы не имеется «верного» ответа. Ответы ранжируются по степени, с которой ученик демонстрирует понимание текста вопроса или материала темы, связанной с этим вопросом. Во-вторых, категория «ответ принимается полностью» не обязательно включает только полный верный или идеальный ответ. Введение трех рубрик – «ответ принимается полностью», «ответ принимается частично», «ответ не принимается» – позволяет распределить ответы учащихся на три группы, различающиеся по степени, с которой ученик демонстрирует способность ответить на предложенный вопрос.

Следует отметить, что при проверке ответов учащихся не учитывались допущенные ими орфографические и пунктуационные ошибки, если они не искажали сути ответа.

По результатам выполнения всего международного теста (первичного балла) каждый ученик получал суммарный тестовый балл за выполнение заданий каждой группы проверяемых умений (нахождение информации, интерпретация текста, рефлексия и оценка), затем эти три балла объединялись в один общий тестовый балл. На основе этих четырех тестовых баллов для каждого ученика определялся уровень сформированности умений работать с текстами – «грамотность чтения». Каждому уровню соответствовали определенные задания, выполнение которых свидетельствовало о его достижении.

Современная теория тестирования позволяет содержательно интерпретировать результаты педагогических измерений, т.е. соотнести уровень достижений учащихся с теми заданиями, которые наиболее вероятно могут быть выполнены. В связи с этим с некоторой вероятностью можно считать, что балл каждого тестируемого показывает, какие задания (самые трудные) наиболее вероятно может выполнить данный ученик. Соответственно средний балл для каждой страны показывает, какие задания (самые трудные) наиболее вероятно может выполнить средний ученик данной страны.