Другие журналы

научное издание МГТУ им. Н.Э. Баумана

НАУКА и ОБРАЗОВАНИЕ

Издатель ФГБОУ ВПО "МГТУ им. Н.Э. Баумана". Эл № ФС 77 - 48211.  ISSN 1994-0408

Квалиметрический метод оценивания олимпиадных заданий

#7 июль 2007

Искандерова Алла Борисовна

преподаватель кафедры «Физика»

Ижевского государственного технического университета

 

В соответствии с программой научно-исследовательской работы студентов кафедра общей физики Ижевского государственного технического университета проводит ежегодно внутри вузовскую олимпиаду по общей физике среди студентов 1-3 курсов всех специальностей вуза. В олимпиаде могут принять участие все желающие студенты.

Олимпиада по общей физике среди студентов вуза проводится в форме письменной работы, выполненной одним автором. Все участники предметной олимпиады получают одинаковые задания. Олимпиадные задания представляют собой теоретические физические задачи, соответствующие программе курса общей физики высших технических учебных заведений.

Реформа образования в Российской Федерации привела к внедрению и развитию диагностирования уровня знаний обучаемых с помощью тестовых контрольных материалов. Мы не хотим принижать значимость и актуальность данного направления.

Отечественные и зарубежные тестологи исследовали и оценили достоинства и недостатки различных способов контроля уровня знаний обучаемых. Традиционные способы контроля знаний, к которым относятся устный опрос, письменные контрольные работы, коллоквиумы, олимпиады и т.п., получили невысокую оценку исследователей – тестологов благодаря выраженному влиянию на результат субъективного фактора.

Так как олимпиадные работы студенты выполняют в письменной форме, обратимся к исследованиям К. Ингенкампа [1]. Исследователь считает, что достоинством письменного варианта работы является возможность документального выяснения уровня знаний экзаменуемых.

Однако, на оценку письменной работы студента влияют следующие субъективные факторы:

·         предварительная характеристика обучаемого студента;

·         объем письменной работы;

·         орфографические и лексические ошибки;

·         почерк автора письменной работы;

·         очередность проверяемой работы.

Объективность оценки работы студента важна, т.к. победитель может рассчитывать на приз в виде освобождения от экзамена или зачета по предмету (по решению кафедры), материального вознаграждения, возможность принять участие в олимпиаде более высокого уровня.

Для устранения влияния субъективного фактора при оценивании олимпиадной работы студента и определения уровня сложности олимпиадного задания, мы предлагаем применить квалиметрические методы диагностирования педагогических контрольных материалов и адаптировать технологии, используемые при оценивании тестовых заданий.

Оценивание олимпиадных заданий может происходить в несколько этапов:

·         создание рабочей группы;

·         создание группы экспертов-преподавателей;

·         структурирование учебного материала в форме учебного тезауруса;

·         создание банка олимпиадных заданий;

·         «разбалловка» олимпиадных заданий.

Для формирования экспертной группы достаточно использовать метод взаимных рекомендаций и метод самооценки [2]. Рабочая группа определяет количество экспертов в соответствии с формулой:

 

Nmin=φ•d²/(ΔQ•(1-γ)),

 

где φ – это коэффициент, который определяется доверительной вероятностью, d – это размах оценочной шкалы, ΔQ – абсолютная погрешность экспертной оценки, γ – это доверительная вероятность. Если доверительная вероятность γ изменяется от 80% до 90%, то коэффициент φ=0,09.

Если используемая шкала является пятибалльной, т.е. d = 4 и ΔQ = 1, то количество экспертов должно быть равным семи.

Экспертная группа формируется из членов кафедры физики ИжГТУ. Кандидатам в эксперты предлагается заполнить следующие анкеты.

 

Критерии оценки

Ранг

Оценка / Ответ

Научно-педагогический стаж

 

 

Количество методических работ

 

 

Ученая степень

 

 

Участие в работе жюри при проведении олимпиад по физике в средней общеобразовательной школе

 

 

Участие в работе жюри при проведении вузовских олимпиад по физике

 

 

Знание теоретического материала

 

 

Знакомство с научными и методическими материалами по профессиональной деятельности

 

 

Знание учебных программ по общей физике и требований ГОС

 

 

Степень знакомства с основами тестологии

 

 

 

Анкетируемый в графе «ранг» выставляет баллы от 1 до 9 в зависимости от степени значимости критерия оценки для работы в экспертной группе, и по пятибалльной шкале дает самооценку своих качеств для выделенных строк анкеты. В соответствии с рекомендациями автора метода экспертных оценок мы вычислили количественную характеристику компетентности экспертов. Обработав анкету, мы определили коэффициент самооценки эксперта в соответствии с формулой

 

Kئ = Sj / (Sj),

 

где

Sj = S νi · Sij,

 

Sij – это степень самооценки i-того кандидата в эксперты по j-тому параметру анкеты, Sj – это сумма самооценок j-того кандидата в эксперты, Si – сумма самооценок всех кандидатов в эксперты, νi – весовой коэффициент i-того показателя выделенной части анкеты.

Он определяется в соответствии с формулой:

 

νi = Ri / (ΣRi),

где

Ri = ΣRij,

Ri – сумма рангов, проставленная i-тому показателю анкеты всеми кандидатами в эксперты, ΣRij – общая сумма рангов, проставленная всеми кандидатами в эксперты всем показателям анкеты.

После обработки анкетных данных коэффициент самооценки членов экспертной группы Kjª изменялся в пределах от 0,08 до 0,12.

Коэффициент анкетных данных мы определяли в соответствии с формулой:

 

Kiⁿ  =  Σνi • Aij,

 

где νi – это весовой коэффициент i-того показателя анкеты, Aij – нормированный ответ j-того кандидата в экспертную группу на i-тый вопрос анкеты.

Коэффициент анкетных данных Kiⁿ , вычисленный нами, принадлежал интервалу от 0,10 до 0,17.

Комплексную оценку компетентности i-того эксперта, можно вычислить в соответствии с формулой:

 

Κi = C¹ •Kiª + C² •Kiⁿ  ,

 

где C¹ и C² это коэффициенты значимости первой и второй части анкеты.

Комплексная оценка компетентности экспертов Ki изменяется от 0,05 до 0,11.

Коэффициент согласия мы получили по формуле Кэндэла:

 

W = 12S / (m²•(n³-n)),

 

где m – это количество кандидатов в эксперты, n – это количество вопросов в анкете,

 

S = Σ( Ri - <R> )²,

 

<R> = 1/n • ΣRi ,

 

где <R> это средний ранг показателя, Ri – это суммарный ранг i-того показателя анкеты.

Коэффициент согласия группы экспертов получился равным 0,75 (W=0,75). Это свидетельствует о «хорошем согласии» среди членов экспертной группы.

Для создания пакета олимпиадных заданий по общей физике для втузовского курса экспертная группа поводит отбор, структурирование и диагностирование учебного материала.

Мы предлагаем ввести количественную характеристику задания – «уровень сложности». Для ее определения необходимо структурировать учебный материал в форме учебного тезауруса. Под тезаурусом мы понимаем множество учебных дескрипторов и связей между ними. Учебным дескриптором называют базовые понятия, умения, навыки. Структурировать учебный материал в любой области знаний удобно с помощью, так называемой, матрицы обученности.

В работе Татура А.О. и Родионова Б.У. [3] предложена данная матрица обученности, в которой классифицированы знания и навыки обучаемых.

 

МТ

БТ

ПТ

СТ

МА

БА

ПА

СА

МО

БО

ПО

СО

МФ

БФ

ПФ

СФ

 

Столбцы матрицы определяют объем знаний. Авторы, используемой нами модели, выделили четыре ступени объема знаний:

М – мировоззренческий минимум, т.е. знания, которые должны остаться в памяти любого обучаемого по данному предмету;

Б – базовые знания, т.е. знания, которые необходимы для дальнейшего изучения предмета;

П – программные знания сверх базового уровня;

С – сверхпрограммные знания.

Строки матрицы обученности определяют структуру умений, а именно:

Ф – фактический уровень – это способность учащегося идентифицировать основные факты, формулы, термины и принципы предмета, т.е. классифицировать, распознавать учебные материалы об объектах и их свойствах, о действиях с ними.

О – операционный уровень – предполагает умение действовать по предписанному алгоритму, образцу, правилу, формулам. Здесь обучаемый повторяет по памяти образец, не объясняя свой выбор и действия.

А – аналитический уровень; Данный уровень характерен для обучаемого, который может провести доказательства, сделать выводы из фактов, проанализировать ситуацию, решить комбинированную задачу в пределах одной дисциплины.

Т – творческий уровень. Этот уровень предполагает свободное владение знаниями предшествующих уровней, способность обучаемого делать самостоятельные выводы и прогнозы, решать проблемные учебные задачи.

Задания олимпиадного уровня должны диагностировать уровни знаний студентов соответствующие ступеням базовых знаний и программных знаний сверх базового уровня, а также операционный, аналитический и творческий уровни умений испытуемых.

Мы использовали методику составления учебного тезауруса, предложенную Мирошниченко А.А. [4]. Ее основные этапы следующие: c помощью экспертизы определяются литературные источники для отбора дескрипторов, системы классификации дескрипторов; создается модель структуры учебного тезауруса. После анализа учебных программ дисциплины общая физика для различных специальностей экспертная группа выделила следующие учебные модули:

1)            Кинематика поступательного и вращательного движения материальной точки.

2)            Классическая динамика.

3)            СТО.

4)            Молекулярная физика.

5)            Термодинамика.

6)            Электростатика.

7)            Электрический ток.

8)            Магнетизм.

9)            Оптика.

10)        Ядерная и квантовая физика.

В соответствии с требованиями, предъявляемыми к задачам олимпиадного уровня втузовского курса общей физики, рабочая группа преподавателей составила банк олимпиадных заданий по физике для студентов 1-3 курсов. Количество задач-кандидатов должно в 1,5-2 раза превышать количество задач предлагаемых участнику олимпиады.

Общее количество задач, предлагаемых участникам предметной олимпиады, может не соответствовать количеству учебных модулей, определенных экспертной группой.

Задачи олимпиадного уровня должны иметь высокий уровень сложности, быть комбинированными, сформулированными нестандартно (но не некорректно!). Для определения уровня сложности каждого олимпиадного задания экспертам-преподавателям была предложена для каждой задачи анкета-таблица. В ней отражены следующие характеристики задания:

·         обсуждаемый учебный элемент;

·         соответствующие столбец и строка матрицы обученности;

·         математический уровень сложности реализации решения задачи;

·         время, требуемое для выполнения данного задания учащимся.

Отражать в анкете эксперта отдельные дескрипторы учебного материала не является целесообразным, так как целью олимпиады не является диагностирование мировоззренческого и базового уровней обученности.

Приведем в качестве примера таблицу-характеристику олимпиадного задания.

 

Качества / Свойства

Значимость

Оценка

Примечания

Учебные модули

 

 

 

Количество учебных элементов, используемых в задании

 

 

 

Количество способов решения задачи

 

 

 

Среднее время, требуемое для выполнения задания

 

 

 

Степень сложности математической реализации решения (по пятибалльной шкале)

 

 

 

Уровни знаний и умений в матрице обученности, диагностируемые данным заданием

 

 

 

Корректность формулировки задания

(по двухбалльной шкале).

 

 

 

 

В столбце «значимость» эксперт выставляет баллы от 1 до 7 в зависимости от степени значимости обсуждаемого качества задания. В столбце «оценка» эксперт указывает количественную характеристику обсуждаемого свойства задания.

Обработав данные таблицы-характеристики каждого олимпиадного задания, можно определить его весовой коэффициент.

При анализе метода решения олимпиадной задачи в письменной работе студента жюри использует таблицу. В ней отражены следующие характеристики решения задачи: степень сложности математической реализации решения, учебные модули, оригинальность решения, наличие векторных диаграмм и рисунков.

 

Список литературы:

1.      Ингенкамп К. Педагогическая диагностика: Перевод с немецкого – М.: Педагогика, 1991. 240 c.

2.      Черепанов В.С. Экспертные методы в педагогике: Учебное пособие. – Пермь: Изд-во ГППИ, 1988 84 с

3.      .Родионов Б.У., Татур А.О. Стандарты и тесты в образовании. М., 1995. 48 с.

4.       Мирошниченко А.А. Информационно-семантическое структурирование учебного материала: Автореф. дисс… канд. пед. наук. Ижевск: УдГУ, 1995. 22 с.

Поделиться:
 
ПОИСК
 
elibrary crossref ulrichsweb neicon rusycon
 
ЮБИЛЕИ
ФОТОРЕПОРТАЖИ
 
СОБЫТИЯ
 
НОВОСТНАЯ ЛЕНТА



Авторы
Пресс-релизы
Библиотека
Конференции
Выставки
О проекте
Rambler's Top100
Телефон: +7 (915) 336-07-65 (строго: среда; пятница c 11-00 до 17-00)
  RSS
© 2003-2018 «Наука и образование»
Перепечатка материалов журнала без согласования с редакцией запрещена
 Тел.: +7 (915) 336-07-65 (строго: среда; пятница c 11-00 до 17-00)