Что такое рубежный контроль
Что такое рубежный контроль
Porta itineri longissima
Труден лишь первый шаг
1) соответствует политике, процедурам и правилам СМК;
2) целостно описывает все закономерности учебного процесса;
3) является инструментом для преподавателя и обучающегося;
4) гарантирует 100% достижение результата.
С 2005-2006 учебном году в КАСУ наряду с традиционной системой обучения, внедрена кредитная (КСО). Постепенно завоевывая прочные позиции, КСО становится, с одной стороны, методом конкуренции на рынке образовательных услуг, с другой стороны – инструментом повышения качества, перспективным направлением непрерывного образования. Большинство вузов Казахстана уже знакомы с концептуальными, содержательными и организационными основами кредитной системы обучения. Мы хотим обратить внимание на один из важных аспектов КСО – организацию контроля знаний обучающихся, а именно – на проведение рубежного контроля знаний студентов в течение семестра.
Рубежный контроль (Midterm examination) – контрольное мероприятие образовательного процесса, периодическая проверка учебных достижений обучающихся, проводимая преподавателем, ведущим учебные занятия, согласно утвержденному академическому календарю. В КАСУ рубежный контроль проводится дважды за семестр – на 7 и 14 неделе обучения. Руководствуясь основными принципами СМК в образовании преподавателями обобщен опыт, на основании которого в вузе будет создана система методического обеспечения и проведения рубежного контроля.
Рубежный контроль проводится по балльно–рейтинговой системе, которая предполагает суммирование оценок текущего контроля и контрольной работы за первый период обучения (6 недель). Рейтинговый бал первого и второго рубежного контроля (Р1) высчитывается по формуле, идентичной формуле расчета итоговой оценки
где Р –рубежный контроль;
ТК – текущий контроль (складывается из разных видов работ, проделанных обучающимися за этот период);
КР – контрольная работа за прошедший период (форма проведения устанавливается самим преподавателем). При подсчете итоговой оценки за весь курс изучения дисциплины учитывается Рср. = (Р1+Р2): 2.
Таким образом, весь комплекс контроля и оценки знаний обучающегося предполагает:
1) знание ППС теоретического материала по основным видам контроля;
2) разработку методических рекомендаций по проведению Р1, Р2;
3) знание методики посчета оценки текущего контроля и рейтингового балла.
Для уточнения образовательной и управленческой стратегии определены следующие задачи:
1) изучение готовности ППС и уровня их профессиональной компетенции.
2) выявление методических условий для проведения контроля;
3) разработка продуктивной модели организации Р1, Р2 в рамках КСО;
4) проверка продуктивности различных видов контроля на практике;
В ходе реализации названных задач ОМ и КО проведен инструктаж руководителей подразделений по организации и методическому обеспечению РК, анализ целеполагания, форм проведения РК, критериальной базы рейтинга. Поскольку преподаватель в процессе внедрения КСО в КАСУ является одновременно и субъектом и объектом деятельности, то ему принадлежит ведущая роль в реализации кредитного обучения, проведении рубежного контроля. Работа направлена, прежде всего, на диагностику уровня профессионально-педагогических умений (проектировочных, конструктивных, организаторских) и оказание преподавателям методической помощи в виде составления методических рекомендации. На основе оценки и самооценки ППС было выявлено, что у большей части преподавательского состава необходимые для осуществления контрольных мероприятий КСО профессионально-педагогические умения сформированы в достаточной степени.
Прежде, чем включать ППС в активную деятельность по разработке контрольно-измерительных средств, был проведен мониторинг форм и методов проведения рубежного контроля у студентов. Цель мониторинга:
1) выявления знаний ППС форм проведения Р1, Р 2;
2) анализ умений постановки целей;
3) отбор материала для сборника методических рекомендаций КИС КАСУ и создания базы данных КИМ (контрольно-измерительных материалов).
В таблице приведены основные формы проведения Р1, Р2 согласно представленных 44 методических разработок для проведения рубежного контроля:
Рубежный контроль как форма оценивания знаний, умений и навыков студентов
Онлайн-конференция
«Современная профориентация педагогов
и родителей, перспективы рынка труда
и особенности личности подростка»
Свидетельство и скидка на обучение каждому участнику
Рубежный контроль как форма оценивания знаний, умений и навыков студентов
Для систематического контроля за достижением обязательных результатов обучения в ходе учебного процесса целесообразно выбрать определённую форму проверки знаний, умений и навыков студентов. Обязательные результаты обучения – это тот минимум, который необходим для дальнейшего обучения, выполнения программных требований к уровню подготовки студентов. Поэтому при проверке и выставлении оценки для преподавателя принципиально важно получить определённый ответ: овладел или не овладел студент формируемыми знаниями и умениями на обязательном уровне. Цель каждого преподавателя – добиться того, чтоб каждый студент овладел важнейшими знаниями и умениями, для дальнейшей успешной учебы. Поэтому если студент не получает оценку по рубежной аттестации, надо организовать доработку соответствующего материала и его повторную проверку
Рубежный контроль предусматривает оценку знаний, умений и навыков студентов по пройденному материалу по каждой дисциплине на основе текущих оценок, полученных ими на занятиях за все виды работ
Рубежный контроль предусматривает оптимальную накопляемость оценок успеваемости каждого студента
Накопляемость оценок успеваемости студентов добивается при использовании разнообразных методов оценки знаний:
практические и лабораторные работы
В ходе рубежного контроля оцениваются выполнение студентами внеаудиторной самостоятельной работы: работа с первоисточниками, реферативная, исследовательская работа, выполнение заданий в предметных кружках
Порядок выставления оценок и продление срока ликвидации задолженностей по рубежному контролю
Рубежный контроль знаний, умений и навыков проводится на усмотрении преподавателя, по семестрам
Оценки по рубежной аттестации выставляются ведущим преподавателем в учебном журнале
Выставление оценки по дисциплине осуществляется, если на момент аттестации пройдено не менее шести академических часов
Результаты рубежного контроля оформляются документально и сдаются в учебную часть
Принятие задолженностей по результатам рубежного контроля, т.е. повторная проверка знаний студентов, получившие неудовлетворительные оценки, проводится в течение десяти дней по заявлению студентов, подписанных в учебной части
Классный руководитель осуществляет ежедневный контроль за ликвидацией задолженности студентами по рубежному контролю и представляет информацию в учебную часть
В случае не ликвидации задолженности студентами, учебной частью рассматривается вопрос о направлении их на профессиональную аттестацию
Профессиональная аттестация проводится для студентов своевременно не ликвидировавших задолженность по результатам рубежного контроля
Дисциплины, их количество, выносимые на профессиональную аттестацию определяется учебной частью
В случае не прохождения студентами профессиональной аттестации учебной частью рассматривается вопрос об их отчислении
Итоги рубежного контроля
Результаты рубежного контроля обсуждаются в группах на классных часах, на заседаниях актива групп, цикловых комиссий, на расширенном заседании актива групп, педагогическом совете
Почти каждая тема сопровождается вопросами или тестами, которые помогают студенту более полно изучить материал и оценить степень его освоения. Но количество текущих контролей не совпадает с количеством тем, так как часть из них заменяется дискуссиями и рубежным контролем.
В этой части описания курса оговариваются формы текущего контроля и методика его проведения.
Наиболее популярными и адекватными для текущего контроля являются такие формы:
разнообразные задачи и задания, в том числе работа с источниками. Об этой форме мы уже писали.
Открытые вопросы представляют собой серии из 3–5 вопросов открытого характера (т.е. позволяющих студенту относительно свободно сформулировать ответ), охватывающими содержание темы. Они чаще используются там, где студент должен продемонстрировать понимание содержания (второй и последующие уровни усвоения).
Обязательно должны быть представлены критерии оценки ответов (на открытые вопросы), например:
В ответе минимум три полных предложения.
Своевременность представления (как указано в инструкции).
Ответ сопровождается примерами (минимум 1 пример).
С тестами проще, там оценка более формализована (по соотношению количества правильных и неправильных вариантов).
Микропроект
Как понятно из названия, студенту даются некие исходные данные (параметры, алгоритмы, цели и т.д.), по которым он должен что-то спроектировать – технологию, процедуру, объект. Скажем, по определенным данным построить организационную структуру. Выполненный проект обычно включает в себя сам проект и его описание, объем рубежного микропроекта – 3–4 страницы, итогового – 7–8.
Проводится по окончании курса, его содержание охватывает весь курс (или, по меньшей мере, узловые аспекты курса).
Наиболее распространенные методы итогового контроля:
групповой или индивидуальный проект.
Вообще-то, годится любой метод итогового контроля с одним ограничением – он никоим образом не должен предполагать пересказ или воспроизведение (пусть даже «творческое») текстов лекций или учебников. Но в итоговом контроле более предпочтительны нетестовые методы. О тестах будет ниже, о сочинении было выше, поэтому чуть подробнее о комплексных кейсах и проектах.
Комплексный кейс представляет собой набор логически связанных (вытекающих друг из друга) ситуаций профессиональной деятельности, требующих анализа и решения. Особенно хороши такие задания при изучении курсов, призванных формировать у студента ориентировочные основы функциональных блоков деятельности: менеджмент и производные курсы (стратегический, инновационный, антикризисный менеджмент, управление персоналом и др.), процессуально-правовые курсы, практическая психология и им подобные.
Об индивидуальном проекте тоже было сказано. А групповой различается лишь тем, что комплексное проектное задание разбивается на 3–5 частей, каждый выполняет свою часть, затем студенты обмениваются информацией о том, что и как делалось, согласовывают свои части и представляют ее на суд преподавателю. Поскольку предполагается процедура согласования и защиты, то такие работы делаются в рамках специальной страницы «Групповые проекты».
В качестве итога хотелось бы напомнить, что в рейтинговой системе успеваемости оценка по экзамену не становится оценкой по всему курсу
Во-первых, следует отметить, что тесты обычно содержат задания и эталоны – образцы правильного выполнения задания. Понятно, что эталон для работы творческого характера разработать весьма затруднительно, поэтому тесты крайне редко используют для проверки знаний и умений на высших уровнях усвоения.
В настоящее время используется довольно много вариантов тестов. Все их можно разбить на несколько групп.
1 группа – тесты с выбираемыми ответами, их разновидности:
Тесты соотнесения. В них предлагается найти общее или отличное в объектах, соотнося их по свойствам, параметрам, классам и т.д.
Тесты-задачи. Дается условие задачи, нужные данные и варианты ответов в цифровой или буквенной форме. Студенту нужно выбрать правильный вариант. Задача также может быть сформулирована таким образом, что студенту нужно выбрать правильную последовательность действий и операций или определить зависимость каких-то факторов.
Тестовые задания могут быть представлены в различных формах – словесной, графической, табличной, символической и т.д.
Все эти тесты рассчитаны на проверку знаний-представлений и, отчасти, понимания материала (т.е. соответствуют I уровню усвоения). Такие тесты в наибольшей степени подходят для текущего контроля, а также для самоконтроля.
2 группа тестов не содержит эталонов (вариантов ответов).
Такие тесты используются для проверки понимания материала, а также некоторых умений, т.е. соответствуют II и, частично, III уровням усвоения.
Разновидности:
Конструктивные тесты не содержат подсказок и вариантов ответов. Они требуют от студента самостоятельного конструирования ответа: написания формулы, формулировки свойств, операционной последовательности, выполнения схемы и т.д. Эти тесты, в свою очередь, тоже делятся на два подвида:
Снова о списывании
Сложный вопрос – а если студент спишет ответы? Один из возможных ответов приведен в параграфе о письменных работах (я имею в виду иную учебную мотивацию дистанционных студентов). Другой ответ: тесты составляются таким образом, чтобы в них не было прямых ассоциаций с текстом лекции или учебника. Проще говоря, вопросы и варианты ответов не должны текстуально совпадать с названиями пунктов, параграфов и разделов учебника или лекции. Хорошо, если тесты носят ситуационный характер (на приложение изучаемых понятий к примерам или, наоборот, по конкретным примерам или ситуациям опознаются теоретические положения). Ну и само собой, тесты не должны содержать простого «справочного» материала типа дат, размеров и т.п.
1. Как проходит зачет по микропрепаратам паразитических животных.
Зачет по препаратам предусмотрен для студентов, обучающихся на отделении в течение всего учебного года. Зачет по препаратам паразитических животных является одной из форм контроля важного практического навыка – идентификация изучаемых на лабораторных занятиях паразитических животных по их микропрепаратам.
Зачету предшествует специальное занятие по самостоятельной идентификации всех тех 60-и микропрепаратов, которые будут представлены на зачете. На этом же занятии студенты получают перечень всех микропрепаратов.
Сам зачет проводится на последнем учебном занятии согласно расписанию занятий.
Зачет по препаратам паразитических животных несет на себе две функциональные нагрузки:
служит итоговой формой контроля тех практических умений студента по идентификации препаратов паразитических животных, которые формируются у него на лабораторных занятиях;
К зачету допускается студент, выполнивший учебный план по специальности за 2-й семестр:
На зачете каждый студент получает индивидуальный набор из 5-и микропрепаратов паразитических животных, преимущественно гельминтов, и переносчиков возбудителей заболеваний – клещей и насекомых. Задача студента – изучить каждый микропрепарат под микроскопом, идентифицировать его, указать стадию развития, пол (если имеется) и видовую принадлежность животного, и объяснить, по каким признакам он идентифицировал препарат.
Кроме того, студент должен продемонстрировать знание:
— латинского названия животного,
— названия вызываемого заболевания,
— способа заражения человека.
При опросе преподаватель использует схемы циклов развития, атлас микропрепаратов и рисунки микропрепаратов.
Как правило, отметка выставляется по 5-балльной шкале и соответствует, в основном, количеству правильно идентифицированных микропрепаратов. В тех случаях, когда используется рейтинговая система оценки знаний, отметка может варьировать в 10%-м диапазоне. Например, отметке “4” может соответствовать от 80 до 89 баллов (или %) по 100-балльной шкале.
Неудовлетворительная отметка, полученная студентом на зачете, должна пересдаваться до получения им положительной отметки.
· При подготовке к зачету студент должен иметь перечень микропрепаратов, которые могут быть предложены ему на зачете.
· Перед занятием, предшествующим зачету, необходимо
— прочитать описание изученных ранее микропрепаратов,
— изучить изображения микропрепаратов в учебных пособиях, рабочих тетрадях и атласе,
— отметить наиболее важные морфологические признаки, позволяющие идентифицировать микропрепарат.
· На занятии по самостоятельной идентификации микропрепаратов необходимо изучить все предложенные микропрепараты и идентифицировать их, используя для этого рисунки в своей рабочей тетради. При необходимости следует обращаться за консультацией к преподавателю или студентам.
· В течение недели, непосредственно предшествующей зачету, необходимо повторить латинские названия и циклы развития паразитов, способы заражения ими человека, изображения изучаемых микропрепаратов и их идентификационные признаки. Закончив подготовку, следует проверить качество своей подготовки. Для этого попросите своих товарищей задать вам несколько вопросов и предъявить для идентификации изображения нескольких микропрепаратов.
Готовясь к зачету, используйте:
Атлас предназначен для самостоятельной работы студентов при:
обучении по индивидуальному плану
отработке пропущенных практических занятий
подготовке к практическим занятиям
подготовке к рубежным контрольным работам
подготовке к аттестации и зачету
Атлас содержит изображения более 130 микропрепаратов, большинство из которых изучается на практических занятиях. Вы можете работать с атласом следующим образом:
изучать изображения микропрепаратов, рядом с которыми помещен текст с описанием изображения;
изучать изображения микропрепаратов, рядом с которыми написано только название препарата;
изучать изображения микропрепаратов и самостоятельно идентифицировать их.
Что такое рубежный контроль
Рубежный контроль является видом аттестации текущей учебной работы студентов
Рубежный контроль проходят студенты всех курсов очной и очно-заочной форм обучения. Студенты заочной формы обучения рубежный контроль не проходят.
Рубежному контролю подлежат все дисциплины учебного плана семестра за исключением дисциплин, относящихся к дополнительным видам подготовки.
Рубежный контроль проводится один раз в семестр по каждой дисциплине после изучения 50% учебного материала дисциплины, запланированного на семестр.
Рубежный контроль проводит преподаватель, заранее объявив о его дате и форме (как правило, на последнем учебном занятии перед рубежным контролем).
Рубежный контроль проводится в рамках лекционных и семинарских часов, отведенных на изучение дисциплины.
Студентам, не участвующим в рубежном контроле по уважительным причинам, сроки аттестации могут быть продлены.
Рубежный контроль может быть проведен в следующих формах:
Результаты рубежного контроля фиксируются в Ведомости балльно-рейтинговой системы оценки учебной работы студентов, по результатам прохождения рубежного контроля студенту начисляются баллы балльно-рейтинговой системы.
В случае неаттестации студента по результатам рубежного контроля, баллы балльно-рейтинговой системы не начисляются (ставится 0).
Студенту может быть предоставлена возможность переаттестации рубежного контроля по дисциплине с выполнением дополнительного задания, определяемого преподавателем.
При переаттестации рубежного контроля баллы балльно-рейтинговой системы указываются в соответствующей колонке Ведомости БРС через «/».
Студенты, не аттестованные в установленные сроки в рамках рубежного контроля, не допускаются к промежуточной аттестации по дисциплине.
Тест минимальной компетентности (ТМК)
ТМК является формой проведения текущего контроля знаний, в том числе рубежного контроля.
Задачей проведение ТМК является установление уровня усвоения материала дисциплины, овладения основными понятиями, освоения компетенций по дисциплине.
ТМК может быть создан на основе глоссария, представленного в учебно-методическом комплексе (УМК) по дисциплине.
Формами проведения ТМК могут быть:
Требования к успеваемости по УМК определяются преподавателем и доводятся для сведения студентов на начала проведения теста.
13.ВИДЫ, СПОСОБЫ И ТЕХНОЛОГИИ КОНТРОЛЯ ЗНАНИЙ
13.1. Способы диагностики и контроля знаний, умений и навыков (ЗУН)
13.1.1.Виды и цели контроля
Входной контроль. Преследует несколько целей, в зависимости от цели обучающего курса и его специфики.
Можно определять, готов или не готов данный обучаемый к работе по курсу, т.е. входной контроль исполняет роль своеобразного допуска к работе.
А можно организовать входной контроль иначе, придавая ему диагностическую функцию. По результатам выполнения тестовых заданий выявляются пробелы в знаниях обучаемых, которые необходимо компенсировать дообучением. Таким образом, обучающий курс становится адаптивным, т.к. каждый обучаемый идет по своему пути в зависимости от уровня подготовки.
Проверка исходного уровня выполняет и еще одну функцию. Работа по заданиям тестовой проверки настраивает обучаемого на данную предметную область, вводит в терминологию, способствует актуализации необходимых знаний, становится своеобразной стартовой площадкой для работы по новой теме.
В традиционном обучении входной контроль используется редко (вступительные экзамены, допуск к лабораторной работе и т.п.). При обучении с участием компьютера частота входного контроля может и должна быть существенно выше. Это обеспечит успешное обучение текущему предмету (теме).
При рубежной проверке обучаемому может быть предложена творческая задача, задача повышенной сложности или задача, в которой предусматривается перенос усвоенных знаний на другой материал. Успешное решение такой задачи показывает, что обучаемый овладел всей системой знаний и действий, предусмотренных целями данной темы.
При рубежной проверке обучаемый может запрашивать помощь, необходимый справочный или информационный материал, советы, разъяснения ошибок, наводящие вопросы.
Задания должны быть адекватны этапу познавательной деятельности обучаемого, каждому элементу структуры которой может соответствовать серия из нескольких заданий, подводящих к самостоятельному выделению элементов модели изучаемого явления.
Рубежный контроль может, также, служить в качестве своеобразного входного контроля для допуска к изучению последующего материала и поддержки уровня знаний при больших перерывах в работе.
Заключительный контроль представляет собой серию заданий по всему проработанному материалу, который обучаемый должен решить самостоятельно, не обращаясь к помощи.
По результатам итогового контроля обучаемый, как правило, получает отметку. Она может иметь рекомендательный характер по работе учащегося вне программы (прочитать дополнительную литературу, получить консультацию у преподавателя и т.д.).
Эта отметка выражается в баллах или, например, в процентах правильно выполненных заданий на пройденном участке курса.
Возможно использование других показателей успешности по желанию автора курса.
Как правило, заключительный контроль знаний должен отвечать определенной процедуре – опознание испытуемого, допуск к контролю, определение времени и условий проведения контроля.
Таким образом, основные цели разных видов контроля могут быть следующие:
готовность к изучению нового материала;
проверка уровня усвоения;
поддержка адаптивного обучения;
поддержка уровня знаний;
формирование базы оценок для определения рейтинга обучаемых.
Программные средства поддержки контроля знаний должны обеспечивать все стадии контроля – от идентификации обучаемого до выдачи результатов контроля.
13.1.2.Оценка уровня усвоения, шкалы оценок
Уровень усвоения является диагностично заданным параметром, так как для него не только однозначно определено описание уровней, позволяющее четко разграничивать деятельность на одном уровне от деятельности на другом, но и точно определены две другие операции диагностичного описания цели: измерение и оценка [13.1].
Понятно, что для К у верно соотношение: 0 К у К у не менее 0,7.
Рис. 13.1. Процесс усвоения деятельности
В традиционном обучении это правило сплошь и рядом не выполняется, и изучение даже нового материала начинают с второго-третьего уровней, оставляя усвоение деятельности учащимися на первом уровне случаю, который чаще всего не наступает. Отсюда неполноценное усвоение на последующих уровнях к вящему изумлению и учителя, и ученика. Каждая кривая на рис. 13.1 развивается от нуля до единицы, где ноль это начало процесса обучения, а единица это его полное завершение, когда учащийся больше не делает ошибок в деятельности. На каждой кривой имеется узловая точка с К у = 0,7. Она разделяет кривую уровня усвоения на две неравные части. Тот участок кривой, который находится между точками К у = 0 и К у = 0,7, называется кривой обучения (или научения), так как учащийся на этом этапе своего восхождения на данный уровень мастерства требует постоянного внимания учителя, проверяющего и корректирующего его деятельность, поскольку учащийся на этом этапе своего обучения еще нечувствителен к ошибкам и не может как увидеть (почувствовать) их, так и исправлять их. Если процесс обучения прерван в точке, например, с К у = 0,5, то это приведет к тому, что учащийся в будущей своей деятельности будет выполнять ее с 50% ошибок в существенных операциях. Вот откуда берутся недоучки: это от незавершенности процесса обучения. До достижения К у = 0,7 учащийся сам не замечает своих ошибок и исправлять их по ходу деятельности не может. Участок кривой от К у = 0,7 до К у = 1,0 называют кривой самообучения, поскольку учащийся, достигший этого качества усвоения сам способен контролировать правильность своих действий и корректировать свои ошибки. Определение коэффициента усвоения К у – это операция измерения данного параметра, необходимая для диагностичной постановки цели и возможности объективного контроля степени ее достижения.
Для оценки качества усвоения может быть использована шкала отношений с любой ее градацией: либо привычная пятибалльная, либо более необычная, но естественная шкала с непрерывной градацией по всему возможному диапазону деятельности, т. е. по всем четырем уровням усвоения. Наиболее простой из таких возможных шкал является 12-балльная шкала.
Таблица 13.1. Двенадцатибалльная шкала оценки знаний
Пятибалльная шкала может применяться по-разному, и это зависит от того, как мы об этом договоримся, поскольку шкала это только отображение измерений, стоящих за ней. Так, если мы решим, что достижение учащимся К у = 0,7 и выше на первом уровне оценивается в три балла, то это же достижение на втором уровне оценивается в четыре балла, на третьем – в пять, а четвертый уровень оценивается как исключительное достижение. Двойка ставится, если учащийся не достиг первого уровня усвоения, но его К у находится между 0,5 и 0,7. Единицей отмечаются достижения между 0 и 0,5. Возможно другое соглашение, когда на каждом уровне достижения учащегося сопоставляются с пятибалльной шкалой по следующей схеме.
Таблица 13.2. Пятибалльная шкала оценки знаний
Как видно из таблицы, если К у меньше 0,7 на 2–4 уровнях, то оценка не выставляется, а проверяется усвоение на предшествующих уровнях, и знания учащегося оцениваются двойкой только в том случае, если и на первом уровне К у менее 0,7. Различные индексы при одних и тех же оценках дают возможность различать, за какой уровень достижений учащегося выставлена оценка. Применение 12-балльной шкалы дает возможность избавиться от этих неудобных условностей.
13.1.3.Требования к подбору заданий
Исходным моментом для разработки объективных методов контроля качества усвоения является основополагающее положение отечественной психолого-педагогической науки о том, что психические качества человека формируются и проявляются во внешней деятельности. Внешняя деятельность обучаемого в различных формах (материальной или речевой) – это то единственное, что можно наблюдать, измерять и к чему, в конечном счете, сводятся все требования и пожелания в обучении.
Если проанализировать структуру внешней деятельности учащегося, которой он овладевает в ходе обучения, то можно выделить характеристики, а затем и параметры, с помощью которых производится измерение качества учебных достижений и на этой основе объективно оценивается качество знаний учащегося. К их числу относятся те, которые характеризуют:
структуру и научный уровень той информации, которая является объектом усвоения (обобщенность и ступень абстракции);
качество овладения учащимися этой информацией (уровень усвоения деятельности, скорость выполнения, осознанность действий);
объем усваиваемых знаний (число учебных элементов и качество их усвоения);
степень свободы в использовании информации (автоматизация и свернутость действий – освоение);
прочность овладения (долговременность по уровню и точности деятельности).
Контроль (диагностика) ЗУН включает выполнение некоторого множества заданий. Каждое задание может характеризоваться трудностью и сложностью.
Трудность задания определяется уровнем усвоения деятельности, на диагностику которого оно направлено.
Сложность задания определяется числом существенных операций в нем, в том числе свернутых.
Задания первого уровня трудности, в соответствии с понятием первого уровня усвоения, должны проверять качество узнавания учащимся ранее изученного учебного материала. Это задания на узнавание. Они содержат одновременно и задание, и ответ, а от учащегося требуется узнать их соответствие. По форме различают три типа заданий первого уровня: опознание, различение и классификация.
Задания второго уровня усвоения проверяют умение учащегося воспроизводить усвоенную информацию по памяти без внешней подсказки и решать на этой основе типовые задачи. Типовой задачей считается такая задача, условия которой, допускают непосредственное применение усвоенных алгоритмов, правил или формул для ее разрешения.
Различают три разновидности заданий второго уровня: задания–подстановки, конструктивные задания и типовые задачи.
Задания третьего уровня – это нетиповые задачи, требующие от учащегося эвристической деятельности, т. е. преобразования исходных условий и, часто, поиска дополнительных данных для подведения задачи под типовой алгоритм.
В приведенном описании их различение основано на особенностях деятельности, которую выполняет учащийся для решения проблемы, содержащейся в задании. Так, в заданиях первого уровня это деятельность по узнаванию ранее усвоенного учебного материала при повторной встрече с ним. В заданиях второго уровня – деятельность по воспроизведению по памяти ранее усвоенной информации. В заданиях третьего уровня это деятельность по реконструкции (преобразованию) ранее усвоенной информации и переносу ее в новые условия деятельности.
Можно выделить и четвертый уровень трудности – это деятельность по развитию ранее усвоенной информации и созданию новой информации о деятельности, что достаточно редко реализуется в педагогической практике.
Необходимыми условиями к созданию педагогически корректного задания являются:
Задание должно быть содержательно валидным, т. е. построено на содержании, которое учащемуся должно быть известно из предшествующего обучения.
Задание должно быть функционально валидным, т. е. оно должно проверять то, для чего его используют.
Задание должно быть объективным, т. е. задание может быть выполнено обучаемыми, а не только преподавателем-автором задания.
Однозначность ответа. Обучаемому необходимо указать, в какой форме требуется дать ответ (высказывание).
Специфичность означает, что выполнение задания требует специфических ЗУН по данной теме, а не только общей эрудиции.
Задание должно обладать дифференцирующей способностью, т. е. знающие обучаемые в состоянии выполнить задание, а не знающие – нет.
Задания объединяются в одну или несколько групп. К подбору заданий в группу предъявляются следующие требования:
Репрезентативность означает, что ограниченная выборка достаточно полно охватывает дисциплину или раздел дисциплины, по которой осуществляется проверка знаний.
Однородность означает, что каждому обучаемому предъявляется равноценные по содержанию и трудности наборы заданий.
Рандомизация означает, что двум обучаемым (или одному и тому же обучаемому при повторном контроле знаний) не будет предъявлен один и тот же набор заданий.
Требования однородности и рандомизации должны обеспечиваться системой предъявления заданий. Естественно, для обеспечения требования однородности преподаватель должен сгруппировать их в однородные наборы.
13.1.4.Классификация тестов
В связи с тем, что нет единого понимания, что такое тесты и тестирование в образовании, введем определения, которых и будем придерживаться в дальнейшем.
Речь ведется только о педагогических тестах, а не о психологических тестах (тесты интеллекта, тесты общих и специальных способностей и т.п.).
Слово тест произошло от английского слова « test » – проба, испытание, исследование. В узком значении тест достижения – это инструмент, измеряющий у обучаемых уровень их овладения знаниями и умениями в результате обучения. В более широком смысле тест – это стандартизированная процедура, совокупность методик для получения определенных количественных характеристик о достигнутом уровне знаний, умений и навыков обучаемого.
Тесты могут включать задания любого типа: закрытые (например, с выбором ответа), открытые (со свободно конструируемыми ответами), практические задания или другие.
К особенностям теста, отличающим его от контрольных работ, используемых в учебном процессе, можно отнести следующее:
тесты разрабатываются в строгом соответствии с теорией тестов (классической или современной);
они имеют устойчивые статистические характеристики для выборки испытуемых, для оценки достижений которых они разрабатывались;
процедура тестирования стандартизирована (т.е. выполнение тестов, проверка, обработка и интерпретация их результатов проводится по единым правилам);
тесты ориентированы не на констатацию наличия отдельных усвоенных знаний или умений (хотя данная информация может быть получена по результатам выполнения тестов), а на определение уровня усвоения определенной совокупности учебного материала.
В последнее десятилетие в большинстве стран мира явно проявилась тенденция замены традиционных тестовых процедур на оценочные. Замена тестов в их традиционном понимании как системы закрытых заданий (например, заданий с выбором ответа) на систему стандартизированных заданий разного типа произошла в связи с широкой критикой тестов за ограниченность их использования, в основном только для оценки знаний и репродуктивных умений. Расширение спектра проверяемых умений привело к увеличению доли открытых заданий, позволяющих оценить не только правильность полученного ответа, но и способы решения, логику изложения, обоснованность суждений и многие другие умения, включая практические, которые невозможно оценить с помощью закрытых заданий. Современные информационные технологии позволяют автоматизировать анализ достаточно широкого класса произвольных ответов обучаемого.
В основу классификации тестов положен принцип: что будет оцениваться и как?
Например, если целью оценки является диагностика достижений обучаемых, получение информации о трудностях, которые они имеют при обучении, то для этого необходимо знать, какой учебный материал освоен обучаемыми и на каком уровне, каковы их типичные ошибки и др. В данном случае нет необходимости сравнивать достижения отдельных групп учащихся. Если же цель оценки, например, сравнение достижений, как отдельных обучаемых, так и совокупностей обучаемых между собой, то в этом случае необходимо определить, что будет основой для сравнения. Методы, формы и процедура оценки в этом случае должны быть абсолютно одинаковыми для обеспечения качества сравнения.
Основные подходы в оценке образовательных достижений
Существуют три основных подхода в оценке образовательных достижений обучаемых:
ориентированный на индивидуальные нормы конкретного обучаемого, реального уровня его развития в данный момент времени. Результатом оценки в этом случае является темп усвоения и объем усвоенного материала по сравнению с его начальным стартовым уровнем.
Введение понятия и разработка методики критериально-ориентированного тестирования положили начало в установлении различий между педагогическими измерениями и классической психометрикой или психологическими измерениями. Появились понятия тесты освоения и тесты минимальной компетентности.
Различие всех трех подходов можно обнаружить в функциях или целях оценки, ее последствиях для испытуемых, в интерпретации полученных данных, а также в методах анализа результатов.
В последнее время наметилась тенденция объединения двух подходов (критериально-ориентированного и нормативно-ориентированного) при оценке образовательных достижений и использования в одном инструментарии характеристик как тестов, ориентированных на норму, так и тестов, ориентированных на критерии.
В настоящее время понятие «критериально-ориентированный подход» или тест заменяются понятиями «ориентированный на содержание» и «ориентированный на цели или требования к уровню подготовки».
Объединение двух подходов также происходит при интерпретации результатов выполнения теста, когда результаты одновременно используются для получения распределения обучаемых по результатам выполнения теста, а также для получения информации об уровне усвоения данной совокупностью обучаемых изученного материала. Например, испытуемые делятся на группы по рейтингу их достижений и для каждой группы отбираются задания, которые описывают уровень подготовки обучаемых в терминах знаний и умений.
Многие известные специалисты в области педагогических измерений считают, что измерения, в основе которых лежит психометрика и теория тестов, сменяются в настоящее время новым типом измерений. Измерения в образовании должны оценивать индивидуальные достижения учащихся по отношению к самому себе, а не к другим учащимся, они должны быть направлены больше на помощь ученику в обучении, чем на выставление отметок, в большей степени оценивать компетентность, а не интеллектуальное развитие.
13.2.Средства ввода и анализа ответов
13.2.1.Средства обеспечения диалога
Обучение – это диалог между Учителем и Учеником. Соответственно программные средства поддержки КСО должны обеспечивать ведение обучающего диалога. Такие средства можно разделить на две большие категории.
Рис. 13.2. Средства обеспечения диалога
Средства ввода и анализа высказываний обучаемого в основном используются для ввода ответов и их анализа. Ввиду большого разнообразия учебных дисциплин и учебных задач анализ произвольных высказываний представляет собой наиболее сложную и ресурсоемкую проблему при разработке КСО. Особенностью анализа ответов является наличие свойства «правильность ответа».
13.2.2.Ввод ответа
Ввод высказывания обучаемого производится с клавиатуры, посредством графического указателя (мышь, графический планшет, джойстик и т.п.) или системы речевого ввода (рис. 13.3).
Рис. 13.3. Средства ввода
Ввод высказывания в виде строки произвольного текста с клавиатуры широко используется при контроле. Как разновидность можно анализировать код любой однократно нажатой клавиши или сочетания клавиш клавиатуры или (и) мыши. Применимо при обучении работе на клавиатуре и с мышью.
Графический ввод определяет ввод высказывания с помощью графического указателя – мыши, трекбола, графического планшета и т.п. Разновидности графического ввода:
щелчок по стандартному объекту (кнопке, меню и т.п.);
указать область – определяет область экрана, внутри которой обучаемый должен щелкнуть мышью;
указать точку – определяет область экрана и цвет точки, по которой обучаемый должен щелкнуть мышью;
выделить («резиновым» прямоугольником) прямоугольную область экрана;
перемещение (перетаскивание) и изменение объектов.
Обычно системы распознавания речи преобразуют произнесенное диктором слово или фразу в строку. Поэтому такие системы будет легко встроить в существующие компьютерные обучающие системы.
Современные операционные системы позволяют определить активную область экрана, внутри которой система и будет реагировать на те или иные действия пользователя. Например, автор может поместить окно ввода текста в любое место экрана, задать цвет окна и текста, шрифт и т.д.
13.2.3.Типы ответа
Рассмотрим на примерах наиболее распространенные на сегодняшний день типы ответа (рис. 13.4).
Рис. 13.4. Типы ответа
Разновидностью выбора является т.н. «множественный» выбор, когда имеется несколько правильных ответов и нужно выбрать их все.
При анализе ситуации большое значение имеет как взаиморасположение определенных элементов, так и их состояния. Анализ ситуации может происходить либо динамически – при каждом изменении состояния (позиции), либо по конечному состоянию – при нажатии кнопки «Готов».
Отметка фазы (и области) в динамическом объекте (видео, звук, анимация). При демонстрации на экране видеофрагмента с панорамой холла гостиницы щелкнуть мышью по двери запасного выхода. Или во время звучания текста на английском языке щелкнуть мышью по любой области (нажать определенную клавишу клавиатуры) во время звучания фразы с указанным смыслом.
Рис. 13.5. Пример отметки фазы
С помощью Media Player вразбивку произносятся числительные. Обучаемый должен распознать произносимое числительное и щелкнуть по соответствующей цифре.
Анализ высказываний обычно проводится посредством их сопоставления с набором эталонов – правильных ответов, типичных ошибочных ответов. Разновидностей программных систем анализа ответов существует великое множество. Мы будем рассматривать анализ ответов на примере авторской системы Дельфин, разработанной в МЭИ (ТУ).
13.2.4.Система анализа ответа (высказываний).
Система анализа в Дельфине построена как простая система искусственного интеллекта, работающая с базой знаний по элементарной математике и логике. В результате последовательного анализа ответа и набора эталонов делается вывод о соответствии ответа одному из эталонов или ни одному из них.
Каждому контрольному заданию соответствует список эталонов ответа. Каждый эталон обладает набором свойств.
К свойствам эталона относятся – тип ввода, тип эталона, сам эталон, вес ошибки, связь с другими элементами (кадрами) курса. Для определенных типов эталонов некоторые свойства могут быть опущены.
Свойство «тип ввода» определяет тип и разновидность устройства ввода, посредством которого ожидается ввод ответа.
тип числа и точность по эталону;
слово, фраза без учета шрифта;
логическое выражение с «ключевыми» словами;
любое алгебраическое выражение;
любое логическое выражение;
ситуация. В случае ввода ответа по типу «ситуация» проводятся различные виды преобразований:
преобразовать в алгебраическое выражение. Введенная ситуация и эталоны преобразуются в однострочные алгебраические выражения с применением общепринятых правил математики. Затем система анализа высказываний проверяет эквивалентность ответа и одного из эталонов.
преобразовать в строку. Введенная ситуация и эталоны преобразуются в строки для последующего сравнения.
классификация по областям. Перемещение элементов в заданные области. Например, рассортировать щелочи и кислоты.
анализ взаиморасположения объектов в пространстве;
анализ последовательности изменения объектов.
Эталон представляет либо строку, либо указатель на таблицу элементов ситуации.
Рис. 13.6. Пример анализа однострочного алгебраического выражения
Рис. 13.6 Пример ввода и анализа ситуации – «многоэтажное» алгебраическое выражение
В текстовое окно с помощью клавиатуры вводится выражение для формулы. Имя и размер фонта задаются автором при создании курса. При нажатии клавиши F 4 в специальное окно выводится полный набор символов («мышиная» клавиатура), с помощью которой можно вводить и специальные, в том числе математические символы.
«Многоэтажное» математическое выражение набирается перетаскиванием соответствующих элементов – в данном случае математических символов – из окна «меню пользователя» (внизу) в окно ввода. Для некоторых элементов может быть задана возможность изменения состояния – при щелчке мышью по такому элементу он меняет состояние, например 0–1–2 и т.д.
Для ответов типа Выбор, Указатель и Выделение тип эталона определен как «логическое выражение с «ключевыми» словами». В качестве «ключевых» слов выступают прямоугольные области экрана и цвета.
Каждому эталону соответствует понятие «Вес ошибки», т.е. автор-разработчик учебного курса оценивает правильность введенного ответа при совпадении с данным эталоном.
Связь с другими элементами (кадрами) курса показывает, куда надо перейти, если произошло совпадение с эталоном. Обязательно надо ввести связь по «Иначе», т.е. указать переход, если не произошло совпадения ни с одним эталоном. Для задачи – это всевозможные варианты ответов (обычно ошибочных), не перечисленные в списке эталонов. Для такого псевдоэталона также необходимо назначить вес ошибки и связь.
13.3.Средства диагностики и контроля ЗУН
13.3.1.Организация контроля знаний. Стратегии (алгоритмы, сценарии) контроля
При контроле ЗУН в соответствии с целями и задачами конкретного вида контроля обучаемому предъявляется несколько заданий из исходного массива (массивов) заданий – серия. Методы формирования такой серии определяют стратегию (алгоритм, сценарий) контроля. Существуют несколько основных типов стратегий контроля.
Наиболее простой алгоритм контроля – последовательная выборка. Размеры исходного массива и контрольной серии одинаковы и задания выполняются в последовательности, определенной автором. Последовательная выборка используется в основном при самоконтроле. Хотя все обучаемые выполняют одни и те же задания, при самоконтроле это не имеет принципиального значения, так как он проходит обычно при самостоятельных занятиях. За счет продуманной последовательности заданий автор может обратить внимание обучаемых на наиболее важные аспекты изучаемой темы. Требования к подбору заданий в последовательную выборку определяются целями контроля.
Основной недостаток последовательной выборки – это то, что все обучаемые получают одни и те же задания, что не приемлемо при контроле знаний. Для этого служат сценарии случайной выборки заданий.
Стратегия случайной выборки хорошо работает на одном массиве при соблюдении правил подбора (одна тема, один уровень трудности). Однако цели контроля часто требуют наличия нескольких исходных массивов заданий, а именно для разных тем, уровней знаний и т.п.
Фактически иерархическая выборка означает применение сценария последовательной или случайной выборки на разных уровнях. Можно использовать разнообразные сценарии, лишь бы они соответствовали целям контроля.
Адаптивные алгоритмы предназначены, в основном, для сокращения времени контроля. Вы можете указать максимальное количество или (и) максимальную сумму штрафных очков, при наборе которых контрольная серия будет прервана и принято решение о неудовлетворительной оценке знаний.
Например, если Вы считаете, что при семи неправильных ответах в серии из 15 заданий знания учащегося неудовлетворительны, то контроль можно прекратить и не терять время на решения оставшихся заданий. Точно так же при безошибочном выполнении заданий контрольной серии можно досрочно прервать контроль и выставить положительную отметку.
Можно построить алгоритм адаптации, например, к уровню знаний.
Рассмотрим следующую ситуацию. Контрольные задания распределены в три группы – «на тройку», «на четверку» и «на пятерку». Сначала задается серия вопросов средней группы. При положительном результате переходят к вопросам «на пятерку», при отрицательном – «на тройку». Результаты контроля на этом уровне позволяют однозначно выставить обучаемому адекватную отметку.
Очень условно к адаптивным сценариям можно отнести прерывание контроля в случае превышения назначенного общего времени контроля. Решение можно вычислять либо по результатам выполненных заданий, либо засчитать все невыполненные задания как неправильно решенные.
13.3.2.Генерация условий задания
Как известно, составление массива педагогически корректных заданий вызывает значительные трудности у авторов, да и требует очень больших затрат времени. Поэтому предпринимаются попытки возложить хотя бы часть задач по составлению условий заданий и правильных эталонных ответов на жестяные плечи компьютера. В основном работы идут в двух направлениях.
Гораздо большие результаты достигнуты в области генерации условий задания. При этом автор составляет шаблоны, заготовки заданий, а компьютер на основании некоторого набора простых правил вставляет в определенные места (заполняет пропуски) сгенерированные данные.
Рис. 13.7. Пример генерации чисел (в данном случае 2 и 5)
Это позволяет во многих случаях сократить исходный массив заданий. Так, при проверке знания таблицы умножения надо выдать на экран два целых случайных числа в диапазоне от 2 до 9. Одно такое задание будет эквивалентно массиву из 64 заданий. Эталон правильного ответа компьютер легко вычисляет, как произведение этих двух чисел.
В третьем случае необходимо выдавать на экран некоторое слово из списка (например, личное местоимение). В таком случае каждому списку генерируемых сообщений должен быть сопоставлен один или несколько списков правильных ответов. Например, список личных местоимений русского языка и сопоставимые им списки английских, французских и немецких местоимений.
Типы генерируемых сообщений:
случайное число в диапазоне;
слово (фразы) из списка;
13.3.3.Организация заданий, типы заданий
Требования к организации задания.
Задания должны быть операциональными, т.е. требовать однозначного ответа. Обучаемому необходимо указать, в какой форме он должен дать свой ответ (высказывание). Ответ обучаемый должен вводить на кадре с заданием, чтобы условие задачи было перед его глазами.
В ряде случаев для выполнения задания обучаемому может быть предоставлена возможность обращения к необходимой справочной информации или помощи по решению задания. Использование обучаемым помощи при проведении контроля, особенно при заключительном, обычно штрафуется. Помощь может включать несколько уровней вызова – от мягких напоминаний в виде рисунков, выдержек из лекционного материала до прямой подсказки в виде формул, алгоритмов решения и решения аналогичной задачи. В том случае, если вызов помощи штрафуется, обучаемый должен быть обязательно предупрежден об этом.
Оценка правильности (неправильности) ответа должна быть на этом же кадре, чтобы обучаемый мог попытаться найти самостоятельно свою ошибку, так как он имеет перед глазами условие задачи, свой ответ и его оценку.
Для некоторых типов контроля, например, текущего и рубежного, необходимо, чтобы любой ответ обучаемого комментировался. Известно, что обучаемый может дать правильный ответ случайно (там, где предлагается, например, выбор из двух-трех вариантов ответов), или узнав его у соседей (в случае групповых занятий). Он может дать правильный ответ не будучи уверенным в его правильности, или не умея объяснить его. Поэтому и на правильный ответ должен быть дан комментарий.
Помимо реакций на правильные и неправильные ответы автор должен предусмотреть и реакцию на непредусмотренный им ответ обучаемого. Это необходимо для того, чтобы обучаемый в любом случае мог продвигаться по курсу.
Диагностика (локализация) ошибок.
Подбор «типичных» неправильных ответов и разработка комментариев к ним должны быть предметом особого внимания автора обучающего курса. От того, насколько точно автор учитывает в комментарии причину ошибки обучаемого, зависит адаптивность данного курса к конкретному обучаемому.
Часто авторы не анализируют возможные ошибки, дают реакции только на правильный ответ, а все остальные ответы попадают в рубрику непредусмотренных ответов («иначе»).
Однако, достичь должного уровня индивидуализации обучения таким путем невозможно, так как и для автора, и для обучаемого причины ошибок оказываются скрытыми. Автор в этом случае не может поставить точный «диагноз» обучаемому и обеспечить адекватную коррекцию.
Некоторые авторы пытаются выйти из этого положения. Они проводят типологию ошибок и составляют реакции на типичные ошибки. Но как показали исследования психологов, это не гарантирует точность диагноза, потому что одна и та же ошибка, с одной стороны, может быть вызвана разными причинами, а с другой стороны, правильный ответ может быть получен в результате неверных действий.
При создании структуры формируемой деятельности автору надо выделить систему действий, подлежащих усвоению, и соответствующую каждому действию систему операций.
Как показано психологами, психологическими причинами ошибок могут быть:
несформированность одной или нескольких отдельных операций;
несформированность системы операций при сформированности каждой отдельной операции;
обе причины вместе.
Зная в каждом из описанных случаев, что именно не сформировано у конкретного обучаемого, автор четко знает, какие ошибки может сделать обучаемый, и предусматривает соответствующую коррекцию.
Например, обучаемому надо не просто объяснить его неправильный ответ, но дать дополнительную задачу (или серию задач), наводящий вопрос, уточняющие задания, справочные данные и т.д. Организация познавательной деятельности обучаемого с использованием поэтапного решения задания выполняет двоякую функцию.
С одной стороны, это позволяет имитировать естественный диалог (типа беседы с обучаемым на коллоквиуме или на семинаре), а, с другой стороны, уже в процессе этого диалога обучаемый сам понимает свою ошибку и находит правильное решение.
Иногда по характеру отрабатываемого действия бывает достаточно задания и набора реакций на возможные ответы обучаемого.
В связи с вышеизложенным можно выделить несколько типов заданий.
1-й этап. Нарисуйте траекторию движения тела и сравните его с предложенными.
2-й этап. Введите формулу для вычисления начальной скорости в общем виде.
3-й этап. Вычислите значения начальной скорости и введите ее значение с точностью не менее трех значащих цифр.
4-й этап. Введите формулу для вычисления угла в общем виде.
5-й этап. Вычислите значения угла и введите его значение с точностью не менее двух значащих цифр»
13.3.4.Оценка ответа (выполнения одного задания)
Каждый ответ обучаемого должен быть оценен. Оценка может учитывать только правильность (или неправильность) ответа. В этом случае шкала оценок содержит всего две позиции (например, единица за правильный ответ и 0 за неправильный). Такая, достаточно грубая шкала, прекрасно работает во многих случаях. Более точно оценить уровень усвоения знаний можно при учете других факторов.
трудность задания, как уровень усвоения деятельности;
сложность задания, как количество существенных операций при решении данного задания;
некоторую экспертную оценку, например, «на тройку», «на четверку», «на пятерку» или др.
Вес задания может учитываться назначением премиальных очков при правильном ответе или изменением веса ошибки при неправильном.
Во втором варианте, в зависимости от затраченного времени, правильный ответ может поощряться или штрафоваться, т.е. назначаться соответствующие очки.
Отказ от ответа может штрафоваться как неправильный ответ, а может штрафоваться достаточно мягко, стимулируя честность обучаемого. При диагностике знаний отказ от ответа может вызвать предъявление более простого задания или прямого вопроса о тех затруднениях, которые имеются у обучаемого.
Для решения задания в один этап вычисление оценки не представляет особых трудностей. При многоэтапном решении задания некоторые ответы могут оказаться ошибочными. В этом случае система контроля принимает решение по одному из двух возможных правил:
13.3.5.Принятие решения по результатам контроля
По завершении контрольной серии заданий принимается решение о результатах контроля. При этом могут быть приняты во внимание следующие показатели:
количество правильно решенных заданий;
использования помощи (подсказок);
количество попыток решения;
Естественное желание – свести все показатели (или отбросив часть показателей) к некоторому общему критерию. В простейшем случае учитывают только количество заданий и количество правильно решенных заданий. Критерий при этом рассчитывается как процент успешности по формуле:
Результат = 100 * (количество правильно решенных заданий / количество заданий).
Учет других показателей обычно сводится к начислению для них общих очков по специальным правилам, а затем к вычислению критерия, учитывающего количество правильно решенных заданий, количество заданий и набранные очки.
На основании рассчитанного критерия программная система контроля обычно принимает одно из двух решений.
13.3.6.Надежность контроля
Здесь мы будем рассматривать только методические проблемы надежности контроля ЗУН при использовании КСО.
Под достоверностью контроля понимается устойчивость получения близких результатов в однородных учебных группах при его применении. Для оценивания достоверности чаще всего применяют следующие методы.
Повторный контроль проводится при небольшом количестве учащихся через короткое время (часы). Корреляция результатов машинного контроля с традиционными видами контроля преподавателем является наиболее психологически ценной для преподавательского коллектива. Преподаватель всегда считает, что именно он наиболее достоверно может оценить знания обучаемых. В таком случае проводиться контроль знаний с использованием программных средств, а затем пишется обычная контрольная работа, отметку за которую выставляет преподаватель. Расхождение результатов может служить основанием для коррекции контроля.
Проверка достоверности обязательно должна проводиться на этапе опытной эксплуатации программы контроля.
На системы, используемые для контроля знаний, накладываются дополнительные требования, связанные с аутентификацией обучаемых (определению личности), их авторизацией (допуска к тестированию), выполнению требований по проведению тестирования. В настоящее время указанные требования могут быть выполнены только в случае прохождения тестирования либо в учебном заведении, либо в опорном пункте учебного заведения. Требования аутентификации, авторизации, надлежащего проведения контроля обеспечиваются персоналом учебного заведения или опорного пункта.
В случае проведения тестирования в опорных пунктах необходимо обеспечение надежной аутентификации опорных пунктов, защищенная передача данных тестирования, обеспечивающая целостность сообщений, контроль времени отправки и получения результатов тестирования.
13.4.Основные факторы, влияющие на выбор инструментальной среды для разработки компьютерных средств тестирования и контроля знаний
Для разработки компьютерных средств обучения, в том числе и средств тестирования и контроля знаний, используются различные программы, которые обычно называются инструментальными средами (ИС).
Необходимо подробно рассмотреть требования к отдельным функциям ИС, т.е. насколько полно решаются ими как дидактические, так и другие задачи, которые возникают при создании конкретных КСО. Детальный список конкретных требований служит основанием для выбора ИС. Часто эта процедура выполняется несколько раз, так как в процессе выбора и испытания ИС могут меняться сами требования.
Чаще всего используются следующие стратегии выбора:
Использовать ИС, имеющуюся в учебном заведении и рекомендованную к применению учебным управлением, т.е. пользоваться не тем что надо, а тем, что есть;
Подобрать «пиратскую» версию подходящего продукта – путь незаконный и чреватый неприятными последствиями;
Провести анализ рынка и приобрести легальную версию подходящей и проверенной ИС;
Разработать свою собственную среду – нет смысла пытаться разработать свою собственную среду, так как существует ряд продуктов, опробованных на практике, тестируемых и модернизируемых, удовлетворяющих высоким мировым требованиям и стандартам. При разработке своего продукта очень вероятно допущение ошибок, значительно затрудняющих организацию процесса дистанционного обучения. Разработка и особенно отладка серьезных ИС занимает годы и стоит очень больших денег.
Приведем, наверное, не полный, список факторов, влияющие на выбор инструментальной среды (ИС) для разработки компьютерных средств тестирования и контроля знаний.
ИС будет использоваться только для тестирования и контроля знаний, умений и навыков или как часть более общей системы обучения
Представление учебной информации:
Средства создания (или сборки) и редактирования учебной информации;
Управление представлением учебной информации (переходы, навигация и т.д.)
Организация контроля усвоения ЗУН:
Ввод и анализ ответов;
Организация сценария контроля ЗУН;
Принятие решения по результатам контроля за один вопрос и контрольную серию.
Генерация последовательности предъявления тестов.
Сбор и обработка статистики о ходе обучения.
Наличие средств визуального проектирования и редактирования;
Средства автоматизации процесса создания и отладки. Реализация функций управления проектом и средств, поддерживающих совместную деятельность коллектива разработчиков. Реализация функций администрирования, разграничения прав доступа;
Требования к компьютерной квалификации разработчиков;
Наличие средств формирования дистрибутива продукта и создания программы его установки.
С помощью стандартных программ входящих в состав операционной системы (ОС) или в комплект поставки ОС, например MS Internet Explorer ;
С помощью специализированных программ-проигрывателей;
Настройка готового курса преподавателем в зависимости от цели конкретного занятия.
Средства доставки содержания КСО обучающемуся:
Сетевые, которые в свою очередь можно разделить на:
Для использования в локальных сетях;
Для использования в глобальных сетях.
Стоимость и срок действия лицензии;
Наличие и величина лицензионных отчислений за распространение созданных продуктов;
Условия сопровождения (период бесплатного сопровождения, стоимость консультаций, обеспечение технической поддержки по телефону и Internet и т.д.);
Условия предоставления обновленных и новых версий.
Специальные требования к программным системам контроля ЗУН
Соответствие средств ввода и анализа ответов заявленному (требуемому) уровню усвоения ЗУН.
Соответствие средств визуализации представления заданий необходимым требованиям.
Соответствие виду контроля ЗУН (тест, контрольная работа, диагностика и т.п.).
Обеспечение надежности функционирования: аутентификация, авторизация, надежность и защита статистики, защита от взлома.
13.5.Сетевая система контроля знаний
Создание этой системы преследовало три основные цели:
предоставить преподавателям удобное (и вместе с тем достаточно универсальное) средство создания и редактирования контрольных вопросов;
по возможности максимально автоматизировать проверку знаний учащихся;
организовать единый банк вопросов, что упростило бы его обновление и управление.
Существуют, по крайней мере, два возможных подхода к решению поставленной задачи:
Отличительными особенностями сетевой системы контроля знаний являются:
наличие банка вопросов, который доступен по компьютерной сети и работает под управлением системы управления базой данных (СУБД) совместимой с Microsoft SQL Server 2000;
применение визуальных средств создания вопросов, не требующих от преподавателя навыков программирования;
сбор (в том числе персональный) статистической информации, помогающий проанализировать и повысить качество вопросов.
Основные возможности данного программного средства могут быть проиллюстрированы следующими примерами разработанного и применяемого пользовательского интерфейса.
Статус пользователя определяется именем и паролем, который он вводит в начале работы (рис. 13.8). Если пользователем является студент, то ему дополнительно предлагается указать учебную группу и свою фамилию (рис. 13.9).
После успешной проверки введенной информации, которая осуществляется на сервере, преподавателю становятся доступны две дополнительные, по отношению к студенту, закладки: «Администрирование», на которой осуществляются основные действия по созданию, редактированию и удалению вопросов, и «Журнал» – для просмотра ответов учащихся.
Рис. 13.8. Окно идентификации пользователя
Рис. 13.9. Регистрация студента
Действия и возможности преподавателя
Вопросы структурируются по учебным дисциплинам и темам, представленным в виде древовидной структуры, которая располагается в основном окне программы слева.
Если требуется создать или удалить дисциплину, тему или вопрос, можно воспользоваться контекстным меню. При этом, в зависимости от того на каком уровне структуры вызвано это меню, будет предложено создать элемент следующего уровня (рис. 13.10).
Дополнительно рис. 13.10 иллюстрирует возможность выполнения этих действий без вызова контекстного меню, а посредством нажатия так называемых «горячих» клавиш на клавиатуре: « Insert » – для вставки, « Delete » – удаления и « F 2» – переименования элементов «дерева».
Рис. 13.10. Добавление новой темы и вопроса
После создания нового или выбора существующего вопроса основное окно программы будет выглядеть так, как показано на рис. 13.11. Изменить можно следующие позиции:
заголовок (название) вопроса;
рисунок, иллюстрирующий данный вопрос;
один или несколько вариантов правильного ответа на вопрос;
перечень переменных, из которых студент будет создавать свой ответ.
Название вопроса будет отображаться в «дереве» курсов, тем и вопросов и может быть произвольным. Из перечня переменных на этапе контроля формируется отдельная панель инструментов. Он является «строительным материалом», из которого студент создает свой ответ. Для отделения одной записи от другой используется знак «;». Текст вопроса дается в произвольной форме (в текущей версии разнообразие шрифтов не поддерживается).
Рис. 13.11. Режим редактирования вопроса
Рис. 13.12. Контекстное меню иллюстрации к вопросу
Команда «Вырезать» помещает копию изображения в буфер обмена и очищает поле рисунка. «Копировать» действует так же, как и «вырезать», только без удаления рисунка. Если в буфере обмена уже находится иллюстрация, то ее можно вставить соответствующей командой. При этом старый рисунок будет удален. Команда «Загрузить» позволяет вставить рисунок из файла. Команда «Очистить» – удаляет рисунок без сохранения.
За исключением позиции «Ответ(ы)» остальные составляющие вопроса (заголовок, перечень переменных, текст, иллюстрация) сохраняются в базе данных автоматически при переходе к другому вопросу или к другой закладке («Контроль» или «Журнал»).
Для того чтобы посмотреть на изготовленный вопрос и проверить возможность ответа на него, следует перейти на закладку «Контроль» (рис. 13.13). Необходимые пояснения по работе с этой закладкой даны ниже в описании возможностей, предоставленных студенту. Здесь стоит лишь отметить, что тестирование вопроса в журнал действий пользователя не заносится. Значения, которые преподаватель указывает в поле «Перечень переменных», превращаются в кнопки панели инструментов, которая находится в левой части окна.
Закладка «Журнал» доступна только для преподавателя. С ее помощью он может проанализировать и проконтролировать ответы учащихся.
Рис. 13.13. Проверка вопроса преподавателем
Внешний вид закладки представлен на рис. 13.14. Она может быть разделена на две области. Первая содержит поля отбора (фильтрации), вторая – таблицу для отображения результатов. Допускается отбор по следующим параметрам:
название учебной группы;
тема, к которой относится вопрос;
По последним четырем позициям допускается ввод неполных выражений (например, «эл» вместо полного «Эл-11-99»).
При ответе студента заносится следующая информация: дата и время ответа, учебная группа, фамилия и имя учащегося, название темы и вопроса, на которые отвечал учащийся, результат ответа (в текущем варианте это реализовано на уровне «правильно» – «неправильно»).
При работе преподавателя заносится дата и время входа в систему, а также Интернет-адрес, с которого осуществлен вход.
Рис. 13.14. Просмотр журнала ответов
Каждый столбец допускает сортировку по возрастанию или убыванию. По умолчанию она ведется по полю «Дата/Время».
Действия и возможности студента
После регистрации учащегмуся доступна одна закладка – «Контроль». Доступ к вопросам, на которые он должен дать ответ, осуществляется посредством перемещения по «дереву», которое отображается на экране слева. После выбора вопроса на экране формируется окно, подобное тому, что показано на рис. 13.15.
Для ответа на выбранный вопрос необходимо построить выражение (позиция «Ответ» на рис. 13.15) из терминов (переменных), арифметических операций, числовых значений, представленных в соответствующих панелях инструментов (рис. 13.15, вверху). Он формируется в виде одной строки текста. Сложные выражения формируются с помощью скобок по правилам алгебры.
Рис. 13.15. Построение ответа студентом
Для уменьшения неоднозначности ответа и ускорения его обработки соответствующее текстовое поле переведено в режим «только для чтения». Таким образом, требуемое выражение записывается только в терминах того «алфавита», который представлен на панелях инструментов.
Это положение можно проиллюстрировать примером, показанным на рис. 13.15. Для формирования ответа студент вначале должен нажать на кнопку «w»; затем на «=»; далее «–»; и в конце – «5». Если требуется ввести выражение, содержащее десятичное число с дробной частью, то необходимо воспользоваться кнопкой «.».
После того как студент дал ответ, нажав кнопку «Принять ответ», результат его действий фиксируется в электронном журнале, хранящемся на сервере. Правильность или неправильность ответа отображается флажками зеленого или красного цвета соответственно рядом с названием в перечне вопросов.
Отдельно следует сказать о блоке анализа введенных выражений. Используя теоретические положения методов разбора регулярных выражений, этот блок способен разобрать введенный и правильный ответы на отдельные операнды и операции (с учетом приоритета и скобок), и на основе этого разбора построить иерархическое «дерево». Если оба «дерева» совпадут, то ответ дан правильно. Совпадение будет и в том случае, если операнды поменять местами в операциях, в которых это не приведет к изменению конечного результата. Дополнительно блок анализа умеет учитывать основные тригонометрические функции.
Количество правильных и неправильных ответов учитывается и отображается в цветных полях внизу главного окна программы. Кроме того, флажок соответствующего цвета отображается рядом с названием вопроса. Если на вопрос ответ еще не дан, то флажок будет серого цвета (см. рис. 13.15). По умолчанию время, в течение которого учащийся или преподаватель не производят никаких действий в программе с помощью клавиатуры или мыши, ограничено примерно 20 минутами. После истечения указанного срока для продолжения работы нужно закрыть программу и осуществить повторный вход в нее.
13.5.2.Интернет версия сетевой системы тестирования
По указанному адресу размещается начальная (стартовая) страница, на которой осуществляется процедура регистрации (рис. 13.16).
Если пользователь зарегистрировался как преподаватель (администратор вопросов), то ему будет доступна страница, которая выглядит так, как показано на рис. 13.17. В левой части располагается «дерево» курсов, тем и вопросов. Справа вверху – закладки. Текст текущей закладки выделен жирным шрифтом, а ее фон сделан более светлым. Содержимое рамки слева меняется в зависимости от выбранного в «дереве» уровня.
Рис. 13.16. Начальная страница, регистрация пользователя
Рис. 13.17. Вид страницы после регистрации преподавателя
Несколько изменен способ создания, удаления и изменения курсов и тем. Для того чтобы произвести редактирование, необходимо перейти на соответствующий уровень «дерева» и воспользоваться соответствующими кнопками и полем редактирования (рис. 13.18). В примере показано редактирование названия курса. Кнопки обеспечивают: создание темы (т.е. следующий уровень дерева), удаление курса (здесь надо быть внимательным, так как в этом случае будут удалены все темы и вопросы, которые входят в этот курс) и сохранение внесенных в название курса изменений (кнопка «Изменить»).
Рис. 13.18. Редактирование названия курса
Редактирование вопроса не претерпело существенных изменений (рис. 13.19).
Для учащегося верхние закладки выглядят так, как показано на рис. 13.20 вверху. Закладки «Администрирование» и «Журнал» ему не доступны. Фамилия и имя студента добавляются к названию закладки. Ответ формируется нажатием на кнопки, представленные на рисунке вверху. Там же размещены и кнопки отмены, повтора и очистки содержимого поля ответа. Таким образом, технология создания ответа принципиально не отличается от рассмотренного варианта.
Рис. 13.19. Пример редактирования выбранного вопроса
Рис. 13.20. Внешний вид страницы при ответе студента
Модуль разбора выражений в данной версии полностью идентичен ранее описанному варианту по своим возможностям и принципу действия. Правильные и неправильные ответы отмечаются визуально в «дереве» слева в виде зеленых и красных «флажков».
Возможности журнала представлены на рис. 13.21. Фильтр можно установить по полям «Группа» (в том числе «Администратор»), «Пользователь» (фамилия, имя), «Тема», «Вопрос», а также указать период времени за который просматриваются записи в журнале.
В конечную таблицу помимо перечисленного добавлен столбец «Результат», в котором в символьном виде показано правильно или нет ответил студент на вопрос. Если количество просматриваемых записей превышает 15, то производится разбивка на страницы. Количество страниц, а также номер текущей страницы отображаются внизу справа.
Рис. 13.21. Просмотр журнала ответов
13.5.3.Структура базы вопросов
База вопросов имеет простую структуру, основу которой составляют три таблицы, представленные на рис. 13.22:
« Courses » («Курсы») включает ключевое поле CourseID (идентификатор курса) и поле CourseName (название курса);
« Themes » («Темы») включает ключевое поле ThemeID (идентификатор темы), поле ThemeName (название темы) и поле связи с таблице « Courses » CourseID (идентификатор курса);
« Questions » («Вопросы») является основной таблице, в которой хранится содержимое вопросов. Она состоит из следующих полей: QuestionID – ключ,
ThemeID – связь с таблицей «Themes»;
Question_Title – заголовок вопроса,
Question _ Text – текст вопроса,
Question _ Buttons – описание кнопок для панели инструментов с переменными,
Answer_Mask – перечень правильных ответов,
QImage – бинарное поле для хранения изображений.
Рис. 13.22. Основная часть структуры БД вопросов
Помимо этого имеются три таблицы, которые носят вспомогательный характер. Их состав представлен на рис. 13.23. Показанные на нем элементы описываются следующим образом:
Таблица « StudyGroup » содержит поля:
GroupID – идентификатор учебной группы;
GroupName – название учебной группы;
Таблица « Students » состоит из полей:
StudentID – идентификатор записи о студенте;
GroupID – поле связи с таблицей «StudyGroup»;
StudentFullName – фамилия, имя, отчество учащегося.
Рис. 13.23. Вспомогательные таблицы
Таблица « Journal » включает поля:
UserGroup – название учебной группы или «Администратор БД» для преподавателя;
ActionResult – результат ответа на вопрос или «Вход» для преподавателя;
Theme_Name – название темы (совпадает с ThemeName из таблицы «Themes»), для преподавателя остается пустым;
Question_Title – заголовок вопроса (совпадает с Question_Title из таблицы « Questions »), для преподавателя остается пустым;
Date_Time – отметка даты и времени появления записи в журнале;
RecordNumber – идентификатор (номер) записи в журнале.
В заключение можно указать несколько направлений, по которым можно расширить возможности представленной сетевой системы тестирования знаний:
отказ от жесткого шаблона вопроса (текст, иллюстрация, кнопки формирования выражения). Существующий стандарт на формат HTML обеспечивает широкие возможности при проектировании внешнего оформления с привлечением современных средств повышения интерактивности за счет, например, Flash-анимации. На этом направлении потребуется решить несколько задач: создание встроенного редактора HTML страниц, размещение в базе данных исходного текста страницы и бинарных данных, связанных с ней (рисунки, анимация и т.п.), введение типовой формы ответов, повышение уровня требований к знаниям и умениям преподавателей;
организация поддержки других программ-просмоторщиков, а не только Internet Explorer ;
расширение возможностей встроенного модуля разбора регулярных выражений, что позволит сделать шаблон ответов более гибким и разносторонним.
13.1. Беспалько В.П. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия). М.: Изд-во Московского психолого-социального института, 2002.