Поиск по этому блогу

пятница, 16 июня 2017 г.

Немного аналитики, или отзывы конечных пользователей о курсе 

По завершению разработки обучающего курса всегда интересно, как он решил задачи заказчика, насколько он понятен и удобен для конечного пользователя, есть ли что-то, что можно улучшить. Обычная статистика по результатам обучения дает мало информации. Поэтому проведение опроса конечных пользователей курсов - самое оптимальное решение для сбора интересующей нас информации.

В конце 2016 года мы разработали новый модуль «Контрафактная продукция» для вводного курса компании «Синергия. Он предназначен для обучения сотрудников, работающих с продукцией, и дает информацию о том, как выявлять контрафакт и действовать в случае его обнаружения.
В ходе исследования опрошено 70 респондентов. Среди них основную часть составляют торговые представители (38,6%), супервайзеры (17,1%) и территориальные менеджеры (11,4%). Большая часть опрошенных находится в молодом возрасте 25-35 лет (67,1%), почти четверть – в среднем возрасте 36-45 лет (22,9%).
Стоит отметить, что сотрудники проходили данное обучение в основном в нерабочее время (62,9%).
Нами были получены результаты по ряду параметров:
  • ожидание и впечатление от курса;
  • понятность формы изложения материала;
  • оценка дизайна и иллюстраций и их влияния на усвоение материала;
  • удобство навигации и элементов управления;
  • влияние формата подачи материала на усвоение информации;
  • оценка трудности заданий;
  • оценка времени на прохождение курса;
  • общая оценка за курс.

Большей части опрошенных модуль «Контрафактная продукция» понравился и соответствовал их ожиданиям (80,6%). 

Влияние формата представления и изложения контента курса на восприятие пользователем


















В исследуемом курсе материал преподносится последовательно в рамках сюжетной линии, где персонаж-гид встречает пользователя, знакомит с основными признаками контрафактной продукции на конкретных примерах и с алгоритмом действий при ее обнаружении. Как показал опрос, выбранный формат подачи материала понятен всем пользователям и способствует лучшему усвоению информации курса.































Выбранная форма изложения материала непосредственно влияет на восприятие пользователем информации, контрольных заданий и других элементов курса, так как этот признак имеет корреляцию (взаимосвязь) со следующими признаками: 
  • восприятие логики курса;
  • восприятие дизайна и иллюстраций;
  • удобство навигации;
  • понимание и усвоение теоретического материала курса;
  • восприятие контрольных и проверочных заданий курса;
  • полезность информации.
Можно сделать вывод, что выбранный формат реализации и составляющие его элементы педагогического дизайна формируют положительное восприятие курса. В данном случае мы видим, что они были выбраны правильно.

Проработка материала курса 

 Материал, изложенный в курсе, понятен всем опрошенным, и большая часть (87,1%) из них усвоила и запомнила 81-100% теоретического материала курса. Также более 90% респондентам понятны вопросы проверочных заданий и тестирования. По их мнению, контрольные задания соответствуют представленному теоретическому материалу. В целом, 85,7% обучаемым и практические задания, и тестирование показались легкими в прохождении. 
Это достаточно высокие результаты, что указывает на проработку контента курса и выбор уместных педагогических приемов подачи материала для наилучшего усвоения информации пользователями.
Информация, представленная в курсе, практически для всех пользователей оказалась полезной, а 74,3% обученных сотрудников узнали для себя что-то новое и готовы применять это в практической деятельности. Данные признаки находятся в обратной зависимости друг от друга: чем выше пользователи оценили полезность изученной информации, тем больше у них желания применять полученные знания в реальной жизни (коэффициент корреляции между этими признаками равен «-0,392»).

Сила визуала

Важную роль в курсе играет визуальная составляющая. Удобный и приятный дизайн и иллюстрации помогают лучше воспринимать материал курса, а также ориентироваться в его навигации. Большинству пользователей (94,3%) понравились дизайн и иллюстрации. Среди нескольких отзывов были пожелания сделать окраску курса более яркой и добавить фотографий примеров контрафактной продукции. Иллюстрации курса выполнены в скетчевом стиле, и в них используются не очень яркие, холодные цвета. Полученные отзывы побудили нас добавить красок в последующие модули вводного курса, а также в будущем раскрасить и этот.

Такой стиль графики использован изначально. 

Такой стиль графики стал.


























Используемое визуальное оформление курса помогает восприятию представленной в нем информации: 78,6% опрошенных оценили данный признак на «5», 20% – на «4».
Влияние дизайна и иллюстраций на восприятие информации курса подтверждает наличие взаимосвязи со следующими параметрами:
  • восприятие формы изложения материала курса;
  • понимание логики прохождения курса;
  • удобство навигации;
  • понимание и усвоение теоретического материала и контрольных заданий;
  • восприятие полезности контента курса и желание применять полученные знания;
  • общее впечатление и оценка курса.
Таким образом, мы видим, что визуальная составляющая курса выбрана правильно: она не отвлекает пользователя от процесса обучения и помогает лучше усваивать материал через примеры и визуальные образы, формирует положительное впечатление о курсе.
 Интересное наблюдение. Есть слабая взаимосвязь между полученными положительными впечатлениями от иллюстраций курса и возрастом опрашиваемых (коэффициент корреляции равен «0,358»): чем старше пользователь, тем меньше он обращает внимание на данный признак.

Как оценили пользователи курс

Средняя оценка за курс достаточно высокая: 9 (9,07) из 10 баллов.
 
На полученный результат влияют практически все исследуемые показатели курса (между ними наблюдается слабая и средняя корреляция):
  • форма изложения материала;
  • дизайн и иллюстрации;
  • удобство навигации;
  • понятные и легкие контрольные задания;
  • полезность информации курса;
  • применимость знаний в практической деятельности.
У перечисленных признаков корреляция средняя или ближе к средней (0,4-0,6) и значима на уровне p=0,01.

 Интересное наблюдение. Средняя оценка за курс не зависит от внешних признаков – пола, возраста опрашиваемых и их стажа работы в компании, то есть она полностью зависит от качества и проработки обучающего продукта. 

Приятные отзывы

Опрос позволяет получить не только числовые данные для статистического анализа, но и отзывы и пожелания от обучаемых сотрудников:
  • «Курс, на мой взгляд, удался. Все понятно. Проверочные задачи очень уместны. Спасибо.»
  • «Побольше подобных курсов. Таким способом информация усваивается очень хорошо и лучше запоминается.»
  • «Хотелось бы все тесты с таким дизайном, информация в таком тестовом режиме усваивается намного лучше!»
  • «Так держать, курс информативный и легко усваиваемый.»
  • «Побольше вопросов по закреплению материала, простые вопросы конечно хорошо, но не мешало бы вопросов с подвохом.»


Вывод


Итак, в результате проведения исследования обратной связи конечных пользователей мы получаем подробную информацию о том, как курс ими воспринимается, что в излишке, а чего не хватает. Подобное исследование мы проводим уже не впервые, и каждый раз результаты нас не только радуют, но и подталкиваю к улучшению обучающих продуктов. Всегда интересно знать жизнь курса после его внедрения в процесс обучения и мнение конечного пользователя.


среда, 14 июня 2017 г.

Все что вы хотели знать про электронные курсы

Ну конечно не всё, но кое что.

Выступал вчера на онлайн конференции "Международная 3-х дневная конференция для HR-специалистов и корпоративных университетов" проекта eTutorium

Еще раз хочу извиниться за качество трансляции перед участниками и организаторами. На нашей стороне были проблемы.

Решил несколько подсобрать и обобщить опыт разработки электронных курсов и рассказать про то, как их лучше заказывать, как устроен провайдер электронных курсов, какие бывают курсы и привел примеры различных ситуаций из практики.

С этой презентацией выступал в первый раз, если у кого есть желание - могу повторить, пишите.

Запись выступления платна насколько я понимаю :), а презентацию пожалуйста - можно полистать.



 

Иллюстратор — кто это?

В большинстве, а почти во всех электронных курсах используется графика. Она может быть почти незаметная — маленькая иллюстрация-иконка, передающая суть написанного, а может быть очень заметная, например, локация во весь экран с персонажами в диалогах. Но всегда иллюстрация должна быть подчинена решению поставленных задач, раскрывать и подкреплять смысл.

Даже если маленькая иллюстрация-иконка была бесплатно скачена с самого бесплатного стока, когда-то она была нарисована иллюстратором. На нашем потребительском уровне еще не так повсеместно используют силу роботов.

В нашей компании внешний облик проектов находится на одном уровне важности со смысловыми и техническими составляющими. Поэтому в штате целая команда иллюстраторов.

Иллюстраторы у нас не художники. Мне всегда не по себе, когда называют иллюстраторов художниками, прочно устоялась ассоциация с несобранным, очень творческим, немного пьяным человеком, который всегда находится «в поиске». Нашу профессию я называю «коммерческий иллюстратор». Это подразумевает высокий уровень мастерства, знание анатомии, графических программ, планшета, особенностей работы по заданию, соблюдение сроков и вообще хорошую выдержку. Устоялось мнение, что иллюстраторы «да просто рисуют картинки». Рисуют, но это непросто. Все вообще непросто.

Давайте по порядку:
  1. Уровень мастерства. В России есть, по большому счету, один университет, который обучает искусству современной иллюстрации, но обучение платное, очень платное, и далеко не все могут себе это позволить. Есть альтернатива — много онлайн-курсов в виде видео ускоренного процесса рисования с комментариями автора. Как в любом другом мастерстве, успех приходит через несколько лет постоянной практики. Как самостоятельное явление, профессия появилась недавно. До этого навыками иллюстрирования обладали графические дизайнеры и веб-дизайнеры и применяли их от случая к случаю. Поэтому у многих ребят появилась возможность развиваться исключительно в направлении иллюстрирования контента в бесконечных вариациях стилей. У нас в компании работают иллюстраторы с разным уровнем мастерства, но все тянутся вверх, так как постоянно растет требование к уровню качества графики. Нельзя стоять на месте и быть удовлетворенным своим уровнем, это означает что иллюстратор не будет расти и со временем «перегорит».
  2. Анатомия. Бич иллюстраторов и повод для постоянных жарких споров. Для одних рука вывернута, для других все нормально. Поэтому стараемся, когда рисуем персонажей постоянно смотреть и срисовывать с фотографий в схожих положениях. Вообще, для меня основное отличие художника от коммерческого иллюстратора — это использование референсов, т.е. прорисовка персонажей в реалистичном стиле по фотографиям. Чаще всего это относится только к этому стилю, т.к. в нем важна правильная анатомия и детализация.
  3. Графические программы. Невозможно работать в сфере электронного обучения и рисовать на бумажке. Хотя я когда-то маленькую часть своего первого проекта рисовала на бумажке карандашом, потом обводила тушью, потом сканировала, потом подчищала в программе. Очень много времени потеряла. Иллюстраторы должны знать Adobe Photoshop и Adobe Illustrator. Просто должны знать, без комментариев.
  4. Использование планшета. Ну конечно иллюстраторы не рисуют мышкой! Это самое страшное наказание. В работе используются большие планшеты фирмы Wacom. Рисуют специальной ручкой-стилусом, у которого есть насадки, имитирующие работу по различным материалам. Без этого навыка в нашей профессии делать нечего.
  5. Работа по заданию. Не секрет, что иллюстраторы одни стили графики любят больше чем другие. Например, всегда веселее рисовать мульттипликационных героев.
    персонаж в мультипликационном стиле
    Или хочется попробовать новый стиль, а нет подходящей темы для курса. Или нужно иллюстрировать сложные нефтехимические процессы в стиле флэт.
    часть иллюстрации процесса нефтепереработки


    На помощь приходит любовь к деталям, ведь можно нарисовать так как никто еще не рисовал, или использовать необычную цветовую гамму, сложный ракурс. Иногда изначально определенный проект планируется под человека, тогда в процессе глаза горят, и перо планшета летает. А еще сложность в задании — это всегда вызов, еще одна точка роста.
  6. Соблюдение сроков и выдержка. Одно другому помощь создает. Проектов всегда много и будет их всегда много, поэтому время иллюстратора распланировано очень четко, т.к. он является частью рабочей цепочки. Настолько четко что иногда нет времени даже сделать перерыв потому что хочется нарисовать покрасивее лицо персонажа или подетальнее локацию. Самое сложное в этом — держать уровень. Постоянный аврал, потеря мотивации, забивание на качество, в таких ситуациях вылезает творческий художник. Тогда мы ведем с ним диалог и используем свои инструменты для поднятия духа. Вообще сроки — это благо. Они создают рамки, иначе любая работа может длится вечно и не будет завершена. Исключение – когда сроки неадекватны ожиданиям.
Страшная картина получилась. Но теперь стало понятно, что профессия коммерческого иллюстратора — это тяжелый интеллектуальный и физический труд, требующий постоянной практики навыков. Тем не менее, приехав к нам вы увидите бодрых и веселых ребят в отделе визуала, потому что у нас есть секрет творческой энергии.

И о нем я напишу отдельно ;)