Научное обоснование методики

В своих исследованиях мы оцениваем вовлеченность сотрудников по 10 метрикам, а лояльность по 5.

Лояльность — это индекс, отражающий отношение сотрудника к компании, его энергию и готовность к изменениям.

Ниже представлены 5 метрик лояльности, которые помогают понять, из чего формируется приверженность сотрудников компании:

«Гордится компанией» — ключевая метрика лояльности и дополнительно измеряется по следующим факторам:

Вовлеченность — это индекс, отражающий мотивацию сотрудников работать на результат и продуктивность рабочей среды.

Каждая из метрик вовлеченности содержит 5 вопросов, которые позволяют более детально оценить весь комплекс факторов (субметрик), влияющих на продуктивность или мотивацию сотрудников.

10 метрик вовлеченности:

Мы уверенно заявляем о максимальной достоверности данных Happy Job, поскольку это доказано научно.

Надежность — способность опросника давать стабильные и повторимые результаты в схожих условиях. Для ее оценки обычно используют коэффициент альфа Кронбаха; хорошим показателем считается значение коэффициента >0,7.

Для оценки надежности опросника Happy Job использовалась выборка из 22 174 респондентов. Мы рассчитали Альфу Кронбаха для каждого индекса и каждой метрики опроса и получили следующие результаты:

Коэффициент надежности для факторов метрики лояльности «Гордится компанией» равен 0.88.

Таким образом, опросник Happy Job показывает высокую надежность: все показатели стабильны и превышают необходимый уровень. Это позволяет использовать их для дальнейших исследований и анализа с высокой степенью доверия.

Валидность — это показатель того, насколько опросник действительно измеряет то, для чего он предназначен. В своих исследованиях мы изучали два вида валидности: содержательную и конструктную.

Содержательная валидность показывает, насколько вопросы опросника действительно отражают ту тему, которую он должен измерять.

Структура опросника Happy Job включает 10 базовых метрик вовлеченности, детализированных по 5 субметрикам, и 5 метрик лояльности. Они охватывают ключевые аспекты вовлеченности, признанные в современной HR-практике — это подтверждено сопоставлением с эталонными зарубежными шкалами.

На этапе разработки формулировки всех вопросов проходили экспертную оценку — их анализировали с точки зрения релевантности, полноты охвата и отсутствия избыточности.

Также мы провели серию исследований в фокус-группах (14 групп, 278 участников). Респонденты анализировали каждый пункт опросника на соответствие поставленным целям измерения: оценивали смысл и уместность каждого вопроса, что позволило выявить и скорректировать двусмысленные формулировки. В итоге все респонденты отметили понятность и релевантность пунктов.

Помимо этого, в работе над опросником мы опирались на теорию когнитивной нагрузки: сократили и переформулировали вопросы для уменьшения времени заполнения анкеты, устранили «шумовые» пункты и сделали исследование лаконичным и понятным для всех категорий сотрудников.

Анализ результатов фокус-групп подтвердил, что все пункты опросника не только адекватно отражают концептуальную структуру вовлеченности и лояльности, но и воспринимаются целевой аудиторией без искажений. Дальнейшие проверки на независимых выборках (в различных организациях и среди разных категорий сотрудников) также подтвердили это.

Таким образом, содержательная валидность опросника Happy Job подтверждена:

• • строгим теоретическим обоснованием структуры и содержания опроса;
• • экспертной и групповой проверкой охвата конструкта;
• • когнитивным упрощением формулировок в соответствии с научным стандартом работы с психометрическими инструментами;
• • эмпирической проверкой на реальных выборках.

Подробнее о содержательной валидности опросника: Klochkov A., Vidiasova L., Happy Job Methodology for Employee Engagement and Commitment Evaluation // International Journal of Sciences: Basic and Applied Research

Конструктная валидность показывает, насколько структура опросника соответствует методологии, заложенной при его разработке. Ключевым методом ее оценки является факторный анализ — он показывает, соответствует ли структура шкал предполагаемой теоретической рамке.

Конструктная валидность опросника Happy Job проверена на данных 22 174 респондентов.

Результаты исследования конструктной валидности для каждого индекса:

Результаты исследования конструктной валидности для факторов метрики лояльности «Гордится компанией»:

Результаты исследования конструктной валидности для метрик вовлеченности:

Все показатели факторных нагрузок, доли объясненной дисперсии и индекса качества модели (SRMR) находятся в пределах необходимых значений, что подтверждает соответствие структуры опросника заложенной теоретической модели.

Таким образом, опросник обладает высокой конструктной валидностью факторов вовлеченности и лояльности.

Дискриминативность — это способность опросника различать (дифференцировать) респондентов с разным уровнем вовлеченности и лояльности.

В психометрике существует две теории тестирования: классическая (КТТ) и современная (IRT). Мы делали расчеты параметра дискриминативности в рамках современной теории (требует большого объема данных), т. к. обладаем большой выборкой ответов и имеем возможность сделать необходимые расчеты.

Результаты параметра дискриминативности для метрик каждого индекса:

Результаты дискриминативности для факторов метрики лояльности «Гордится компанией»:

Результаты параметра дискриминативности для каждой субметрики вовлеченности:

У всех метрик и субметрик вовлеченности и лояльности сотрудников высокие показатели дискриминативности (значения существенно выше порога 0,7). Это говорит о хорошей способности опросника различать респондентов с разным уровнем измеряемых качеств.

Создавая методику Happy Job, мы тщательно изучили факторы, влияющие на достоверность результатов. Одним из них стала когнитивная нагрузка респондентов.

Теория когнитивной нагрузки

Когнитивная нагрузка — объем усилий, необходимых для решения задачи. Теорию разработал австралийский педагог Джон Свеллер в 1988 году, предположив, что способ подачи информации влияет на умственные усилия, требуемые для ее усвоения.

Таким образом, с увеличением когнитивной нагрузки растет риск ошибок, снижается способность воспринимать информацию, принимать решения и оставаться объективным.

Поведение респондентов при высокой нагрузке

Исследования вовлеченности и лояльности подчиняются тем же правилам, что и любые другие задачи: чем сложнее опрос, тем больше усилий требуется. Влияют не только формат анкеты, но и внешняя обстановка — офисный шум, устройство для прохождения опроса и т.д.

Высокая нагрузка ставит под сомнение достоверность опроса: респонденты теряют концентрацию, допускают ошибки, не всегда проходят исследование до конца или же выбирают формальные ответы, не отражающие реального мнения. Все это негативно сказывается на релевантности данных.

Восприятие информации респондентом

Современный человек ежедневно получает огромное количество данных — по оценке профессора Мартина Гилберта из университета Южной Калифорнии, их можно сравнить с 170+ печатными изданиями.

Чтобы снизить нагрузку, мозг выделяет главное и блокирует лишнее — например, игнорирует соцрекламу и быстро находит ключевые фразы. Есть важный нюанс, выявленный ученым Джорджем Миллером в прошлом веке: человек способен одновременно удерживать в кратковременной памяти 7 ± 2 элемента. Это означает, что если количество вариантов ответа на вопрос превышает 9, респонденту сложно удержать все ответы в фокусе. Это приводит к недостоверным ответам. В опросе Happy Job мы учитываем этот принцип и не перегружаем вопросы сложными формулировками.

Методика Happy Job разработана с учетом этих особенностей и ориентирована на повышение качества и точности опросов за счет оптимизации всех элементов процесса — от структуры вопросов до подачи и дизайна.

Точность и достоверность данных. Надежность и валидность используемых метрик позволяют уверенно использовать полученные данные для анализа и принятия решений.

Четкие и понятные формулировки. Вопросы не перегружены сложными терминологиями и длинными конструкциями, чтобы более 90% респондентов понимали их с первого прочтения.

Визуальная поддержка. Вопросы сопровождаются понятными визуальными элементами, основанными на знакомых с детства ментальных моделях, что облегчает восприятие и уменьшает когнитивную нагрузку.

Интерактивный и приятный дизайн. Элементы анимации, эмодзи и другие вовлекающие детали создают комфортную атмосферу и мотивируют респондентов внимательно отвечать на вопросы.

Чередование форматов вопросов. Разнообразие заданий и способов подачи информации позволяет воспринимать ее разнопланово, снижает утомляемость и помогает мозгу быстро справляться с задачами.

Оптимальная длина и структура. Продолжительность опроса и количество вариантов ответа тщательно продуманы, чтобы избежать перегрузки кратковременной памяти респондентов и поддерживать их концентрацию.

Максимальная честность ответов. Благодаря оптимальному балансу нагрузки и удобству прохождения сотрудники комфортно делятся своими настоящими мыслями, что отражается в точности и достоверности данных.

Методика Happy Job сочетает научный подход и современные технологии, обеспечивая эффективный и удобный инструмент для объективного измерения вовлеченности и лояльности сотрудников, сохраняя при этом высокое качество и надежность результатов.