Итоги Настеньки Q2'24

Введение

Я собираю ответы на ежедневные опросы настроения уже год и три месяца. Большую часть этого времени на опросы отвечало всего нескольок человек — тестировщиков из близкого окружения, благодоря которым работа опросов подтверждена как стабильная, основные проблемы были найдены, а также благодоря которым были добавлены выжные и уже привычные функции: календарик с выбираемым стилем, напоминания о пропущенном опросе вечером (сломалось, в доработке) и анонимный чат с МНВР. Последние три месяца в опросах также участвуют физтехи, добровольно зарегистрировавшихся после публикаций в МКИ и через постеры по кампусу. Данные от большего количества участников уже можно пытаться анализировать статистически, чем мы здесь и займёмся

Респонденты

Вопросы о принадлежности к полу, ФШ и курсу задаются пользователям перед подпиской на ежедневные опросы. Проверить корректность предоставленных данных у меня нет возможности. Тем не менее, общее распределение пользователей по демографическим категориям близко к документальным данным о распределении студентов в МФТИ. Исключения составляют малые ФШ и подозрительно низкое количество пользоватлей с ФБМФ (5% пользователей при ~10% студентов МФТИ). Стоит заметить, что "5%" это 6 человек, из которых примерно 3 были в индивидуальном порядке приглашены Админом, что ещё больше увеличивает подозрительное малое количество.

Активность

Первая публикация о существовании Настеньки была выложена в сообществе МКИ в ВК и канале МКИ в ТГ 15 февраля. Эта дата выбрана как начальная точка дальнейшего анализа, как время высокой активности. Дополнительный интерес представляет точка 1 марта — в этот день в кампусе МФТИ были развешены информационные плакаты с напоминанием пройти опрос, ссылкой на бота и дополнительную информацию о мотивировании участников призом за стабильное прохождение опросов.

Начиная с этого дня наблюдается небольшой рост участников до уровня начала исследования, а также сильное уменьшение флуктуаций в числе прохождений. Похоже, что плакаты помогали некоторым участникам не забывать о существовании бота, а также привлекали новых пользователей. Эффективность плакатов как средства привлечения пользователей подвершается нами сомнению, и в дальнейшем будут рассматриваться альтернативные методы продвижения. Тем не менее, положительное влияние плакатов отрицать невозможно.

Также стоит отметить два характерных отрезка в марте: 15/16 марта — бот был отключен в связи с техническим обслуживанием сервера, 23/24 марта — бот был отключен по личной инициативе Админа в связи с терактом в Москве. Пикирующие значения активности 23/24 апреля вызваны массовой рассылкой с напоминанием о функции календарика и о подарке за 100 ответов. Интересно, что долгосрочных эффектов эта рассылка не оказала.

Ответы

Опрос это ежедневная рассылка следующего содержания:

Время для ежедневного опроса!
Как ты оцениваешь своё настроение?
🟥 - Замечательно!
🟧 - Отлично!
🟨 - Хорошо!
🟩 - Нормально.
🟦 - Не очень.
🟪 - Мне тяжело.
🟫 - У меня большие трудности.

Цвета на графике опросов соответсвуют ответам в опросе. Экспериментально ответы Хорошо и Нормально являются центральными значениями шкалы и являются нормльным уровнем для большинства пользователей.

Для анализа трендов в настроении пользователей, каждый ответ брался относительно медианного значения для этого пользователя. Из ответов исключены дни с малым количеством ответов, а также респонденты с медианным значением 1 и 7 (таких 6 человек).

Данный график включает в себя несколько шагов сглаживания и усреднения для наблюдения линии тренда: отклонения считается в среднем по всем пользователям за каждый день, затем полученные суммы усредняются скользящим средним за 7 дней (точки = результат усреднения), для проведения линии тренда использовалась функция LOWESS. Доверительный интервал с p-value=0.05 был построен методом bootstrap.

Дополнительно были построены тренды для только мужчин и женщин среди отвечающих. Примечательно, что линии тренда практически совпадают. Это может говорить как о равном влиянии окружения Физтеха на студентов вне зависимости от их пола, так и статистической значимости наблюдаемого тренда.

Что мы видим?

Перед обработкой данных было выдвинуто три гипотезы о том, как может идти линия тренда:

• Праздники и публичные мероприятие повышают среднюю оценку настроения респондентов
• Периоды сдач и сессии сильно снижают среднюю оценку
• Выходные дни в среднем имеет более высокую оценку чем буднии дни

По последнему пункту данные следующие:

Mean score for holidays: 4.44
Mean score for weekdays: 4.35
p-value of t-test: 0.06616

Отклонение оценки соразмерно с амплитудой флуктуаций среднего значения и погранично статистически значимо — эффект имеется, но его значение невелико. Это дополнительно подтверждается невозможностью на глаз вычленить выходные дни из диаграммы ответов.

Первая и вторая гипотеза подтверждаются наличием падений настроения в период сдач и повышения настроения во время майских и МЖ-праздников, а также заметным спадом настроения при переходе к сессии.

Интересно, что рассмотрение только тех пользователей, которые отвечают в более разнообразно чем в среднем, не увеличивает амплитуды тренда. Тем не менее, для этих пользователей заметно наличие большего сдвига среднего в негативные значения, что может интерпретироваться как "если я отвечаю негативно, то скорее всего сильно негативнее, чем обычно".

Заключение

К сожалению, полученные данные очень шумные. Для получения данных трендов пришлось применять многократное усреднение имеющихся данных, что позволяет использовать их исключительно для анализа медленных (T > 7 дней) изменений в настроении студентов. Не меньшее опасение вызывает огромный доверительный интервал. Из-за этого мы не можем достоверно сравнивать количественное значение позитивных и негативных периодов студенчества и можем только качественно оценивать в низкой или высокой точке мы сейчас находимся.

Далее можно будет провести дополнительное исследование связи полученных ответов с другими демографическими факторами кроме пола, а также попробовать провести смешанное исследование с периодическими опросами респондентов по более подробным методологиям, вроде SRQ20 или K10, с использованием встроенного функционала быстрых опросов Настеньки.

Предложения по возможным исследованиям и проверкам, которые можно провести на платформе Настеньки можно писать Администратору: @Folegle

Случайное фото кота

вот ещё крыски вам