Прочитал отчёт про разработку AI-ассистента для студентов именитого курса CS50 в Harvard University. Процесс происходил итеративно, мини-группа из 70 тестировщиков летом -> 500 студентов на кампусе -> тысячи студентов в онлайне.
Всего было разработано 3 AI-based продукта:
1. Плагин для IDE, объясняющий код (в том числе разницу форматтирования, чтобы студенты сразу учились писать красиво удобно)
2. Автоответчик на форуме поддержки, где в асинхронном режиме студенты могут общаться между собой (и иногда с преподами), чтобы разрулить свои проблемы. Теперь бот на основе GPT-4 и с материалом всех лекций в памяти писал ответы (которые в течение определенного времени верифицировались или удалялись ассистентами)
3. Главная фишка — AI-duck. У программистов есть такой концепт, резиновая уточка: если вдруг попал в просак и не можешь понять, где баг или другая проблема, то нужно начать объяснять в слух кому-то пошагово, что происходит. Обычно помогает поймать себя на описании проблемы в логике и получить aha-moment. Собственно, AI-уточка тут — это GPT-4 + набор инструкций + все конспекты в памяти, и неистовое желание помочь студенту. Можно как помочь разобраться в одной задаче, так и в целом пояснить материал лекций, если вдруг не понял. А чтобы студенты не абьюзили GPT-4, авторы ввели систему жизней: 10 сердечек ❤️, каждое сообщение вычитает одно. На восстановление ❤️ нужно 3 минуты. Это как экономит деньги на API OpenAI, так и заставляет студента думать своей головой, а не по каждому чиху дергать «ментора».
Основная цель всех приседаний, конечно, приблизиться к соотношению студент:учитель как 1-к-1. Как показывали исследования (про которые я уже писал), при таком персональном подходе существенно увеличивается качество образования. И, согласно опросу, студенты чувствовали, что они имеют персонального преподавателя — 47% отметили, что бот very helpful (26% — просто helpful), и 53% сказали что love бота (33% просто like, чуть менее серьёзно, чем love ).
Интересно, что качество ответов на вопросы на платформе в сценарии 2 просело относительно людей. «Тупые машины галлюцинируют, ха-ха, как их в образование то тащить!» — скажут одни. Правильный ответ: все простые вопросы на себя взяла уточка, а те, с которыми она не справилась, студенты выкладывали на форум, где получали ответы — среднее количество уменьшилось с 1.1 (на студента) до 0.28 (!).
И немного про деньги: в среднем один студент обходился в $1.9 в месяц, что с лихвой окупилось по мнению авторов. Проект признан успешным, его теперь будут раскатывать на ещё 10 других курсов, и рекомендуют другим учебным заведениям делать то же самое!