Шон пишет:

Хорошее репетиторство работает, но хороших репетиторов найти трудно. Модели больших языков (LLM) теоретически могут удовлетворить этот огромный спрос экономически эффективным способом. Но могут ли они на самом деле заниматься репетиторством, и если да, то для кого?

В ноябре 2023 года я написал в соавторстве эссепредсказывая, что ИИ может изменить ситуацию для мотивированных детей, но «просто так» для немотивированных. В апреле 2024 года наш друг Лоуренс Холт опубликовал Проблема 5% В этой публикации мы рассуждаем в том же духе, что образовательные технологии помогают богатым стать еще богаче, тогда как в данном случае «богатые» — это сильные академические люди и мотивированные к изучению рассматриваемой темы. В мае мы с Лоуренсом провели небольшой саммит по искусственному интеллекту в Гарварде. Мы надеялись найти хороший контраргумент нашему тезису, но не смогли найти ничего убедительного. Мы все еще надеемся!

В июле я привлек одного из 5% — моего 16-летнего стажера Нэша — чтобы оценить, насколько нынешний ИИ помогает «более сильным» студентам, таким как он. Результаты превзошли мои ожидания. Вот его история. Тогда присоединяйтесь ко мне для моих ключевых выводов в конце.

Нэш пишет:

Я Нэш, ученик средней школы. В этом году я сдаю статистику AP. Мне было любопытно посмотреть, смогут ли платформы искусственного интеллекта GPT и Claude помочь мне узнать что-нибудь по этому предмету самостоятельно.

В целом, это сработало хорошо. Я предпочитаю этот метод другим способам самостоятельного обучения чему-либо и даже могу рассматривать его как разумную замену типичному обучению в классе — по крайней мере, для действительно мотивированных детей. Вот что произошло.

Моя первая попытка была с GPT-4o. Процесс был прост: я искал вопрос в другом источнике (будь то Академия Хана или традиционный учебник) по такой теме, как стандартное отклонение, делал его снимок экрана и копировал его. Тогда я просил 4о объяснить мне это.

Например, я бы задал вопрос: «Является ли это действительным распределением вероятностей?» и он ответил бы так:

Это очень отличается от человеческого наставника. В своем базовом режиме он не пытается заставить меня разобраться с проблемой. Скорее, он отвечает так же, как ответил бы Google (может быть, потому, что он конкурирует с Google?).

Однако есть способ исправить это, по крайней мере в некоторой степени. ChatGPT позволяет вам создайте свой собственный GPT. Мы создали вариант, имитирующий репетитора по математике, с двумя основными отличиями от стандартного GPT-4o. Во-первых, он пытается больше вовлечь ученика в вопросы, помогая ему решить задачу самостоятельно, вместо того, чтобы немедленно раскрыть ответ. Он также пытается говорить более откровенно. Результат выглядит следующим образом:

Как вы можете видеть в этом примере, он смог провести меня через этапы решения проблемы и предоставил мне только ту информацию, которая была абсолютно необходима для ее решения (в данном случае, свойства допустимого распределения вероятностей). Единственным недостатком этой версии является то, что иногда в ней ломаются ступени. слишком много. Например, вы можете выполнить шаги и решить проблему, но не сможете повторить ее снова, потому что упустили из виду общую картину и почему ты делал то, что делал.

Галлюцинации редко были проблемой. Я видел несколько. Но я отнесся к этому как к учителю, который иногда специально делает ошибки, чтобы дети их «поймали».

Для тем, в которых я силен, я бы использовал базовый GPT для скорости. Для тем, где я застреваю, я буду использовать этот пользовательский GPT.

Я также попробовал модель Claude 3.5 Sonnet. Разница между ним и GPT-4o? Минимальный. Взгляните:

Я бы заметил, что ChatGPT кажется более математическим, а решение проблем Клода более литературным. Люди могут предпочесть одно или другое, но они доставят вас в один и тот же пункт назначения.

В моей ситуации я часто переходил от «полузнания» к «полному знанию». Я мог довольно быстро понять суть происходящего, а LLM мог привести меня к финишу. Но я думаю, что это не пойдет на пользу студентам, у которых мало базовых знаний по теме. Наставник-человек мог бы гораздо лучше помочь человеку перейти от «непонятия» к «полузнанию».

Хорошо, LLM помог мне попрактиковаться в задачах. Но что, если бы я захотел пойти глубже – узнать не только, как, но и почему— выйти за рамки «полного знания» к «мегазнанию»? Могут ли LLM помочь в этом?

Я возился с ними. Например, я спросил ChatGPT, почему мы рассчитываем стандартное отклонение именно так, а затем задал несколько дополнительных вопросов.

На мой взгляд, это краткое изложение методологий и обоснований оказалось полезным и хорошо объясненным. Мне легче запомнить, что вам нужно возвести в квадрат отклонения, чтобы сделать их преувеличенными и лучше понять выбросы.

Однако это приводит к тому, что, скорее всего, является самой большой проблемой в репетиторстве LLM на данный момент. Основные цели наставника-человека — учить и мотивировать. Практически невозможно научить ученика, который не хочет учиться. И это главный недостаток обучения ИИ. С самого начала ему требуется ввод данных пользователем даже для запуска сеанса. Если пользователь отвлекается на что-то другое или его ответы не соответствуют теме, обучение (или обучение) не будет выполнено. Я думаю, что LLM хорошо работают для мотивированных учащихся, но в тех случаях, когда пользователь абсолютно не хочет учиться, репетитор с искусственным интеллектом неэффективен, потому что у него нет стратегий, которые могли бы его мотивировать.

Мой рейтинг эффективности обучения: от худшего к лучшему.

1. Онлайн-видео
2. Только учебник
3. Обычный класс
4. Клод
5. GPT

Однако эффективность — не единственный аспект, который следует учитывать. Лично мне по-прежнему больше нравится учиться в школе, чем пытаться чему-то научиться самостоятельно. Так что, даже если бы я теоретически мог пройти через AP Stats за два месяца, я бы предпочел просто изучить это в школе вместе с одноклассниками.

Шон пишет:

Я сертифицированный учитель математики Национального совета, преподавал в Нью-Йорке и Чикаго. Ранее я руководил разработкой учебных программ по математике в крупной международной образовательной организации, где наши учителя достигли значительные успехи в математике для студентов. Учитывая этот контекст, вот мои впечатления после работы с Нэшем:

1. Общайтесь с GPT4o прямо сейчас — для мотивированный ребенок, описанный в эссе Холта, работает лучше, чем обычный репетитор-человек. С этими лучшими учениками преподаватель знакомит с темой, показывает пример, и ученик обычно «понимает ее». Если нет, они могут задать преподавателю один или два вопроса, чтобы достичь «полного знания».

Я бы дал 4o небольшое преимущество перед репетитором-человеком, потому что он может работать со скоростью мотивированного ученика из 5% лучших. Кроме того, он может подробно описать все, с чем учащемуся нужна помощь, в удобном для него стиле (особенно, если вы создаете собственный GPT, как мы сделали для Нэша). Недавнее исследование подтверждает опыт Нэша на 839 студентах: специальная версия GPT превзошла «базовую версию».

Ни один репетитор-человек не является таким быстрым и интеллектуально разносторонним, как современные студенты магистратуры, если подсказки, которые им дают, ясны и конкретны.

2. Как пишет Дэн Мейер: «Великие учителя. . . не ждите, пока возникнет спрос на их учение естественнов студенте. Они считают своей задачей создание спроса».

Когда я наблюдал, как Нэш занимается с репетитором по искусственному интеллекту, этот спрос был естественным. Ему было что-то интересно или ему нужна была помощь в решении проблемы, поэтому он спросил 4o. Это помогло ему двигаться вперед. Ему не нужен был учитель, чтобы выявить его мотивацию.

Я отметил транзакционный характер взаимодействия Нэша с 4o, который может вызвать беспокойство у некоторых преподавателей. Наблюдая, как он изучает стандартное отклонение, я почувствовал необходимость задать ему несколько вопросов «Проверка понимания», чтобы улучшить его понимание и, как учитель, почувствовать себя полезным. Наши дискуссии действительно улучшили его понимание, но они не были существенными. Нэш был в порядке. Я могу представить себе мотивированных детей из 5 процентов, которые действительно наслаждаются общением с LLM — возможностью обсуждать тему в любое время и на любой глубине.

Все идет нормально?

3. Возможно, вы интуитивно поняли огромный предостережение. Решение проблем с помощью ИИ, даже если оно настроено так, чтобы действовать как настоящий репетитор, не подойдет подавляющему большинству студентов. Я думаю, для 80 процентов из них это было бы хуже, чем у обычного репетитора-человека, для 15 процентов — то же самое, для 5 процентов — лучше. Это соответствует тезису Холта и духу критики Мейера.

Магистр права не только не может легко вызвать интерес или мотивацию у студентов, но и их помощь может иметь непредвиденные последствия. Когда я спросил Нэша, будут ли некоторые из его коллег использовать степень магистра права просто как «данный ответ», он просто улыбнулся; конечно, они бы это сделали. (Как бывший учитель средней школы, я должен был знать лучше.) То же самое рандомизированное контролируемое исследование Я уже упоминал ранее, что у меня был любопытный вывод, подтверждающий это: студенты переоценили, насколько ИИ помогает им учиться, а не дает ответы. Они слишком сильно на него полагались, и отсутствие этого отрицательно сказалось на их производительности по сравнению с контрольной группой.

4. Я думаю, если бы в этом году Нэш работал с GPT4o в качестве своего репетитора в штатах AP, а не посещал занятия в своей средней школе, он получил бы на экзамене высшую оценку 5 всего за шесть недель усилий. Вместо этого он будет посещать занятия в течение 30 недель и, вероятно, получит тот же результат.

Важно отметить, что Нэш делает нет хочу пойти более эффективным путем. Ему нравится средняя школа — его друзья, опыт посещения занятий, дискуссии, которые происходят. Ему нравятся его учителя и социальное товарищество. Итак, куда спешить?

5. Однако я не могу не задаться вопросом о нескольких вещах.

а. Если бы у них была такая возможность, сколько 5 процентов студентов отказались бы от курсов с отличием и курсов GPT для самостоятельного обучения?

б. Если бы Нэш мог заниматься GPT4o вместе с несколькими друзьями вместо посещения обычных занятий по статистике AP с учителем, выбрал бы он репетитора по ИИ?

в. Насколько это станет лучше? Уже есть заявления о том, что благодаря новым достижениям устаревшие версии инструментов ИИ кажутся устаревшими. доисторический. С тех пор, как мы с Нэшем работали вместе, OpenAI выпустила два крупных обновления — голосовой режим и «o1 Advanced», оба из которых я бы использовал в своей работе с Нэшем.

Но мы были здесь раньше. Волны образовательных технологий приходят и уходят, и эмпирически мы увидели, что преимущества в основном касаются таких детей, как Нэш.

Несмотря на это, возможности 4o в качестве репетитора произвели на меня большее впечатление, чем любой другой технологический продукт, с которым дети взаимодействовали. Его потолок в качестве репетитора в контексте один на один относительно выше, чем ресурсы Академии Хана, Zearn или любой другой учебной платформы, которую я видел. Опытные наставники-люди по-прежнему имеют преимущество, но их трудно найти и они дороги.

Если ChatGPT4o и Клод превзошли мои ожидания с Нэшем, как будет выглядеть следующий сюрприз? Нам с Лоуренсом Холтом, возможно, придется обновить наши прогнозы по ИИ в 2025 году.

Шон Джерати — консультант по образованию. Нэш Гольдштейн учится в средней школе в Уотертауне, штат Массачусетс.