Мозг - Страница 31

Насколько точна моя симуляция будущего? Могу ли я предсказать, что произойдет на самом деле при выборе каждого из этих вариантов? Ответ прост: не могу. Точность моих предсказаний проверить невозможно. Все симуляции основаны только на прошлом опыте, а также на моих теперешних моделях устройства мира. Как и все представители животного мира, мы не можем бездействовать, надеясь случайным образом выяснить, что принесет вознаграждение в будущем, а что нет. Главная задача мозга – предсказывать, и, чтобы достаточно хорошо справляться с этой задачей, мы должны постоянно изучать окружающий мир на собственном опыте. Таким образом, в данном случае я даю оценку каждому варианту на основе прошлого опыта. Строя в своей голове голливудскую студию, мы путешествуем во времени в воображаемое будущее, чтобы определить его ценность. Именно так я и делаю выбор – сравнивая друг с другом варианты возможного будущего. Именно так я перевожу соперничающие варианты в общую валюту вознаграждения.

Величину вознаграждения для каждого варианта можно рассматривать как внутреннюю похвалу, отражающую полезность чего-либо. Поскольку покупка бакалеи обеспечит меня пищей, присвоим ей десять единиц. Заявка на грант – нелегкое, но необходимое для моей карьеры дело, и поэтому она весит двадцать пять единиц вознаграждения. Я люблю проводить время с сыном, и прогулка по парку стоит пятьдесят единиц.

Однако тут есть один интересный поворот: мир сложен, и наша внутренняя похвала не является чем-то постоянным. Оценка окружающего мира непрерывно меняется, поскольку предсказания довольно часто не совпадают с тем, что происходит на самом деле. Ключ к эффективному обучению состоит в отслеживании этой ошибки предсказания: разницы между ожидаемым результатом выбора и результатом, полученным в действительности.

В данном случае у моего мозга есть предсказание о том, какое вознаграждение может ждать меня в парке. Если мы встретим там друзей и все обернется лучше, чем я ожидал, в следующий раз это повысит оценку данного варианта. С другой стороны, если нам не повезет и пойдет дождь, в следующий раз моя оценка прогулки в парк будет ниже.

Как же это устроено? В мозгу имеется крошечная древняя система, предназначенная для того, чтобы обновлять оценку окружающего мира. Эта система состоит из маленьких групп клеток в среднем мозге, которые общаются на языке нейротрансмиттера под названием «дофамин».

В случае несоответствия между ожиданиями и реальностью дофаминовая система в среднем мозге передает сигнал, который пересматривает оценку. Сигнал сообщает остальной системе, какой оказалась реальность: лучше ожиданий (усиленный выброс дофамина) или хуже ожиданий (уменьшение выработки дофамина). Сигнал об ошибке предсказания позволяет мозгу скорректировать свои ожидания, чтобы в следующий раз они оказались ближе к реальности. Дофамин действует как корректор ошибок: химический оценщик, который поддерживает оценки максимально актуальными. Таким образом мы получаем возможность расставлять приоритеты на основе оптимизированных догадок о будущем.

Мозг запрограммирован на поиск неожиданных результатов, и эта чувствительность лежит в основе способности животных адаптироваться и обучаться. Поэтому неудивительно, что архитектура мозга, участвующая в обучении на собственном опыте, одинакова у всех видов от пчелы до человека. Это означает, что мозг уже давно открыл основные принципы обучения путем вознаграждения.

Вырабатывающие дофамин нейроны, участвующие в принятии решений, сосредоточены в крошечных областях мозга, которые носят название вентральной области покрышки и черной субстанции. Несмотря на маленький размер, они имеют огромное влияние, обеспечивая корректировку, когда предсказанная ценность выбора оказывается слишком высокой или слишком низкой.

Сила настоящего

Итак, мы выяснили, каким образом расставляются приоритеты разных вариантов выбора. Но на пути оптимального принятия решений часто возникает и другое препятствие: доступным вариантам мы обычно присваиваем бо́льшую ценность, чем тем, которые просто симулируем. Настоящее мешает принять правильное решение относительно будущего.

В 2008 г. американская экономика переживала глубокий спад. В основе неприятностей лежал тот простой факт, что домовладельцы набрали слишком много кредитов. Они брали ссуды под низкий процент, который сохранялся в течение нескольких лет. Проблемы начались по окончании льготного периода, когда процентные ставки повысились. В такой ситуации многие люди оказались не в состоянии выплачивать ипотеку, почти миллион домовладельцев лишились права выкупа недвижимости, и волны экономического шока разошлись по всей планете.

Какое отношение имеет эта катастрофа к соперничающим нейронным сетям мозга? Субстандартные кредиты позволяли людям приобрести чудесный дом прямо сейчас, а высокие проценты отложить на более позднее время. Этот вариант выглядел чрезвычайно привлекательным для нейронных сетей, жаждущих мгновенного удовлетворения, то есть сетей, которые хотят все и сразу. Соблазн мгновенного удовлетворения сильно влияет на наш выбор, и поэтому пузырь на рынке недвижимости можно рассматривать не только как экономическое, но и как нейробиологическое явление.

Разумеется, влияние настоящего не ограничивалось людьми, которые брали ссуды, – ему были подвержены и кредиторы, богатевшие на выдаче явно невозвратных ссуд. Они переформатировали эти ссуды и продавали их. Такая практика считается неэтичной, однако для многих искушение оказалось слишком велико.