Долгое время научное сообщество предполагало, что мозг взрослого человека не меняется. Такое мнение господствовало, когда человек в силу социальных и экономических причин чаще всего выбирал какое-то одно дело, и посвящал ему свою жизнь.
Сегодня люди проводят жизнь в путешествиях и общаются на разных языках, а онлайн-образование, с помощью только доступа в сеть, позволяет освоить множество специальностей. Исходя из этого, ученые предположили, что мозг развивается совсем не так, как они думали раньше.
Долгое время научное сообщество предполагало, что мозг взрослого человека не меняется
О чем речь?
Наш мозг состоит из нейронов – нервных клеток, которые передают друг другу информацию с помощью электрических зарядов. Заряд переходит от одного нейрона к другому с помощью синапсов – соединений между ними. И, чем этих соединений больше, тем лучше мозг справляется с различными функциями – запоминает и производит информацию, управляет движением, планирует действия.
Представьте себе квадратный лист бумаги. На нем начертили шесть линий – три из них идут слева направо и делят лист на четыре равные части, еще три делят его аналогично, но уже сверху вниз. В итоге у нас есть поле, поделенное на шестнадцать квадратов. В каждом квадрате поставим точку. Точки пронумеруем от 1 до 4 в верхнем ряду, прямо под номером 4 будет номер 5. Во втором ряду точки пронумеруем в обратном направлении от 5 до 8. Если мы пронумеруем точки и последовательно соединим их линией, то получим 15 отрезков. Если номер 1 соединить не только с номером 2 по горизонтали, а и с номером 8 по вертикали и с номером 7 по диагонали, отрезков станет больше.
А, если точек гораздо больше и соединяются они не в плоскости, а в трехмерном пространстве, то связей будет на несколько порядков больше. По такой схеме работают нейронные связи мозга.
Что такое нейронная сеть?
Нейронная сеть — это последовательность нейронов, соединенных между собой синапсами. Структура нейронной сети пришла в мир программирования прямиком из биологии. Благодаря такой структуре, машина обретает способность анализировать и даже запоминать различную информацию. Нейронные сети также способны не только анализировать входящую информацию, но и воспроизводить ее из своей памяти. Заинтересовавшимся обязательно к просмотру 2 видео из TED Talks: Видео 1, Видео 2). Другими словами, нейросеть это машинная интерпретация мозга человека, в котором находятся миллионы нейронов передающих информацию в виде электрических импульсов.
Как формируются нейронные связи?
Развитие нейронных связей и процесс формирования нейронов называется нейрогенезом. Есть два вида нейрогенеза – нейрогенез взрослых и эмбриональный нейрогенез.
В период эмбрионального развития происходит самый большой скачок в развитии нейрогенеза, закладывается его основа. Развитие его в этот период играет решающую роль для дальнейшей жизни. После этого периода идет рост количества нейронов. Эмбриональный нейрогенез наблюдается у млекопитающих. Он всегда сопровождается обильным клеточным размножением специальных клеток, расположенных в особом отделе коры структуры мозга. Эти клетки представляют собой стволовую клеточную структуру мозга зародыша. Они разделяются асимметричным методом и дают жизнь новорожденным нейронам, мигрирующим потом в другие области мозга, где уже осуществляется процесс образования других новых слоев.
Позже, в первые три года жизни, у ребенка формируется максимальное количество синапсов. Марко Магрини в своей книге «Мозг. Инструкция по применению» пишет, что в первые три года жизни нейронные связи у ребенка составляют около миллиона миллиардов контактов – каждый нейрон вступает в связь с другими не менее 15 тысяч раз. У взрослого остается примерно половина из этих соединений. Так распорядилась эволюция – наш организм создает избыток связей, чтобы в итоге без вреда с ними расстаться. Этот процесс называется синаптический прунинг.
Формирование нейронных связей у взрослых – явление, которое начали изучать совсем недавно. Одним из первых, кто заговорил о его существовании, был Джозеф Альтман. Используя новый для того времени метод авторадиографии с меченым тимидином, он и его сотрудники выпустили в 60-х ряд работ, утверждающих, что нейрогенез протекает в зубчатой фасции гиппокампа, обонятельных луковицах и коре головного мозга у взрослых крыс, морских свинок, а также в новой коре у кошек. Позже Майкл Каплан получил аналогичные результаты у взрослых приматов, но из-за скептицизма научного сообщества того времени не стал продолжать исследования. Одним из поворотных моментов в изучении нейрогенеза стала серия статей Фернандо Ноттебома, вышедшая в 80-х и 90-х годах. В ходе его работы с птицами выяснилось, что в отделах их мозга, гомологичных коре и гиппокампу приматов, помимо гибели происходит образование огромного количества новых клеток. При этом, многие новые клетки являются нейронами и образуют синапсы, а активность всего этого процесса коррелирует со сложностью окружающей птицу среды.
Исследование нейрогенеза продолжили с новыми силами после введения в научную практику синтетических аналогов тимидина. Такие аналоги куда легче потом обнаружить в тканях, чем радиоактивные, которые использовал Альтман. Кроме того, уже открыли маркеры клеток разных типов: нейронов различной степени зрелости, клеток глии, а также любых клеток, находящихся в фазе митоза, то есть делящихся. Это позволило еще увереннее говорить об активном нейрогенезе в зубчатой фасции гиппокампа и в стенках желудочков мозга с проекциями в обонятельные луковицы. Последние работы демонстрируют нейрогенез и в ряде других структур мозга: в хвостатом ядре, фронтальной коре, первичной и вторичной моторной и соматосенсорной коре. Но недостаточно высокая активность процесса всё же не позволяет называть эти зоны нейрогенными, в отличие от двух вышеназванных.
Синаптическая пластичность
Синапс — это промежуток между двумя нейронами, где они обмениваются информацией. Активный нейрон выпускает в синапс нейротрансмиттеры, которые сообщают пассивному, что ему делать: активироваться или оставаться пассивным. В нашем мозгу около ста миллиардов нейронов, каждый из которых связан с тысячами других, и процесс «общения» между ними занимает доли секунды. Синаптическая нейропластичность — это «привычка» нейронов к тому, что некий конкретный нейрон часто возбуждает своего «соседа». Иными словами, если нейроны часто общаются, им хочется делать это чаще и чаще. Совсем как людям.
Если такое происходит со множеством нейронов в одной области, появляются целые «команды» нейронов — нейросети. Именно так формируется память или новые навыки. Мы приучаем «команды» нейронов общаться, активируя их снова и снова нашей стимуляцией (учимся кататься на лыжах, например), и в какой-то момент связь «команды» становится прочной и тело легко повторяет знакомые движения.
Наоборот, если мы долго не пользуемся ранее привычными навыками, тропинки зарастают — нейроны в этой области общаются реже, и связи между ними слабеют. Так мы забываем ненужный нам иностранный язык, а пациент, оказавшийся на зондовом кормлении, разучивается глотать. Казалось бы, от этого явления один вред, но нет: именно так можно, например, отучить себя от предрассудков (усилием воли перестать плохо думать о людях другой национальности) и даже ослабить депрессию. Когнитивные терапевты предлагают пациентам найти привычные «дорожки», по которым ходят их депрессивные мысли, и протоптать взамен них другие, а эти оставить «зарастать». И это работает.
Как развить нейронные связи во взрослом возрасте
Среди позитивных факторов особенно эффективным является обогащенная среда, включающая в себя физические упражнения
. По различным данным, нахождение в течение небольшого количества времени (примерно от недели до месяца) в такой среде стабильно и значимо повышает уровень нейрогенеза. Причем, увеличение может быть даже пятикратным — в зависимости от возраста, состояния здоровья и других параметров. Несмотря на активное изучение эффектов обогащенной среды на нейрогенез, на современном этапе исследований остается открытым вопрос о том, какие именно из ее компонентов (физическая или исследовательская активность) оказывают влияние на процесс формирования новых нейронов в мозге, а также на какие этапы нейрогенеза эти эффекты распространяются. Тем не менее, уже имеющихся знаний достаточно, чтобы сформировать такой образ жизни, который поспособствует нейрогенезу взрослого.
ВВЕДЕНИЕ В КОГНИТИВНЫЕ НЕЙРОНАУКИ. Глава 3. Нейроны и связи между ними.
ВВЕДЕНИЕ В КОГНИТИВНЫЕ НЕЙРОНАУКИ. Из учебника МОЗГ. ПОЗНАНИЕ. РАЗУМ. Электронная книга https://t.me/kudaidem/1879
Глава 3. Нейроны и связи между ними.
Что мы знаем о процессах, происходящих на уровне нейронов? Можем ли мы сейчас построить непротиворечивую теорию относительно событий на этом уровне?
Основными клетками мозга являются нейроны, высококонсервативные с эволюционной точки зрения. Они сохранялись в относительно неизменном виде в течение многих сотен миллионов лет, и даже очень разные виды животных имеют одинаковые типы нейронов. Со многих точек зрения нейроны не отличаются от остальных клеток, но есть то, что выделяет их среди остальных: специализация на электрохимической сигнализации, благодаря которой они способны принимать входящий сигнал на дендритах и посылать электрохимический сигнал вдоль аксона. Весь мозг можно рассматривать как сверхсложную структуру, состоящую из связанных между собой нейронов.
(рис. 3.1).
Дендритами и аксонами называют выросты тела нейрона; один нейрон может иметь до десяти тысяч дендритов и один аксон.
(рис. 3.2 и 3.3).
Потенциал действия (ПД) проходит по аксону значительно медленнее, чем электрический ток в компьютере, однако многие задачи наш мозг выполняет гораздо лучше современных компьютеров. В настоящее время компьютеры далеко отстоят от человека в задачах восприятия, языковой коммуникации, семантической памяти, контроля движения и творчества.
Нейробиология концентрирует внимание на связи и взаимодействии нейронов. Рассмотрение таких связей удобно начинать как раз с генерализованного нейрона.
Классические нейроны соединяются при помощи синапсов, которые могут быть возбуждающими и тормозящими.
(рис. 3.6)
Активность нейрона опосредована десятками факторов — циклом сна и бодрствования, доступностью предшественников нейромедиаторов и многими другими. Все эти факторы влияют на вероятность прохождения сигнала между двумя нейронами и могут быть представлены в виде синаптических весов. Таким образом, все разнообразие нейронов можно с успехом представить в виде интегративного нейрона, а все способы межнейронной коммуникации — в форме вероятности прохождения сигнала между нейронами.
Существует по меньшей мере шесть основных нейромедиаторов и не менее тридцати «менее важных», в основном являющихся нейропептидами.
Даже дендриты отдельной клетки, по всей видимости, способны к обработке информации. Имеются также данные, что способна принимать участие в обработке информации и нейроглия — поддерживающая ткань нервной системы.
На настоящий момент известно о существовании в некоторых частях взрослого головного мозга стволовых клеток. Образование новых синапсов идет в течение всей жизни; для образования новых синапсов отростки дендритов способны образовываться за несколько минут.
(рис. 3.7).
1.3. Обработка информации нейронами.
Искусственные нейронные сети использовались для моделирования многих функций мозга — распознавания элементов изображений, управления роботами, обучения и улучшения функционирования на основе опыта.
Во многих случаях такие сети выполняли задачи лучше, чем компьютерные программы, основанные на логике и математике.
Так же, они помогают нам понять принципы работы реальных нейронных сетей в мозге.
Нейросети помогают нам понять работу нервной системы.
Так искусственные нейросети могут служить моделями для изучения реальных структур в мозге.
Мы ограничимся рассмотрением синапсов только двух типов — возбуждающего (повышающего вероятность прохождения ПД (Потенциал действия) на постсинаптическом нейроне) и тормозящего (понижающего такую вероятность).
Глутамат — наиболее распространенный медиатор в ЦНС — является возбуждающим.
ГАМК (гаммаАминоМасляная кислота) является наиболее распространенным тормозным медиатором.
В нервной системе распространены массивы нейронов, часто именуемые картами.
2.1. Упрощенный случай: рецепторы, пути и контуры.
Каждый сенсорный нерв может содержать несколько параллельных каналов, каждый из которых проводит несколько различающуюся информацию. Так, зрительный тракт имеет канал передачи цвета, называемый мелкоклеточным, и канал передачи формы и размеров объекта, называемый крупноклеточным.
Точно так же соматосенсорные пути сочетают каналы передачи прикосновения, давления, боли и некоторые другие.
Большинство сенсорных волокон оканчиваются в таламусе, где они передают сигнал нейронам, оканчивающимся в коре.
(рис. 3.10 и 3.11)
Таким образом, в большинстве сигнальных путей существуют петли обратной связи — такие, как в нейросети с двумя или более слоями.
С этой точки зрения мозг представляется системой воздействующих друг на друга массивов и сетей.
Массивы нейронов представляет собой двумерную сеть нейронов.
Когда массивы соответствуют пространственной организации той или иной структуры, их называют картами.
В мозге имеет место как временное, так и пространственное кодирование, наряду со многими другими способами кодирования и обработки информации.
Пространственные карты являются наиболее наглядной формой пространственного кодирования.
(рис. 3.15 и 3.16).
Такая соматосенсорная информация, как информация о прикосновении и боли, также обрабатывается кортикальными картами. Другие чувства, такие как слух, вкус и обоняние, гораздо меньше ассоциированы с положением рецепторов, однако в слуховой коре имеется картоподобный клиновидный регион.
Таким образом, даже информация от не ассоциированных с пространством органов чувств обрабатывается массивами и картами нейронов.
Наш мозг организует огромные количества входящей информации так, чтобы отражать положение окружающих объектов. Моторная кора, как вы можете догадаться, также выглядит как непропорциональная карта скелетных мышц тела.
Главным вопросом относительно сенсорики на сегодняшний день яляется вопрос о том, как осуществляется высокоуровневая обработка воспринятой информации. И модель нейросетей предоставляет один из возможных ответов.
Мозг постоянно корректирует работу моторных систем на основании сенсорной информации и адаптирует сенсорные системы при помощи моторной активности.
Сенсорные системы можно представить в виде иерархических систем, состоящих из иерархических систем низшего порядка, начиная с рецепторов и постепенно переходя ко все более сложным объектам.
Моторные системы могут быть представлены в виде иерархической структуры противоположного направления, заканчивающиеся на мотонейронах.
Идет непрерывный обмен информацией между двумя системами в процессе цикла от восприятия до действия, начиная с наинизшего и заканчивая высшими уровнями планирования, мышления и анализа возможного развития событий
(рис. 3.20 Иерархическая система из области архитектуры).
В схеме иерархической системы обработки информации, каждый массив нейронов назван картой; карты существуют на разных уровнях, и сигнал может идти вверх, вниз и к другой карте того же уровня.
При рассмотрении электрической активности десятков миллиардов нейронов мозг поневоле начинает казаться огромным оркестром, а не одним инструментом. За сотни миллионов лет эволюции в мозге появились нейроны с самыми разными видами временного и пространственного кодирования (блок 3.1).
В путях следования информации имеется множество точек выбора, с которых она может быть направлена по нескольким различным путям или быть передана на уровень выше или ниже.
Если вернуться к ступенчатой пирамиде, то такой разветвленный путь похож на путь человека к вершине: он может достигнуть ее прямым или окружным путем.
Зрительная картина мира подвержена постоянным изменениям. Однако мозг тем не менее ведет обработку таких изменений. Животное не может позволить себе не заметить хищника, прячущегося в траве, только потому, что сейчас закат, или потому, что на него падает тень.
Для того чтобы выжить, мы должны были иметь превосходную зрительную систему.
Вот, например, кошка, выслеживающая жертву, может осматривать дерево только одним глазом, тогда как другой глаз остается пассивным. Это приводит к явлению бинокулярной конкуренции — конкуренции между зрительными входами от разных глаз.
Многие животные получают от разных глаз совершенно разные входы — такие животные, как кролики и олени, вообще не имеют участков перекрытия полей зрения, поэтому для них явление бинокулярной конкуренции невозможно.
Мозг постоянно имеет некоторые ожидания относительно встречаемых им внешних условий. Спускаясь по лестнице в темноте, мы ожидаем, что под ногой будет ступенька.
При анализе неоднозначно трактуемых объектов ожидание обусловливает выбор наиболее приемлемого варианта трактовки. Многие слова в языке имеют больше одного значения, поэтому, даже читая это, вы вынуждены иметь дело с неоднозначностями. Мозг опирается не только на входящую информацию — он имеет множество причин выбора того или иного варианта, основанных на предсказании результата и ожидании.
Селективное внимание позволяет нам динамически изменять свои сенсорные предпочтения, а долговременная память увеличивает силу синапсов, ответственных за точное восприятие.
Многие ученые считают, что всю кору целиком, наряду с сопутствующими областями, такими как таламус, следует рассматривать как одну функциональную единицу. Ее часто называют таламокортикальной системой.
(Пластичный мозг).
Одним из основных свойств поведения животных является способность адаптироваться.
Основным свойством мозга, таким образом, является приспособляемость. Однако какие изменения в структуре самого мозга приводят к такой приспособляемости?
Для этих целей гораздо лучше подходят методы визуализации структур мозга, получившие интенсивное развитие в два прошедших десятилетия.
Хотя большая часть методов визуализации ориентирована на конкретную область, подчеркивая тем самым функциональное разделение, а не интеграцию, были предприняты попытки изучения обучения как системного процесса, включающего глобальные изменения структуры и функций мозга.
Развитие технологии магнитно-резонансной томографии позволило начать изучение изменений структурных компонентов связи — трактов белого вещества — под влиянием обучения.
Как было показано, обучение жонглированию вызывает изменения как в сером, так и в белом веществе мозга.
Данные результаты стали поистине революционными, поскольку долгие годы считалось, что структура мозга неизменна.
Подобные открытия, позволяющие рассматривать мозг как функционально и структурно лабильный орган, вне всякого сомнения являются шагом вперед в нашем понимании процесса обучения.
(4.0. Адаптация и обучение массивов нейронов).
Наиболее известное правило обучения нейросетей, выражаемое в лозунге «neurons that fire together, wire together».
Нейроны, которые срабатывают вместе, соединяются вместе.
(Обучение по Хэббу).
Дональд Хэбб в 1949 г. постулировал, что ассамблеи нейронов способны обучаться благодаря усилению связей между нейронами, активирующимися при стимуляции одновременно.
В основе обучения и памяти лежит эффективность синаптической связи.
Существует множество способов воздействия на эффективность синаптической передачи. Так, два нейрона могут образовать больше синапсов, в самих синапсах может вырабатываться больше нейромедиатора, рецепторы постсинаптического нейрона могут стать эффективнее.
В обучении задействовано два типа изменений; их можно рассматривать как усиленное возбуждение и усиленное торможение.
Долговременное усиление возбудимости одного нейрона называют долговременой потенциацией.
Долговременное понижение же — долговременной депрессией. Оба события имеют место в гиппокампе.
Визуально обучение по Хэббу можно представить в виде утолщения линий между узлами сети, как в простой совокупности клеток.
Модели с третьим, скрытым слоем позволяют нейросети изменять силу соединений.
Классическая трехслойная прямая сеть со скрытым слоем и настраиваемой силой взаимодействий может эффективно обучаться путем сопоставления выхода нейросети с желаемым выходом и подстройки силы соединений для достижения желаемого результата.
Процесс носит название обратного распространения ошибки обучения и во многом подобен отрицательной обратной связи.
Сети такого типа на сегодняшний день наиболее распространены.
В самоорганизующейся аутоассоциативной сети выход ставится в соответствие входу.
Такая стратегия полезна при распознавании паттернов, таких как звук знакомого голоса.
Самоорганизующиеся системы используются в природе для решения многих задач.
Сами организмы и их нервные системы можно рассматривать как самоорганизующиеся системы.
Самоорганизующаяся сеть способна справляться с фундаментальой проблемой распознавания человеческих лиц.
Человек учится реагировать на нормальные, недеформированные лица в очень ранний период жизни и вскоре становится способен отличать знакомые лица от незнакомых.
Задача, решаемая сетью, гораздо проще решаемой человеком, поскольку в модели происходит только формирование цепи.
Сеть способна обучаться предугадывать расположение рта в нижней части рисунка и двух глаз — в верхней.
4.2. Дарвинистский подход в нервной системе: выживают клетки и синапсы, наиболее приспособленные к данной задаче.
Нейральный дарвинизм предполагает, что нейроны развиваются и соединяются друг с другом в соответствии с дарвинистскими принципами.
Селекционизм — эффективный способ адаптации.
Отбор нейронов приводит к образованию долгоживущих нейронных совокупностей, выполняющих задачи адаптации, обучения, разпознавания паттернов и им подобные.
Нейросети отличаются высоким уровнем параллельности (что означает способность производить много разных вычислений одновременно) и распределенности (способности обрабатывать информацию в разных местах с использованием разных механизмов).
Это говорит о большей близости нейросетей к биологическим способам обработки информации.
Нейронные сети довольно просто перевести на язык математических выражений.
Нейросети способны обрабатывать символьную информацию, а символы могут быть переведены в нейросети.
Обучение нейросети проявляются по мере распознавания сетью входа и отсечения ею альтернативных вариантов.
Существует масса способов координации работы нейронов. Одним из них являются масштабные ритмы, координирующие работу больших групп нейронов так же, как дирижер координирует игру симфонического оркестра. Если большая масса нейронов активируется одновременно, то их активность, как правило, суммируется.
Современные данные говорят в пользу гораздо более быстрых гамма- и тета-корреляций на тех частотах, на которых мозг выполняет большую часть этой работы.
Ритмы энцефалограммы на сегодняшний день считаются сигнализирующими о разных, но скоординированных процессах.
К примеру, гамма-ритмы высокой плотности считаются ассоциированными с осознанным зрительным восприятием и процессом решения простой проблемы эквивалентности.
Альфа-ритмы традиционно ассоциируются с отсутствием задач, требующих фокусировки внимания, тогда как тета-ритмы, как полагают на настоящий момент, контролируют гиппокампальную область и фронтальную кору в процессе обращения к долговременной памяти. Дельта-ритмы — сигналы глубокого сна — группируют быструю нейрональную активность с целью консолидации полученных данных.
При проектировании самолета инженеры закладывают в его конструкцию некоторую функциональную избыточность на случай выхода из строя важнейших систем. Так, если откажет один двигатель, то большая часть самолетов будет способна дотянуть до взлетно-посадочной полосы на оставшихся.
Человек и животные также обладают определенной функциональной избыточностью.
Мозга это правило тоже касается. Мозг способен работать даже после получения весьма значительных повреждений.
6.0. Заключение.
Латеральное торможение является распространенной стратегией для выделения различий между двумя однородными областями сигнала, такими как темные пятна на светлом фоне.
Клетки сенсорных систем имеют так называемые рецептивные поля, настроенные на определенные параметры входа, такие как ориентация линии, цвет, движение, форма и тип объекта. При повышении уровня визуальных карт их разрешение падает, в то время как способность к интеграции информации растет.
Поскольку сенсорные и моторные системы изучают отдельно друг от друга, мозг представляется нам огромным сенсомоторным органом, делающим возможным непрерывные высокоуровневые взаимодействия между входом и выходом.
Пространственные массивы нейронов делают возможным пространственное кодирование, однако не стоит забывать о том, что в нервной системе имеется еще и кодирование временное. Основные ритмы энцефалограммы, как полагают, отвечают за временную координацию активности больших групп нейронов.
Последние исследования позволяют предположить, что гамма-ритм ответственен за интеграцию сенсорной информации осознанные ощущения, а тета-ритм — за извлечение информации из долговременной памяти.
Контрольные задания к этой главе.
1. Опишите основные функции интегративного нейрона.
2. Что такое латеральное торможение и какую роль оно играет в сенсорных системах?
3. Каким образом сенсорные и моторные системы можно рассматривать в форме иерархических структур?
4. Опишите роль двусторонних взаимодействий в функционировании мозга.
5. Что такое дарвинистский подход к нервной системе и какие аспекты процессов, происходящих в мозге, он затрагивает?
6. Назовите три наиболее общих свойства сенсорных систем.
Что такое нейрон?
Нейрон — это вычислительная единица, которая получает информацию, производит над ней простые вычисления и передает ее дальше. Они делятся на три основных типа: входной (синий), скрытый (красный) и выходной (зеленый). Также есть нейрон смещения и контекстный нейрон о которых мы поговорим в следующей статье. В том случае, когда нейросеть состоит из большого количества нейронов, вводят термин слоя. Соответственно, есть входной слой, который получает информацию, n скрытых слоев (обычно их не больше 3), которые ее обрабатывают и выходной слой, который выводит результат. У каждого из нейронов есть 2 основных параметра: входные данные (input data) и выходные данные (output data). В случае входного нейрона: input=output. В остальных, в поле input попадает суммарная информация всех нейронов с предыдущего слоя, после чего, она нормализуется, с помощью функции активации (пока что просто представим ее f(x)) и попадает в поле output.
Важно помнить
, что нейроны оперируют числами в диапазоне [0,1] или [-1,1]. А как же, вы спросите, тогда обрабатывать числа, которые выходят из данного диапазона? На данном этапе, самый простой ответ — это разделить 1 на это число. Этот процесс называется нормализацией, и он очень часто используется в нейронных сетях. Подробнее об этом чуть позже.
Эпоха
При инициализации нейронной сети эта величина устанавливается в 0 и имеет потолок, задаваемый вручную. Чем больше эпоха, тем лучше натренирована сеть и соответственно, ее результат. Эпоха увеличивается каждый раз, когда мы проходим весь набор тренировочных сетов, в нашем случае, 4 сетов или 4 итераций.
Важно
не путать итерацию с эпохой и понимать последовательность их инкремента. Сначала n раз увеличивается итерация, а потом уже эпоха и никак не наоборот. Другими словами, нельзя сначала тренировать нейросеть только на одном сете, потом на другом и тд. Нужно тренировать каждый сет один раз за эпоху. Так, вы сможете избежать ошибок в вычислениях.
