ПОСЛЕЗАВТРА

В Швейцарии создали алгоритм обучения аналоговых нейронных сетей

Исследователи Федеральной политехнической школы Лозанны (Швейцария) создали алгоритм, позволяющий обучать аналоговые нейронные сети. Последними называются модели вычисления, в которых вместо дискретных значений (0 или 1) используются непрерывные сигналы. В данном случае ученые использовали физические системы, оперирующие в качестве носителя информации звуковыми, световыми и микроволнами. По мнению разработчиков, переход на аналоговые нейронные сети позволит избавиться от главной проблемой их цифровых собратьев — чрезмерно высокого энергопотребления.

 В своей работе, опубликованной в журнале Science, швейцарские ученые описали новый алгоритм по обучению физических систем, который позволил повысить быстродействие и надежность аналоговых нейронных сетей. Обычно процесс обучения нейронных сетей включает в себя два этапа: этап прямого прохода (forward pass, передача данных через нейросеть и вычисление ошибки) и этап обратного прохода (backward pass, при котором происходит обратное преобразование данных, при котором вычисляется градиент функции ошибки). Многократная прогонка данных таким методом позволяет нейронное сети с каждым циклом выдавать все более точные данные. Слабостями такого метода является как очень высокое энергопотребление, так и слабая приспособленность для физических систем. Фактически, для обучения физических систем разработчикам потребуется цифровой двойник для этапа обратного прохода, что неэффективно и влечет за собой риск несоответствия между физической системой и симуляцией.

 Для решения этой проблемы разработчики предложили заменить этап обратного прохода этапом дополнительного прямого прохода для локального обновления каждого слоя нейронной сети. Такой метод, по словам создателей, больше походит на то, как обучается человеческий мозг, т.е. является более «биологически правдоподобным». Применив новый метод на акустических, световых и микроволновых системах, ученые заставили аналоговую нейронную сеть классифицировать такие данные, как гласные звуки и изображения. Результаты тестов показали высокую эффективность нового метода обучения аналоговых сетей. Разработчики намерены продолжить испытания нового алгоритма на более сложных нейронных сетях.