Инновационный чип преобразует свет сразу в токены для ИИ
Новый сенсор пропускает несколько энергозатратных этапов обработки информации, что позволяет значительно снизить количество энергии, необходимой дронам и другой автономной технике для обработки визуальных данных.
Светлана ЛевченкоАвтор новостей
В обычных системах визуального восприятия световые сигналы проходят через множество стадий. Сначала сенсор улавливает свет, затем аналого-цифровой преобразователь превращает его в пиксели. Эти данные временно сохраняются, после чего передаются на отдельный чип, где изображение делится на квадратные фрагменты, каждый из которых преобразуется в токен для чтения моделью ИИ. Исследования показывают, что аналого-цифровой преобразователь в среднем отвечает за 66% потребления энергии сенсором изображений.
«Мы решили переместить генерацию токенов на сам сенсор, позволяя чипу напрямую создавать токены, которые модели ИИ могут обрабатывать, как только свет достигает сенсора», — говорит Мяо Фэн, директор Института интеллекта, вдохновленного мозгом, при Нанкинском университете.
Устройство под названием LightTok способно напрямую преобразовывать свет в токены, объединяя пять стадий обработки в одну. Разработчики встроили процессы восприятия, памяти и вычислений в один и тот же пиксель. Это стало возможным благодаря использованию дисульфида молибдена — двумерного материала, который хорошо реагирует на свет и может быть выращен в виде листов толщиной в один атом. Фототранзистор преобразует входящие фотоны в электрический ток, а плавающий затвор — изолированный компонент внутри транзистора — может удерживать электрический заряд даже после исчезновения света.
«Чип физически устраняет перемещение данных, которое является основным источником потерь энергии, — объясняет профессор физики Нанкинского университета Лян Ши-Цзюнь. — Свет входит, токены выходят».
В ходе испытаний LightTok достиг точности распознавания изображений 87,3% при десятикратном повышении энергоэффективности по сравнению с традиционным многоэтапным процессом. Однако пока максимальное разрешение чипа составляет всего 32 на 32 пикселя, что намного уступает качеству современных камер смартфонов.
Тем не менее, разработчики видят перспективы масштабирования технологии с использованием стандартных производственных процессов, которые применяются для изготовления чипов в смартфонах и ноутбуках. Если это удастся, LightTok может полностью изменить работу дистанционных сенсорных технологий — например, дрон, сканирующий зону бедствия, сможет летать гораздо дольше благодаря меньшим затратам энергии на визуальную обработку информации.
Ранее ученые разработали чип памяти, который хранит данные всего на одном электроне.
Искусственный интеллектПоделиться
