Создана первая машина для чтения мыслей.
Нейросеть, способную реконструировать изображение, на которое в данный момент смотрит человек, разработали в Университете Осаки. Система, анализируя данные функциональной МРТ, довольно точно воспроизводит не только форму, но и цвета объектов. Ученые заговорили о первой в мире машине для чтения мыслей, пишет РИА Новости.
Японские исследователи применили популярную программу генерации картинок с помощью текста Stable Diffusion. Такая нейросеть с открытым кодом не отличается по структуре от других генеративных LLM (больших языковых моделей), таких как DALL-E2 от компании OpenAI (создателя чат-бота ChatGPT) или Midjourney.
В основе - метод машинного обучения, когда посредством последовательного приближения формируется визуальный образ. Каждая новая итерация основывается на очередной текстовой подсказке.
К стандартной схеме Stable Diffusion ученые добавили дополнительный этап обучения. Нейросеть сопоставляла данные мозговой активности участников эксперимента, которым показывали разные фотографии с текстовым описанием изображений.
Исходными сигналами были данные функциональной МРТ. Эти приборы, фиксируя потоки молекул кислорода, необходимого нейронам для работы, могут отслеживать, какие области мозга, ответственные за различные чувства или эмоции, наиболее активны.
Проанализировав зафиксированные фМРТ пики в различных зонах мозга, ученые установили, что за содержание изображения отвечают височные доли. А затылочная, где зрительная кора, воссоздает размер и общее расположение объектов. Японцы объединили зрительную и семантическую информацию.
Алгоритм диффузии сравнивал наблюдаемые паттерны нейронной активности, которые формировались при просмотре фотографий, с образцами в наборе обучающих данных. Общий объем и перспектива выстраивались по сигналам из "визуальной" зоны коры. Потом подключались подсказки с декодера семантических сигналов, и первичная картинка, напоминающая помехи на экране телевизора, приобретала очертания узнаваемых объектов.
Ученые получили около тысячи картинок, которые с точностью до 80% совпали по смыслу и содержанию с оригиналом. ИИ в большинстве случаев воссоздал даже цветовую гамму исходного изображения.
Представленная статья показала, что из сканирования фМРТ нейросеть Stable Diffusion может точно реконструировать изображения, что позволяет эффективно читать мысли людей, отмечается в резюме, которое написал генеративный чат-бот.
Как подчеркивают авторы работы, предложенная ими модель - универсальная, она не нуждается в тонкой индивидуальной подстройке к мозгу конкретного человека.
На следующем этапе ученые хотят попробовать расшифровать и воссоздать субъективные переживания тестируемых, их воспоминания и даже сны.
Фото ТЕЛЕПОРТ.РФ
При использовании материалов активная индексируемая гиперссылка на сайт ТЕЛЕПОРТ.РФ обязательна.
