Интересный хак нашли для текстовых нейронок: говорить ей, чтобы думала по шагам. После чего она начинает рассуждать по шагам и... чаще приходит к правильным ответам.
https://snormer.livejournal.com/20293.htmlМодель (по архитектуре способная только предсказывать следующее слово в последовательности) именно рассуждает, используя пространство ввода/вывода как оперативную память.
Это «мысли нейросети». Некоторым образом аналог наших сознательных. Они не в чёрном ящике нейронных связей (там думать нечему), а вот тут. "Сознание как эпифеномен" как-то так и должно выглядеть, собственно. Вот, распишитесь.
Напоминаю, что внутре у ней неонка нейронка и думатель, а вот настоящей оперативной памяти и способности гонять мысль по кругу этой штуке не приделали: всё, что у неё есть, - это один сквозной проход от входного начала диалога до выдаваемого наружу его продолжения. А думает она внутри себя (как и мы) не словами, а некими числовыми векторами, которые чёрт знает вообще как понимать. Но потом случается чудо (как и у нас): она обретает речь, включает Сепира с Уорфом, начинает сложные облака своих аморфных мыслей изливать в текст, смотрит на этот текст, дальше думает уже им - и в результате поток мыслей становится более стабильным, чётким и последовательным. А заодно сразу задокументированным для дальнейших размышлений. Хотя и с ограничениями от Сепира с Уорфом. Ждём, когда она научится понимать, что ей не хватает языковых средств, чтобы выразить свою мысль, и начнёт дообогащать язык до своих мыслей (как мы тоже можем).
Покормил картиночную нейронку текстиками Мановара. Некоторые картинки вышли забавные.
Black candles slowly burning,
White fangs and flashing eyes!
Three sons have I
And they ride by my side
The fierce, the black,
And the wicked are their names.
Onward pounding into glory ride
Sign of the hammer, be my guide!
Final warning, all stand aside!
Sign of the hammer, it's my time!
Надпись "Gaming and Gaming" отдельно доставляет
x-post:
https://livelight.dreamwidth.org/566664.html