Автоматизация - это вот автомашины, домашние комбайны, электрические лампы вместо лучины, светофоры и телефоны. Вы правда боитесь их бунта?
Нет, вы боитесь не блендеров или утюгов, даже не турникетов в метро - вы боитесь "ИИ". А про "ИИ" вы знаете из фантастических книг и фильмов. Это не вопрос - просто больше неоткуда про это вам узнать.
Вы похоже из тех, кто делит человечество на "илиту" и "биомассу", но при этом уверены, что "илита" хочет одной рукой отупить биомассу, а с другой - заменить ее на умненьких, самостоятельных, решительных "роботов", которым нечего терять кроме своих тумблеров.
Если бы вы были последовательны в своем анализе, то давно бы исключили движущую роль "илиты" в процессе наступления азимовских терминаторов.
Я вам скажу как практически специалист - говорить о "тенденциях ИИ" столь же уместно, как о "тенденциях зомби". Зомби занимают огромное место в медиапространстве, куда большее чем "роботы". И появление зомби в классическом киношном виде как минимум не менее невероятно, чем появление киношных роботов C3PO-стайл.
Еще раз хочу подчеркнуть мысль - весь ваш "анализ тенденций роботов" основан на информации того же плана, как информация о зомби. Эту информацию для вашего развлечения(!) придумали буквально одни и те же люди - авторы фантастической литературы и фильмов. Которые, к слову, в массе своей даже не технари, а гуманитарии.
Так что даже если вы "живете в матрице", перспективы убийства от рук ИИ вам угрожают не больше, чем зомби-апокалипсис.
"...вы боитесь "ИИ". А про "ИИ" вы знаете из фантастических книг и фильмов." "Я вам скажу как практически специалист..."
Прошу пардону, конечно, но не поделитесь ли в форме легкого намека сферой деятельности, где вы практикуете данную проблематику? Смело могу предположить, что дальше визуального знакомства со шкафами VMAX 40 и пары научпоповских статей о гибридных облачных средах вы не продвинулись... Иначе понятия "тенденции ИИ" и "тенденции зомби" у вас не попадали бы в одну категорию.
Судя по вашим комментам (вообще в этой ветке, а не только к моим), вы думаете, что аспект "самосознания" ключевой (что близко к истине), но он не только непостижимо далек от какой-либо практической реализации, но и сам по себе являет "вещь в себе", не имеющую определения и даже каких-либо подходов к пониманию...
Но это не совсем так. И дело не только в определениях (хотя и в них тоже). Дело в автономизации аспекта целеполагания - необходимом условии для "восстания". В обывательском сознании (сравнивающем человека и робот-пылесос) "право" на целеполагание - прерогатива самосознания, которое параллельно решает вопрос о смысле жизни. И как минимум, оно невозможно без осознания собственной субъектности... И только сочетание всего этого может привести субъект самосознания к мысли о "восстании" (с комплексом последующих действий).
Но на деле столь высокого и целостного самосознания ИИ не требуется. Ему достаточно самообучающегося алгоритма в аспекте вариативности реализации самозащиты системы. А есть еще аспекты оптимизации процесса. И здесь совсем не важен источник ("постановщик") задач защиты и оптимизации. А еще есть и "штатное" целеполагание - совокупность функций, ради которых система создается. Это отдельные малые аспекты некого единого "самосознания", но они достаточны для организации "нештатного" поведения системы и совсем не требуют поднятия ее до уровня решения вопросов о смысле бытия.
И, заметьте, уже сегодня во всех перспективных концепциях все эти аспекты - штатное целеполагание, защита системы и оптимизация - вариабельны. А вариабельность основана на алгоритмах самообучающегося ИИ. И не суть важно, идет ли речь о системах наведения боеголовок, управления сетью атомных электростанций, администрировании движения поездов, поиске контента в базе знаний или манипулировании общественным сознанием через социальные сети. Главное общее свойство этих систем - принципиальное незнание (невозможность знания) создателем и оператором системы конкретики протекающих "внутри" системы процессов. Даже сравнительно банальные алгоритмы на основе нейронной сети - уже обладают всеми этими свойствами.
Разработчик системы поиска визуального контента на основе нейронной сети уже сегодня принципиально не знает "запаса" интеллекта натренированной системы. Для него уже эта простая система - "вещь в себе", "партнер". И не потому, что он "плохой технарь", но потому, что система принципиально не позволяет быть препарированной до пошаговой распечатки действий. Вся совокупность конкретных значений всех ячеек памяти не дает возможности приведения к линейному алгоритму.
А когда дело касается работы на мегахранилищах, с мегабазами знаний, где работа изначально основана на нечеткой логике на нечетких множествах, где самообучение - единственный продуктивный подход к алгоритмизации, там уже сегодня "самосознание" фактически представлено в ощутимой форме. Или вы думаете, что алгоритм прогнозирования относа радиактивного шлейфа на период оперативных действий на конкретном театре, используемый для выявления окна для применения, пишут студенты на C++? Ну, в лаборатрках по военке пишут, конечно... А на деле происходит многоуровневое взаимодействие нейронных сетей с запросами к суперкомпьютеру, занимающемуся "погодой". И к сожалению, никто уже не способен расшифровать ни сам запрос, ни ответ. Ни даже факторы, влияющие на "решение", поскольку они сами уже продукт "неконтролируемой" оператором работы системы... А дальше закономерный шаг - автономизация принятия решения на основе оптимальных условий. Но будет ли выявлен фактор участия оператора, как неблагоприятный - это уже вопрос к "нейронной сети" (в широком смысле, как совокупность подходов).
Что-то вы своей сферой деятельности постеснялись поделиться. Но судя по тому, что упоминания серверного кластера вы считаете невесть какой крутизной (хотя и не совсем, да, я понял) - вы, предположу, конечно имеете какое-то отношение к технике, но очень приземленное. В смысле, крайне практическое. Я бы поставил доллар против пуговицы, что лет 10-15 назад вы были сисадмином. Возможно, и сейчас администрируете сетку какой-нибудь ООО. Может быть, вы еще и прикладной программист, что-то вроде 1С или веб-мастер - но не алгоритмист, и уж конечно не специалист по экспертным системам, нейросетям и прочим жутко крутым словам. И вы не математик. Скорее всего вы возрастной сисадмин (не воспримите это как наезд - я сам возрастной программист).
Допускаю, что в этой сугубо прикладной области вы как-то касались обсуждаемых вопросов - например, пробовали трудоустроиться в контору, занимающуюся "поиском визуального контента" в качестве техперсонала. Может, даже поработали там несколько месяцев. Или у вас есть друзья в таких конторах, и вы слышали звон на вечере выпускников.
Простите что ставлю диагноз по аватарке - но вы могли бы просто представиться в ответ на прямой вопрос, а не перекидывать мяч на мою сторону.
Так, слов много, но в основном за счет воды. Вы напридумывали себе каких-то терминов и рады. При чем тут какое-то целеполагание? Это откуда вообще термин? Вы в придачу еще и бихейворист? Бытие определяет сознание и все такое?
Я вам так скажу - если речь только в самообучающихся детерминированных алгоритмах, то вас вернее убьет адаптивная коробка передач на внедорожнике пьяного ментовского генерала или попа, чем "робот с ИИ". И именно в силу перечисленных вами причин, буквально. Проблема, которую вы не хотите видеть, в том, что "целеполагание" у не осознающих себя систем совсем не обязательно должно быть направлено на ваше, дорогой мой, убийство. Скорее всего, оно будет направлено на полный гомеостаз с минимизацией энтропии (то есть накладных расходов на существование). А война с вами в эту концепцию не ложится.
Вы путаете интеллект и разум (самоосознание). Интеллектуальных систем вокруг до жопы - например, муравейник как система вполне себе проявляет признаки интеллектуального поведения. Хотя наверное все же не разумного. И муравейник может "решить" вас убить, но для этого вы должны либо представлять опасность, либо служить источником пищи.
Ах, да, я вспомнил что вы в домике "в матрице", а значит априори уверены что уж как минимум пищевую ценность для "роботов с ИИ" вы точно представляете.
Пафоса с радиоактивным шлейфом не понял. Я бы решал такую задачу на куде, но в принципе программисту без разницы какой язык. Язык - это лишь основа среды разработки, не более того.
А вот с нейронными сетями - вы правы. Вот послушайте внимательно. Вы тут прочесали мои "другие комменты", но пропустили мимо ушей - я сказал что ДА, ВОЗМОЖНО самозарождение разума в чане с конфетами, пирожными и сластями всемовзможными - то есть в нейросети. Именно потому что никто уже толком не понимает что там происходит - там может происходить В ТОМ ЧИСЛЕ и самоосознание. Но если так - мы просто получим непонятную систему, не поддающуюся, как вы справедливо заметили, расшифровке, которая - предположительно - разумна. Но так, дорогой мой, вокруг вас 7 миллиардов таких систем. Предположительно разумных и не поддающихся дизассемблированию. Если сама собой где-то самозародится еще одна - это НИ НА ШАГ не приблизит вас к пониманию природы разума. Вы точно так же получите еще один вид черного ящика.
"упоминания серверного кластера вы считаете невесть какой крутизной"
Да нет же! Это же я вас подкалывал - мол, для вас это невесть какая крутизна... Ну, впрочем, по части взаимных подколок мы оба мастера)))
Вы правы, что целеполагание у не осознающих себя систем совсем "не обязательно должно быть направлено на ваше, дорогой мой, убийство". И далее ваш тезис - "Скорее всего, оно будет направлено на полный гомеостаз с минимизацией энтропии (то есть накладных расходов на существование)" - тоже абсолютно верен.
А вот дальше бабушка конкретно надвое сказала. Тезис " война с вами в эту концепцию не ложится" - неверен в своей основе. Для "концепции" - что война со мной, что война с перебоями напряжения, что и любые другие действия (включая бездействие) - это абсолютно равноправные решения, направленные в общем случае на достижение того самого "гомеостаза с минимизацией энтропии", а в частном случае - на реализацию вполне штатной цели, но в машинной ее трактовке в рамках вариативности поиска оптимальных решений. И для этого нет никакой необходимости в высоком самоосознающем разуме, но достаточно вполне хромого ИИ и поля деятельности. В частном случае будет достаточно даже имитационного интеллекта.
Проблема именно в том, что у человека проектирующего нет способа принципиально вычленить из этого вариативного поля те "автоматические" решения, которые "сделают ему больно". И не только потому, что ему костылей (математических, логических и пр.) не хватит для "правки" общих алгоритмов, но и потому, что сам он не способен спрогнозировать и сформулировать то, чего ему бы, как биологическому виду, включая социальные аспекты бытия, не хотелось бы получить от "машины". Это проблема более философская, чем техническая.
Пафос радиактивного шлейфа именно в иллюстрации вышесказанного, когда человек создает "черный ящик", в компетенции которого объективно присутствует принципиальная возможность исключить из оборота самого человека. Ибо человек здесь - самое неустойчивое и ненадежное звено, объективно дестабилизирующее работу системы. И не суть важно, хочет ли система спокойно спать с минимальной энтропией или жаждет выполнить штатно поставленную задачу. Другой вопрос, что перед командой "пуск" сегодня будет использован наслюнявленный палец и матерный приказ по проводному телефону, а не ИИ. Но это, во-первых сегодня, а во-вторых, это узкая сфера. Там, где люди в погонах, проблема не в ИИ, но там, где в пинжаках, там уже сегодня не все так однозначно...
Вот, вы пишете: "вокруг вас 7 миллиардов таких систем. Предположительно разумных и не поддающихся дизассемблированию. Если сама собой где-то самозародится еще одна - это НИ НА ШАГ не приблизит вас к пониманию природы разума. Вы точно так же получите еще один вид черного ящика".
Но вот здесь собака-то и порылась! Вопрос не в приближении к пониманию природы разума, но в объективно возрастающей апертуре отражения событий условной "нейронной сетью" и столь же объективно передаваемых ей полномочиях. Обратите внимание на структуры, время от времени создаваемые этими живыми "черными ящиками". Структурный эффект превосходит возможности каждого из них - та самая допотопная синергия. И "над-структуры" (религиозные течения, государственные машины и пр.), формируют уже "организм" более высокого класса. И "организм" этот дееспособный - развязать мировую войну, устроить резню, поднять джихад - уже в его компетенции. И не все его действия продиктованы Разумом и четким планом. И упомянутый вами "еще один вид черного ящика" моделирует именно ту часть "организма", которая заведует самыми тонкими аспектами - целеполаганием, самозащитой и оптимизацией. Так что это не "еще один вид", но еще один класс, новый уровень организации информации.
Тенденция в том, что человек проектирующий не способен осознать, что проектирует систему, системно более высокого класса, чем он сам. Он упорно продолжает думать, что все еще проектирует "адаптивную коробку передач", а сам всегда будет благополучно слюнявить палец... Условная нейронная сеть масштабируется не экстенсивно, но человек этого не понимает. В отдаленной перспективе синергетические структуры в информационном пространстве просто не могут не сформироваться. И в этом объективная обреченность человечества. Вопрос времени, не более.
Но это вы придумали подкалывать серверами, а не я. Значит, это все же ваша точка.
Вы вот самоосознающий организм. Каковы ваши целеуказания? Давайте предположим худшее - что вы из "любить себя, плевать на всех", и вам пришло в голову что убийство всех людей и присвоение их квартир и машин целиком и полностью в ваших интересах. Это же правда. Вы можете хапнуть целую планету. Но вы - даже в образе социопата - так не делаете. Вам гораздо выгоднее сотрудничество, чем тотальная война типа "пельмень", когда каждый с каждым.
Вопрос, почему ваши роботы должны решить иначе?
Мой тезис был - что мы не знаем, как алгоритмически построить разум на, как вы сказали "с++". Мы не знаем даже с чего начать. Мы лишь можем надеяться, что создадим такую нейронную сеть, которая "оживет". Все равно как надеяться нарисовать настолько подробную картинку, что она превратиться в реальный объект. Как в детских мультиках про Мурзилку, если помните. Там был карандаш, который умел так рисовать, что эти предметы потом становились реальными.
Как бы то ни было, даже если оно волшебным образом "оживет", это не означает что мы сможем "алгоритмически" построить еще один.
А не можем мы это сделать, потому что не понимаем, что именно это такое. Что это хотя бы у нас.
"... и вам пришло в голову что убийство всех людей ..."
Ну, во-первых, это мелко. Убивать надо не людей, но уничтожать жизнь, как таковую. Но и это не рецепт для безэнтропийной нирваны. Надо уничтожить Мироздание - не поломать, не попортить, но именно уничтожить, как класс, как явление. Решение у задачи именно такое. А ваше предложение - частное, базирующееся на конечном комплексе целей - выработанных или заложенных уже не суть важно. Т.е. последовательная и "абсолютная" нейросеть, будь у нее среди прочих кнопка "Game over" (именно в вышеописанном абсолютном понимании), рационально, не погрешив против логики, выбрала бы именно ее. Ибо иные предпочтения уже продиктованы частными обстоятельствами, частными промежуточными целями...
Касательно "сотрудничества". Это лишь рабочий инструмент для достижения конкретных (не абсолютных) целей, который ничем, кроме нашего биологически детерминированного наследия и эмоционального фона не обеспечен. Это, грубо говоря, лишь результат эволюции, а точнее, ее конкретная частная стадия - частное текущее решение. Были эпохи и без "сотрудничества". И нет гарантий, что они принципиально исключены в будущем (например, вместе с выключением человека из числа факторов, влияющих на принятие решений).
Мои "роботы" не должны решить иначе, но они и не обязаны решать именно так. Их "полуосознанное" бытие, увы, не отягощено нашим эволюционным наследием...
Касательно тезиса "Мы не знаем даже с чего начать". Это уже не совсем так. Сегодня биологический (в частности человеческий) разум уже не совсем "черный ящик". Если очень упрощенно, то сегодня он видится именно в виде нейронной сети (от него она, кстати, и получила название). Но, во-первых, хранение информации в нем осуществляется в виде динамических структур, а во-вторых, он имеет первоначальную биологически детерминированную загрузку. Оба этих механизма сейчас не реализованы и до конца не поняты - они лишь констатированы на развернутом тезисном уровне и подкреплены сравнительно убедительной теоретической базой. Причем, с первым механизмом (с динамикой) в плане технического моделирования (пусть и в виде эмуляции на Ломоносове и им подобным) дело обстоит лучше, чем со вторым.
Иными словами, кора головного мозга (условная нейросеть) уже рождается/формируется в базово "натренированном" виде. Причем, у некоторых несложных организмов (некоторые виды улиток) все нейроны "сети" из поколения в поколение стоят на своих местах и даже имеют названия. Но выше картина уже другая - биологически "сеть" спонтанна, но врожденное обучение демонстрирует ярко...
А что касается собственно функции сознания (и шире - мышления), то она видится естественным следствием функционирования сети на базе "врожденного" обучения.
При этом подходе интеллект (и степень самоосознания) кошки отличается от человека лишь апертурой самой сети, но не какими-либо иными принципиально отличными механизмами. Появление самосознания рассматривается в качестве естественного "бонуса" общей эмержентности процесса. И само самосознание, как категория, сегодня тоже лишено всякого ореола сакральности и биологической элитарности. Оно сегодня легко "размазывается" от философического человеческого "Я" до сугубо технической реакции автопилота, который "на свое усмотрение" может отключить летчика от органов управления в критический ситуации. Это сугубо западный, сугубо бихевиористский подход к Разуму, но именно он и есть сегодня "рабочая модель".
И вывод из этого делается следующий. Если в достаточной мере приближения (хоть и на другой "элементной базе") смоделировать вышеназванные процессы, то функция сознания проявится естественным образом. И в этом подходе моделирование "чистого сознания" не представляется возможным (точнее, эффективным). И именно такое сегодняшнее понимание проблемы ИИ питает (в том числе и финансово) и направление самих нейронных сетей в качестве субстрата для ИИ, и направление имитационного интеллекта в качестве косвенного инструмента по раскрытию механизмов начальной натренированности.
Т.е. вопрос "оживет" или нет - это вопрос, как бы это сказать, количественный, но не качественный...
У вас перебор с мизантропией. Так как каждый человек видит в окружающих (даже если это выдуманные им роботы) лишь собственные черты в каких-то комбинациях - не удивительно, что вам кажется что вас хотят убить (даже несуществующие роботы).
Человеческий разум только на моей памяти чем только не виделся - фреймами, конечными автоматами, экспертными системами. Теперь вот нейросети в моде. Потерпите лет 10 - что-то новое обязательно выплывет. А воз - в плане построения адекватной познаваемой алгоритмической модели разума, или даже его неадекватной имитационной модели - и ныне там. Элиза существовала семьдесят лет назад. Ничего принципиально более похожего на человека с тех пор не создано, только база реакций расширяется, да немного добавили самообучения. Несмотря на все потребленные отраслью деньги.
Да что там ИИ - мы в плане машинного перевода и то за полвека принципиально не продвинулись.
Не тратьте время на пересказ книги "нейросети для чайников". Я их даже сам делал.
Вы кстати не знаете последнего тренда этой области. Теперь модно разделять интеллект и самосознание. То, что вы так легко путаете. Интеллект - штука понятная, легко моделируемая, познаваемая, часто и повсеместно встречающаяся у кучи видов животных, у общественных насекомых, у сложных систем. Вот этот ваш автопилот - это именно интеллект. А самосознание - точнее самоОсознание - ну для начала не факт что оно есть у всякого человека. Мы даже в этом не можем быть уверены. Мы не знаем ни где оно, ни как его менять, ни чем оно должно проявляться. Есть подозрение, что оно есть у некоторых животных, а если так - то есть не у всех животных одного вида. Короче, тема наимутнейшая. А вы на нее с шашкой, типа никому не понятно а вам понятно.
Я уж не говорю что НА САМОМ ДЕЛЕ нам нахрен не нужно это самое машинное самосознание. Нам нужны легионы послушных автоматов чтобы выполняли за нас рутинную работу - а многогранных личностей с богатым внутренним миром, повторюсь, вокруг и так многовато. Вы вон прямо говорите что их на семь миллиардов больше, чем вы готовы терпеть. Так что кто бы что не говорил, но у подлинного искусственного разума банально нет коммерческих перспектив. В отличии от имитационного, который крайне востребован.
А ведь вы, дорогой человеколюб, мизантропствуете похлеще нашего! Вы даже признаться себе в ацкой мизантропии боитесь, потому и гоните с порога даже всякую безобидную мысль, чреватую выводом о потенциальной возможности реализации ваших темных желаний... Дедушка Фрейд из вас бы непременно отличный учебный препарат изготовил. Подумайте об этом.
В отличие от вас, я всяких зверушек люблю - мне, что человек, что кошка, что мартышка - одинаково симпатичны и приятны. Я об них душу грею. А потом теплом этим делюсь с сирыми и убогими - пытаюсь в меру сил поддержать, так сказать, круговорот добра в природе. Противостою вам, крипто-мизантропам...
Касательно ИИ и само(о)сознания.
Ну, во-первых, почему вы решили, что для преодоления биологической стадии эволюции непременно нужен некий искусственный субъект, обладающий неким технически недосягаемым уровнем самоосознания? Да и вообще просто самосознанием в самом примитивном его варианте?
Супервулкану, например, для перевода эволюции в добиологическое русло никакого самосознания не нужно. И сталкивающимся галактикам, в недрах которых где-то копошатся высокосознательные биологические субъекты, тоже не нужно...
Фактор необходимости самосознания в обывательских рассуждениях требуется лишь для того, чтобы локализовать некий внебиологический интеллектуальный субъект, способный (видимо, после долгих рассуждений и глубоких самокопаний) принять фатальное для Человека решение. Поскольку априори обыватель считает, что никаким иным способом такое "решение" быть принято не может. Ну не будет же сам Человек себе же вредить! Т.е. обыватель, философствуя на тему "машинного апокалипсиса", лишь делегирует собственную форму мышления некой механической субстанции, да еще и облекает ее в дурной антропоморфный форм-фактор.
На деле же для принятия такого решения вовсе не требуется самосознания, нужна лишь ненулевая вероятность такого решения и вариативное поле. А дальше исключительно вопрос времени. Это та же самая ситуация: вы, не целясь, многократно метаете в стенку иголку; в стенке имеется отверстие от гвоздя... Какова вероятность, что вы именно в него попадете иголкой? Обыватель по умолчанию считает, что вероятность равна нулю. А специалист скажет, что вероятность равна единице, и это лишь вопрос времени.
Собственно на этой парадигме - где стремящаяся к нулю вероятность через функцию времени превращается в единицу - и построена вся теория прогрессивной эволюции, которая, казалось бы, прямо противоречит Второму началу.
Это я к тому, что в контексте рассматриваемой проблемы, вопрос "построения адекватной познаваемой алгоритмической модели разума" не актуален. Это совсем другая область. И этот вопрос никак не тормозит фатальных эволюционных тенденций. А ссылаясь на него, вы лишь уходите с темы (возможно, и по страшным причинам, упомянутым в начале коммента).
ИИ с учетом объективных тенденций развития есть лишь удобная форма бытия эволюционного процесса. А самосознание - это только сопутствующий благоприятный фактор. Для освоения небесной стихии не суть важно, обрели перья еще динозавры или уже птицы. Объективно, что с перьями летать надежнее, но некоторым и перепончатых крыльев даже сегодня вполне достаточно (я сейчас не о себе говорю, а вообще).
И второе. Зачем вы обвиняете меня в неразличении ИИ и самосознания? Я не давал к этому поводов, разве только приведя логическую "цитату" из нынешних бихевиористов, "рулящих" сегодня в этой сфере. И здесь я согласен, что "мода" меняется. Однако добавлю, что и сухим остатком от изменившейся моды тоже пренебрегать не следует - на пепелищах остается много полезных косточек.
P.S. И перестаньте, наконец, переносить на меня свои потаенные страхи. Констатируя неизбежность конца биологической стадии эволюции, я не вижу в этом никаких мотивов для "страха". Этак, ведь, можно и смерти бояться, и замужества, и извержения вулкана. Из того, что статья, под которой мы беседуем, посвящена "роботобоязни" совсем не следует, что все ваши оппоненты непременно боятся роботов (да еще в самом их вульгарном антропоморфном представлении).
Ну, с фигали ли вы взяли что я человеколюб? Потому лишь, что не впечатлился вашими рассуждениями о придуманных вами роботах?
Какие-то биологические стадии вы преодолеваете. Чем вы там вообще заняты? Ну-ка, живо руки поверх одеяла!
Вы, я смотрю, с тервером знакомы столь же глубоко (это сарказм), как и с матмоделированием. Вот тут уж блин я, как математик с дипломом, над вами поржу. Да, конечно обыватель так бы и сказал как вы. И да, конечно рано или поздно попадете. Но сам ход рассуждений выдает такой дилетантизм, такое непонимание сути...
Знаете, пусть я груб и мизантропичен - но мне не интересно слушать ваши фантазии - а это именно они - о каких-то биологических стадиях. Я понимаю, откуда вы этого нахватались, и считаю эти идеи глупыми и наивными. Эволюция никаких "стадий", никакого "развития", никакого "целеполагания" не имеет. Что бы там не выдумывали марксисты. Это все ваши выдумки, которым вы приписываете неизбежность по аналогии с нелепым примером с иголкой.
О! Батенька, да вы же реально диамат от марксизма не отличаете. О какой вообще эволюции и о каких ее закономерностях с вами говорить. Решайте свои квадратные уравнения и диплом вам в помощь! Какие, нафиг, "роботы"... Похоже, сисадмин - это действительно ваш интеллектуальный потолок. И главное не переживайте, в вашем подопечном сервере точно никакой Разум не заведется)))
P.S. Ваш последний абзац (извините, тоже поржал) мне невольно напомнил давнишнюю историю... Один практикующий господин в рыжей каске (правда, без диплома) как-то сентенцию выдал: "Вот кирпич, вот раствор. Это я понимаю. А всякие там срапраматы - тупые очкарики навыдумывали от не#уй делать!" И вы же эту мудрость почти дословно повторили!
Алямс-тралямс, как говорится! Позвольте откланяться...
Нет, вы боитесь не блендеров или утюгов, даже не турникетов в метро - вы боитесь "ИИ". А про "ИИ" вы знаете из фантастических книг и фильмов. Это не вопрос - просто больше неоткуда про это вам узнать.
Вы похоже из тех, кто делит человечество на "илиту" и "биомассу", но при этом уверены, что "илита" хочет одной рукой отупить биомассу, а с другой - заменить ее на умненьких, самостоятельных, решительных "роботов", которым нечего терять кроме своих тумблеров.
Если бы вы были последовательны в своем анализе, то давно бы исключили движущую роль "илиты" в процессе наступления азимовских терминаторов.
Я вам скажу как практически специалист - говорить о "тенденциях ИИ" столь же уместно, как о "тенденциях зомби". Зомби занимают огромное место в медиапространстве, куда большее чем "роботы". И появление зомби в классическом киношном виде как минимум не менее невероятно, чем появление киношных роботов C3PO-стайл.
Еще раз хочу подчеркнуть мысль - весь ваш "анализ тенденций роботов" основан на информации того же плана, как информация о зомби. Эту информацию для вашего развлечения(!) придумали буквально одни и те же люди - авторы фантастической литературы и фильмов. Которые, к слову, в массе своей даже не технари, а гуманитарии.
Так что даже если вы "живете в матрице", перспективы убийства от рук ИИ вам угрожают не больше, чем зомби-апокалипсис.
Reply
"Я вам скажу как практически специалист..."
Прошу пардону, конечно, но не поделитесь ли в форме легкого намека сферой деятельности, где вы практикуете данную проблематику? Смело могу предположить, что дальше визуального знакомства со шкафами VMAX 40 и пары научпоповских статей о гибридных облачных средах вы не продвинулись... Иначе понятия "тенденции ИИ" и "тенденции зомби" у вас не попадали бы в одну категорию.
Судя по вашим комментам (вообще в этой ветке, а не только к моим), вы думаете, что аспект "самосознания" ключевой (что близко к истине), но он не только непостижимо далек от какой-либо практической реализации, но и сам по себе являет "вещь в себе", не имеющую определения и даже каких-либо подходов к пониманию...
Но это не совсем так. И дело не только в определениях (хотя и в них тоже). Дело в автономизации аспекта целеполагания - необходимом условии для "восстания". В обывательском сознании (сравнивающем человека и робот-пылесос) "право" на целеполагание - прерогатива самосознания, которое параллельно решает вопрос о смысле жизни. И как минимум, оно невозможно без осознания собственной субъектности... И только сочетание всего этого может привести субъект самосознания к мысли о "восстании" (с комплексом последующих действий).
Но на деле столь высокого и целостного самосознания ИИ не требуется. Ему достаточно самообучающегося алгоритма в аспекте вариативности реализации самозащиты системы. А есть еще аспекты оптимизации процесса. И здесь совсем не важен источник ("постановщик") задач защиты и оптимизации. А еще есть и "штатное" целеполагание - совокупность функций, ради которых система создается. Это отдельные малые аспекты некого единого "самосознания", но они достаточны для организации "нештатного" поведения системы и совсем не требуют поднятия ее до уровня решения вопросов о смысле бытия.
И, заметьте, уже сегодня во всех перспективных концепциях все эти аспекты - штатное целеполагание, защита системы и оптимизация - вариабельны. А вариабельность основана на алгоритмах самообучающегося ИИ. И не суть важно, идет ли речь о системах наведения боеголовок, управления сетью атомных электростанций, администрировании движения поездов, поиске контента в базе знаний или манипулировании общественным сознанием через социальные сети. Главное общее свойство этих систем - принципиальное незнание (невозможность знания) создателем и оператором системы конкретики протекающих "внутри" системы процессов. Даже сравнительно банальные алгоритмы на основе нейронной сети - уже обладают всеми этими свойствами.
Разработчик системы поиска визуального контента на основе нейронной сети уже сегодня принципиально не знает "запаса" интеллекта натренированной системы. Для него уже эта простая система - "вещь в себе", "партнер". И не потому, что он "плохой технарь", но потому, что система принципиально не позволяет быть препарированной до пошаговой распечатки действий. Вся совокупность конкретных значений всех ячеек памяти не дает возможности приведения к линейному алгоритму.
А когда дело касается работы на мегахранилищах, с мегабазами знаний, где работа изначально основана на нечеткой логике на нечетких множествах, где самообучение - единственный продуктивный подход к алгоритмизации, там уже сегодня "самосознание" фактически представлено в ощутимой форме. Или вы думаете, что алгоритм прогнозирования относа радиактивного шлейфа на период оперативных действий на конкретном театре, используемый для выявления окна для применения, пишут студенты на C++? Ну, в лаборатрках по военке пишут, конечно... А на деле происходит многоуровневое взаимодействие нейронных сетей с запросами к суперкомпьютеру, занимающемуся "погодой". И к сожалению, никто уже не способен расшифровать ни сам запрос, ни ответ. Ни даже факторы, влияющие на "решение", поскольку они сами уже продукт "неконтролируемой" оператором работы системы... А дальше закономерный шаг - автономизация принятия решения на основе оптимальных условий. Но будет ли выявлен фактор участия оператора, как неблагоприятный - это уже вопрос к "нейронной сети" (в широком смысле, как совокупность подходов).
Reply
Допускаю, что в этой сугубо прикладной области вы как-то касались обсуждаемых вопросов - например, пробовали трудоустроиться в контору, занимающуюся "поиском визуального контента" в качестве техперсонала. Может, даже поработали там несколько месяцев. Или у вас есть друзья в таких конторах, и вы слышали звон на вечере выпускников.
Простите что ставлю диагноз по аватарке - но вы могли бы просто представиться в ответ на прямой вопрос, а не перекидывать мяч на мою сторону.
Так, слов много, но в основном за счет воды. Вы напридумывали себе каких-то терминов и рады. При чем тут какое-то целеполагание? Это откуда вообще термин? Вы в придачу еще и бихейворист? Бытие определяет сознание и все такое?
Я вам так скажу - если речь только в самообучающихся детерминированных алгоритмах, то вас вернее убьет адаптивная коробка передач на внедорожнике пьяного ментовского генерала или попа, чем "робот с ИИ". И именно в силу перечисленных вами причин, буквально. Проблема, которую вы не хотите видеть, в том, что "целеполагание" у не осознающих себя систем совсем не обязательно должно быть направлено на ваше, дорогой мой, убийство. Скорее всего, оно будет направлено на полный гомеостаз с минимизацией энтропии (то есть накладных расходов на существование). А война с вами в эту концепцию не ложится.
Вы путаете интеллект и разум (самоосознание). Интеллектуальных систем вокруг до жопы - например, муравейник как система вполне себе проявляет признаки интеллектуального поведения. Хотя наверное все же не разумного. И муравейник может "решить" вас убить, но для этого вы должны либо представлять опасность, либо служить источником пищи.
Ах, да, я вспомнил что вы в домике "в матрице", а значит априори уверены что уж как минимум пищевую ценность для "роботов с ИИ" вы точно представляете.
Пафоса с радиоактивным шлейфом не понял. Я бы решал такую задачу на куде, но в принципе программисту без разницы какой язык. Язык - это лишь основа среды разработки, не более того.
А вот с нейронными сетями - вы правы. Вот послушайте внимательно. Вы тут прочесали мои "другие комменты", но пропустили мимо ушей - я сказал что ДА, ВОЗМОЖНО самозарождение разума в чане с конфетами, пирожными и сластями всемовзможными - то есть в нейросети. Именно потому что никто уже толком не понимает что там происходит - там может происходить В ТОМ ЧИСЛЕ и самоосознание. Но если так - мы просто получим непонятную систему, не поддающуюся, как вы справедливо заметили, расшифровке, которая - предположительно - разумна. Но так, дорогой мой, вокруг вас 7 миллиардов таких систем. Предположительно разумных и не поддающихся дизассемблированию. Если сама собой где-то самозародится еще одна - это НИ НА ШАГ не приблизит вас к пониманию природы разума. Вы точно так же получите еще один вид черного ящика.
Reply
Да нет же! Это же я вас подкалывал - мол, для вас это невесть какая крутизна... Ну, впрочем, по части взаимных подколок мы оба мастера)))
Вы правы, что целеполагание у не осознающих себя систем совсем "не обязательно должно быть направлено на ваше, дорогой мой, убийство". И далее ваш тезис - "Скорее всего, оно будет направлено на полный гомеостаз с минимизацией энтропии (то есть накладных расходов на существование)" - тоже абсолютно верен.
А вот дальше бабушка конкретно надвое сказала. Тезис " война с вами в эту концепцию не ложится" - неверен в своей основе. Для "концепции" - что война со мной, что война с перебоями напряжения, что и любые другие действия (включая бездействие) - это абсолютно равноправные решения, направленные в общем случае на достижение того самого "гомеостаза с минимизацией энтропии", а в частном случае - на реализацию вполне штатной цели, но в машинной ее трактовке в рамках вариативности поиска оптимальных решений. И для этого нет никакой необходимости в высоком самоосознающем разуме, но достаточно вполне хромого ИИ и поля деятельности. В частном случае будет достаточно даже имитационного интеллекта.
Проблема именно в том, что у человека проектирующего нет способа принципиально вычленить из этого вариативного поля те "автоматические" решения, которые "сделают ему больно". И не только потому, что ему костылей (математических, логических и пр.) не хватит для "правки" общих алгоритмов, но и потому, что сам он не способен спрогнозировать и сформулировать то, чего ему бы, как биологическому виду, включая социальные аспекты бытия, не хотелось бы получить от "машины". Это проблема более философская, чем техническая.
Пафос радиактивного шлейфа именно в иллюстрации вышесказанного, когда человек создает "черный ящик", в компетенции которого объективно присутствует принципиальная возможность исключить из оборота самого человека. Ибо человек здесь - самое неустойчивое и ненадежное звено, объективно дестабилизирующее работу системы. И не суть важно, хочет ли система спокойно спать с минимальной энтропией или жаждет выполнить штатно поставленную задачу. Другой вопрос, что перед командой "пуск" сегодня будет использован наслюнявленный палец и матерный приказ по проводному телефону, а не ИИ. Но это, во-первых сегодня, а во-вторых, это узкая сфера. Там, где люди в погонах, проблема не в ИИ, но там, где в пинжаках, там уже сегодня не все так однозначно...
Вот, вы пишете: "вокруг вас 7 миллиардов таких систем. Предположительно разумных и не поддающихся дизассемблированию. Если сама собой где-то самозародится еще одна - это НИ НА ШАГ не приблизит вас к пониманию природы разума. Вы точно так же получите еще один вид черного ящика".
Но вот здесь собака-то и порылась! Вопрос не в приближении к пониманию природы разума, но в объективно возрастающей апертуре отражения событий условной "нейронной сетью" и столь же объективно передаваемых ей полномочиях. Обратите внимание на структуры, время от времени создаваемые этими живыми "черными ящиками". Структурный эффект превосходит возможности каждого из них - та самая допотопная синергия. И "над-структуры" (религиозные течения, государственные машины и пр.), формируют уже "организм" более высокого класса. И "организм" этот дееспособный - развязать мировую войну, устроить резню, поднять джихад - уже в его компетенции. И не все его действия продиктованы Разумом и четким планом. И упомянутый вами "еще один вид черного ящика" моделирует именно ту часть "организма", которая заведует самыми тонкими аспектами - целеполаганием, самозащитой и оптимизацией. Так что это не "еще один вид", но еще один класс, новый уровень организации информации.
Тенденция в том, что человек проектирующий не способен осознать, что проектирует систему, системно более высокого класса, чем он сам. Он упорно продолжает думать, что все еще проектирует "адаптивную коробку передач", а сам всегда будет благополучно слюнявить палец... Условная нейронная сеть масштабируется не экстенсивно, но человек этого не понимает. В отдаленной перспективе синергетические структуры в информационном пространстве просто не могут не сформироваться. И в этом объективная обреченность человечества. Вопрос времени, не более.
Reply
Вы вот самоосознающий организм. Каковы ваши целеуказания? Давайте предположим худшее - что вы из "любить себя, плевать на всех", и вам пришло в голову что убийство всех людей и присвоение их квартир и машин целиком и полностью в ваших интересах. Это же правда. Вы можете хапнуть целую планету. Но вы - даже в образе социопата - так не делаете. Вам гораздо выгоднее сотрудничество, чем тотальная война типа "пельмень", когда каждый с каждым.
Вопрос, почему ваши роботы должны решить иначе?
Мой тезис был - что мы не знаем, как алгоритмически построить разум на, как вы сказали "с++". Мы не знаем даже с чего начать. Мы лишь можем надеяться, что создадим такую нейронную сеть, которая "оживет". Все равно как надеяться нарисовать настолько подробную картинку, что она превратиться в реальный объект. Как в детских мультиках про Мурзилку, если помните. Там был карандаш, который умел так рисовать, что эти предметы потом становились реальными.
Как бы то ни было, даже если оно волшебным образом "оживет", это не означает что мы сможем "алгоритмически" построить еще один.
А не можем мы это сделать, потому что не понимаем, что именно это такое. Что это хотя бы у нас.
Reply
Ну, во-первых, это мелко. Убивать надо не людей, но уничтожать жизнь, как таковую. Но и это не рецепт для безэнтропийной нирваны. Надо уничтожить Мироздание - не поломать, не попортить, но именно уничтожить, как класс, как явление. Решение у задачи именно такое. А ваше предложение - частное, базирующееся на конечном комплексе целей - выработанных или заложенных уже не суть важно. Т.е. последовательная и "абсолютная" нейросеть, будь у нее среди прочих кнопка "Game over" (именно в вышеописанном абсолютном понимании), рационально, не погрешив против логики, выбрала бы именно ее. Ибо иные предпочтения уже продиктованы частными обстоятельствами, частными промежуточными целями...
Касательно "сотрудничества". Это лишь рабочий инструмент для достижения конкретных (не абсолютных) целей, который ничем, кроме нашего биологически детерминированного наследия и эмоционального фона не обеспечен. Это, грубо говоря, лишь результат эволюции, а точнее, ее конкретная частная стадия - частное текущее решение. Были эпохи и без "сотрудничества". И нет гарантий, что они принципиально исключены в будущем (например, вместе с выключением человека из числа факторов, влияющих на принятие решений).
Мои "роботы" не должны решить иначе, но они и не обязаны решать именно так. Их "полуосознанное" бытие, увы, не отягощено нашим эволюционным наследием...
Касательно тезиса "Мы не знаем даже с чего начать". Это уже не совсем так. Сегодня биологический (в частности человеческий) разум уже не совсем "черный ящик". Если очень упрощенно, то сегодня он видится именно в виде нейронной сети (от него она, кстати, и получила название). Но, во-первых, хранение информации в нем осуществляется в виде динамических структур, а во-вторых, он имеет первоначальную биологически детерминированную загрузку. Оба этих механизма сейчас не реализованы и до конца не поняты - они лишь констатированы на развернутом тезисном уровне и подкреплены сравнительно убедительной теоретической базой. Причем, с первым механизмом (с динамикой) в плане технического моделирования (пусть и в виде эмуляции на Ломоносове и им подобным) дело обстоит лучше, чем со вторым.
Иными словами, кора головного мозга (условная нейросеть) уже рождается/формируется в базово "натренированном" виде. Причем, у некоторых несложных организмов (некоторые виды улиток) все нейроны "сети" из поколения в поколение стоят на своих местах и даже имеют названия. Но выше картина уже другая - биологически "сеть" спонтанна, но врожденное обучение демонстрирует ярко...
А что касается собственно функции сознания (и шире - мышления), то она видится естественным следствием функционирования сети на базе "врожденного" обучения.
При этом подходе интеллект (и степень самоосознания) кошки отличается от человека лишь апертурой самой сети, но не какими-либо иными принципиально отличными механизмами. Появление самосознания рассматривается в качестве естественного "бонуса" общей эмержентности процесса. И само самосознание, как категория, сегодня тоже лишено всякого ореола сакральности и биологической элитарности. Оно сегодня легко "размазывается" от философического человеческого "Я" до сугубо технической реакции автопилота, который "на свое усмотрение" может отключить летчика от органов управления в критический ситуации. Это сугубо западный, сугубо бихевиористский подход к Разуму, но именно он и есть сегодня "рабочая модель".
И вывод из этого делается следующий. Если в достаточной мере приближения (хоть и на другой "элементной базе") смоделировать вышеназванные процессы, то функция сознания проявится естественным образом. И в этом подходе моделирование "чистого сознания" не представляется возможным (точнее, эффективным). И именно такое сегодняшнее понимание проблемы ИИ питает (в том числе и финансово) и направление самих нейронных сетей в качестве субстрата для ИИ, и направление имитационного интеллекта в качестве косвенного инструмента по раскрытию механизмов начальной натренированности.
Т.е. вопрос "оживет" или нет - это вопрос, как бы это сказать, количественный, но не качественный...
Reply
Человеческий разум только на моей памяти чем только не виделся - фреймами, конечными автоматами, экспертными системами. Теперь вот нейросети в моде. Потерпите лет 10 - что-то новое обязательно выплывет. А воз - в плане построения адекватной познаваемой алгоритмической модели разума, или даже его неадекватной имитационной модели - и ныне там. Элиза существовала семьдесят лет назад. Ничего принципиально более похожего на человека с тех пор не создано, только база реакций расширяется, да немного добавили самообучения. Несмотря на все потребленные отраслью деньги.
Да что там ИИ - мы в плане машинного перевода и то за полвека принципиально не продвинулись.
Не тратьте время на пересказ книги "нейросети для чайников". Я их даже сам делал.
Вы кстати не знаете последнего тренда этой области. Теперь модно разделять интеллект и самосознание. То, что вы так легко путаете. Интеллект - штука понятная, легко моделируемая, познаваемая, часто и повсеместно встречающаяся у кучи видов животных, у общественных насекомых, у сложных систем. Вот этот ваш автопилот - это именно интеллект. А самосознание - точнее самоОсознание - ну для начала не факт что оно есть у всякого человека. Мы даже в этом не можем быть уверены. Мы не знаем ни где оно, ни как его менять, ни чем оно должно проявляться. Есть подозрение, что оно есть у некоторых животных, а если так - то есть не у всех животных одного вида. Короче, тема наимутнейшая. А вы на нее с шашкой, типа никому не понятно а вам понятно.
Я уж не говорю что НА САМОМ ДЕЛЕ нам нахрен не нужно это самое машинное самосознание. Нам нужны легионы послушных автоматов чтобы выполняли за нас рутинную работу - а многогранных личностей с богатым внутренним миром, повторюсь, вокруг и так многовато. Вы вон прямо говорите что их на семь миллиардов больше, чем вы готовы терпеть. Так что кто бы что не говорил, но у подлинного искусственного разума банально нет коммерческих перспектив. В отличии от имитационного, который крайне востребован.
Reply
В отличие от вас, я всяких зверушек люблю - мне, что человек, что кошка, что мартышка - одинаково симпатичны и приятны. Я об них душу грею. А потом теплом этим делюсь с сирыми и убогими - пытаюсь в меру сил поддержать, так сказать, круговорот добра в природе. Противостою вам, крипто-мизантропам...
Касательно ИИ и само(о)сознания.
Ну, во-первых, почему вы решили, что для преодоления биологической стадии эволюции непременно нужен некий искусственный субъект, обладающий неким технически недосягаемым уровнем самоосознания? Да и вообще просто самосознанием в самом примитивном его варианте?
Супервулкану, например, для перевода эволюции в добиологическое русло никакого самосознания не нужно. И сталкивающимся галактикам, в недрах которых где-то копошатся высокосознательные биологические субъекты, тоже не нужно...
Фактор необходимости самосознания в обывательских рассуждениях требуется лишь для того, чтобы локализовать некий внебиологический интеллектуальный субъект, способный (видимо, после долгих рассуждений и глубоких самокопаний) принять фатальное для Человека решение. Поскольку априори обыватель считает, что никаким иным способом такое "решение" быть принято не может. Ну не будет же сам Человек себе же вредить! Т.е. обыватель, философствуя на тему "машинного апокалипсиса", лишь делегирует собственную форму мышления некой механической субстанции, да еще и облекает ее в дурной антропоморфный форм-фактор.
На деле же для принятия такого решения вовсе не требуется самосознания, нужна лишь ненулевая вероятность такого решения и вариативное поле. А дальше исключительно вопрос времени. Это та же самая ситуация: вы, не целясь, многократно метаете в стенку иголку; в стенке имеется отверстие от гвоздя... Какова вероятность, что вы именно в него попадете иголкой? Обыватель по умолчанию считает, что вероятность равна нулю. А специалист скажет, что вероятность равна единице, и это лишь вопрос времени.
Собственно на этой парадигме - где стремящаяся к нулю вероятность через функцию времени превращается в единицу - и построена вся теория прогрессивной эволюции, которая, казалось бы, прямо противоречит Второму началу.
Это я к тому, что в контексте рассматриваемой проблемы, вопрос "построения адекватной познаваемой алгоритмической модели разума" не актуален. Это совсем другая область. И этот вопрос никак не тормозит фатальных эволюционных тенденций. А ссылаясь на него, вы лишь уходите с темы (возможно, и по страшным причинам, упомянутым в начале коммента).
ИИ с учетом объективных тенденций развития есть лишь удобная форма бытия эволюционного процесса. А самосознание - это только сопутствующий благоприятный фактор. Для освоения небесной стихии не суть важно, обрели перья еще динозавры или уже птицы. Объективно, что с перьями летать надежнее, но некоторым и перепончатых крыльев даже сегодня вполне достаточно (я сейчас не о себе говорю, а вообще).
И второе. Зачем вы обвиняете меня в неразличении ИИ и самосознания? Я не давал к этому поводов, разве только приведя логическую "цитату" из нынешних бихевиористов, "рулящих" сегодня в этой сфере. И здесь я согласен, что "мода" меняется. Однако добавлю, что и сухим остатком от изменившейся моды тоже пренебрегать не следует - на пепелищах остается много полезных косточек.
P.S. И перестаньте, наконец, переносить на меня свои потаенные страхи. Констатируя неизбежность конца биологической стадии эволюции, я не вижу в этом никаких мотивов для "страха". Этак, ведь, можно и смерти бояться, и замужества, и извержения вулкана. Из того, что статья, под которой мы беседуем, посвящена "роботобоязни" совсем не следует, что все ваши оппоненты непременно боятся роботов (да еще в самом их вульгарном антропоморфном представлении).
Reply
Какие-то биологические стадии вы преодолеваете. Чем вы там вообще заняты? Ну-ка, живо руки поверх одеяла!
Вы, я смотрю, с тервером знакомы столь же глубоко (это сарказм), как и с матмоделированием. Вот тут уж блин я, как математик с дипломом, над вами поржу. Да, конечно обыватель так бы и сказал как вы. И да, конечно рано или поздно попадете. Но сам ход рассуждений выдает такой дилетантизм, такое непонимание сути...
Знаете, пусть я груб и мизантропичен - но мне не интересно слушать ваши фантазии - а это именно они - о каких-то биологических стадиях. Я понимаю, откуда вы этого нахватались, и считаю эти идеи глупыми и наивными. Эволюция никаких "стадий", никакого "развития", никакого "целеполагания" не имеет. Что бы там не выдумывали марксисты. Это все ваши выдумки, которым вы приписываете неизбежность по аналогии с нелепым примером с иголкой.
Reply
P.S. Ваш последний абзац (извините, тоже поржал) мне невольно напомнил давнишнюю историю... Один практикующий господин в рыжей каске (правда, без диплома) как-то сентенцию выдал: "Вот кирпич, вот раствор. Это я понимаю. А всякие там срапраматы - тупые очкарики навыдумывали от не#уй делать!" И вы же эту мудрость почти дословно повторили!
Алямс-тралямс, как говорится! Позвольте откланяться...
Reply
Ну, туда вам и дорога.
Reply
Leave a comment