Я обсуждаю интеллект-стек как стек платформенных протоколов для всех этих smart и intellectual приложений, которые начали появляться повсеместно. Тут два ключевых слова
( Read more... )
>C++, Lua, Python. А все остальные (Java, Julia и т.д.) пока маргинальны
Все библиотеки, которые я попробовал в основе написаны на с/c++, большинство из них поддерживают графическое ускорение, поэтому понятно, что с/с++ -- это практически требование. Если говорить различных языках, то разнообразие здесь существует на уровне удобного интерфейса и получения немедленного удовлетворения для конфигурации нейронной сети. Например NVIDIA labs дает пока бесплатный доступ к своим библиотекам и ресурсам через ipython notebook интерфейс, при этом код исполняется конечно на GPU на амазоне.
Совершенно с вами согласен, что "как обычно" софт слишком быстро развивается, чтобы кастомное железо было для него эффективно -- так всегда было. Но тут хинт, что FPGA сам по себе не слишком железо, это наполовину софт! А нынешняя конструкция FPGA хитра именно тем, что умножители на нём полностью железные, а вот логика их задействования уже программируема. И масштабы тут не одного чипа, а целых датацентров играют. Поэтому я бы не распространял действие старого тренда на эти новые архитектуры.
Ровно наоборот: в них не было ничего не программируемого! А теперь есть -- блоки умножителей. Почитайте исходные материалы, там много любопытного, я ж специально ссылку приводил: http://ailev.livejournal.com/1207933.html
Анатолий, как я понимаю, это Ваша позиция как стейкхолдера: "Прикладной уровень, по-хорошему, должен быть "слугой", который знает хозяина лучше самого хозяина и ориентируется в ситуации в своей предметной области (а, желательно, и в ситуации в целом) тоже лучше своего хозяина"А Вам нужен такой слуга? Многим ли стейкхолдерам нужен такой слуга? Как быть тем, кому не нужен? Я знаю, Вы - поборник свободы, планируете ли предоставить им какой-то выбор
( ... )
1. Конечно, разумные и сознательные существа так или иначе будут свободными. Конечно же, аболиционизм появится -- скорее раньше, чем позже. Но пока я лично считаю неправильным активно обсуждать AGI ровно потому как вместо обсуждения хоть каких-то реалий начинается пустопорожнее переливание одних этических вопросов в другие -- и весь пар уходит в этот свисток. Именно поэтому я минимизирую обсуждение проблем AGI у себя в блоге. Этот пост лишь по необходимости выходит на проблемы AGI, но никак не затрагивает проблем автономности и осознанности умных небелковых помощников
( ... )
Как знать, вполне возможно, кибернетика "сдохла" именно для того, чтобы оставить "за бортом" биологов и психологов. :) Я вовсе не настаиваю на том, что в Ваших текстах есть что-то кибернетическое. Я сам не отождествляю кибернетику с "наукой об управлении", невзирая на изначальное происхождение термина. Речь идёт о функционировании коммуникативных (в том числе живых и разумных) систем. Разумеется, об этом можно и нужно говорить и с инженерных позиций в том числе. Однако, инженерный подход упорно игнорирует некоторые существенные особенности живых разумных систем, в том числе и человеческой психологии. Именно это тревожит биологов и психологов. Всё же хотелось бы больше конкретики. Вот Ваши слова: "Конечно, разумные и сознательные существа так или иначе будут свободными". Я понимаю, это Ваша вера, Ваше убеждение. Но я думаю, не зря здесь появились очень любопытные слова "так или иначе". "Так или иначе" = "я не знаю, как". Аналогичный пример: "Мы добьёмся этого, так или иначе!" (это означает, что мы этого как-то добьёмся, но как мы этого
( ... )
Я, конечно, мог бы стать тут социальным инженером и выкатить на-гора архитектурный проект "общества жити и нежити, в котором все были бы свободными". Но общества (и системы систем в целом) классическими инженерными методами не разрабатываются. Если я сделаю архитектурное описание, вовсе не факт, что все кинутся реализовывать именно это описание. Тут возможна эволюция системы систем, в которой каждая система этой системы систем имеет своё собственное развитие, но владельцы систем (конечно, у каждого разумного существа есть самопринадлежность -- владение своим телом) могут (но не обязаны) ориентироваться на планы и действия владельцев других систем по их собственному развитию. Я не вижу пока никого, с кем я мог бы начинать обсуждать появление бравого нового свободного человеко-нечеловеческого мира -- а без этого всякие "прожекты" это только лясы точить и псевдодеятельностью заниматься, чистым бесполезным (себе и другим) философствованием. Хотя, может и полезным: там есть разлекательный момент, типа как в научной фантастике. Но это
( ... )
Попробовал я этот Dither на досуге - в качестве шума для denoising autoencoder, в общем издеваться над картинкой входной - да. В качестве аддитивного шума во внутренние слои - ерунда выходит. Так что не все статьи на арХиве одинаково полезны :)
"-- Любите ли вы кошек? -- Нет! -- Наверное, вы не умеете их готовить." ))) Статьи на arXiv полезны только тем, кому они оказываются полезны )))
Dither в обработке сигналов очень распространён. И тоже вызывает практически религиозные дискуссии, например у тех же аудиофилов. Им претит сама идея, что вместо удаления шума его в какой-то момент оказывается выгодным вносить!
Это один из трендов сегодня, вносить какую-то стохастику в работу сетки и демонстрировать улучшение характеристик (чаще всего даже не качества, а эффективности работы) по сравнению с "чисто конкретно детерминистическим полным счётом".
Я про тренд в курсе и активно им пользуюсь. Например, недавно одни из призеров каггловского планктона рандомизировали ReLU. Речь именно о том, как применять Dither - сами авторы написали, что применяли его ко входному сигналу - аддитивный шум. И тут я полезность под сомнение не ставлю. Но дропаут хорошо именно применением внутри сетки и не требует особой настройки, как мультипликативный шум. Аддитивный же - чтобы приносить пользу - должен быть в районе порядков значения сигнала, не больше, не меньше - что уже требует доп.вычислений.
Comments 29
Все библиотеки, которые я попробовал в основе написаны на с/c++, большинство из них поддерживают графическое ускорение, поэтому понятно, что с/с++ -- это практически требование. Если говорить различных языках, то разнообразие здесь существует на уровне удобного интерфейса и получения немедленного удовлетворения для конфигурации нейронной сети. Например NVIDIA labs дает пока бесплатный доступ к своим библиотекам и ресурсам через ipython notebook интерфейс, при этом код исполняется конечно на GPU на амазоне.
Reply
Про преобразование фотографий и general AI - термояд.
FPGA прям не знаю, боюсь как обычно получится, что область развивается слишком быстро, чтобы было эффективно кастомное железо делать.
Reply
Reply
Reply
Reply
Они очень специализированные, конечно, но деньги там фантастические...
Reply
Reply
Reply
Reply
Я вовсе не настаиваю на том, что в Ваших текстах есть что-то кибернетическое. Я сам не отождествляю кибернетику с "наукой об управлении", невзирая на изначальное происхождение термина. Речь идёт о функционировании коммуникативных (в том числе живых и разумных) систем. Разумеется, об этом можно и нужно говорить и с инженерных позиций в том числе. Однако, инженерный подход упорно игнорирует некоторые существенные особенности живых разумных систем, в том числе и человеческой психологии. Именно это тревожит биологов и психологов.
Всё же хотелось бы больше конкретики. Вот Ваши слова:
"Конечно, разумные и сознательные существа так или иначе будут свободными". Я понимаю, это Ваша вера, Ваше убеждение. Но я думаю, не зря здесь появились очень любопытные слова "так или иначе". "Так или иначе" = "я не знаю, как". Аналогичный пример: "Мы добьёмся этого, так или иначе!" (это означает, что мы этого как-то добьёмся, но как мы этого ( ... )
Reply
Reply
Reply
Dither в обработке сигналов очень распространён. И тоже вызывает практически религиозные дискуссии, например у тех же аудиофилов. Им претит сама идея, что вместо удаления шума его в какой-то момент оказывается выгодным вносить!
Это один из трендов сегодня, вносить какую-то стохастику в работу сетки и демонстрировать улучшение характеристик (чаще всего даже не качества, а эффективности работы) по сравнению с "чисто конкретно детерминистическим полным счётом".
Reply
Reply
Reply
Leave a comment