Если пофантазировать, что я мог бы сделать что то такое ( я типа программист, но своей нейросети у меня нет и я не настоящий сварщик),
У меня возник следующие вопросы
1. Насколько важны интонации ? Потому что допустим есть сервис Яндекса который позволяет распознавать короткие фразы (а уже и длинные) на русском языке, но насколько я знаю не предоставляет информации об интонациях. Хватит ли текста/расшифровки для того чтобы делать то что приложение должно делать.
2. В use case с осцилограффом, как человек находит это "Имей в виду" по какой то характеристике которую он увидел в этом осциллографе, или по значению фразы "имей в виду"
Ну и это если настоящие сварщики сделают, то ждем :)
Начинать надо с того, что учить сеть распознавать и расставлять интонации. Пока это не сделано, дальше двинуться будет нельзя. Давать ей образцы, показывать: вот тут центр ИК-3 на первом слове. А вот мы передвинули этот центр на второе слово... и т.п.
1. Можно ли в качестве данных для разметки использовать какой-нибудь ютуб, или нужны записи повседневной разговорной жизни?
2. А сколько таких специалистов есть которые могут размечать эти ИК-3 ? Можно ли обычному человеку объяснить чтобы он слышал какое то конкректное ИК, или мог отличить одно ИК от другого.
Насколько я понимаю, что Гугл, что Яндекс потратили миллионы долларов на создание записей разных фраз голосами людей, и на разметку этих и других фраз. Т.е. это может просто уперется в отсутсвие людей которые смогут разметить данные в нужных количествах.
У нас есть большие объёмы классических фильмов с полностью затранскрибированными диалогами (то есть там всюду указана интонация). Можно загрузить их в качестве корпуса, добавить учебные материалы для иностранцев с интонированием и прочее подобное. Но параллельно с этим никто не мешает посадить живых людей голосом наговаривать образцы. Людей, знающих интонационную систему Брызгуновой и осознанно владеющих русским звучанием, не так уж мало; другое дело, что никто никогда не пытался привлекать их ни к каким стартапам. Ну так и нейросетей недавно ещё не было. Потом, всё зависит от того, насколько хорошо нейросеть экстраполирует. Если ей достаточно сказать: "Ты туда поедешь?" с нужной интонацией, чтобы она сама могла с той же интонацией сказать: "Ты это слышишь? Он её видит? Мы завтра едем?.." - и т.п., то есть держать интонационную структуру при полной замене словесного наполнения, то вовсе не нужно миллиона сотрудников, которые бы сидели и наговаривали ей реплики годами.
Интонация в китайском языке играет сопровождающую роль. Она не смыслоразличительна. Смыслоразличительны там тоны, но их не надо путать с интонацией: интонационный рисунок, грубо говоря, оформляет всё предложение в целом, а тот или иной тон работает в пределах одного слога (даже не слова).
Обучение нейронных сетей работает не совсем так, как, мне кажется, вы это видите. Иметь свою нейронную сеть не так уже сложно, задача сейчас - на полчаса работы. А вот подготовить для нее данные (вы в комментарии показываете транскрибированные страницы, они должны быть не просто в электронном виде, но и в виде, удобно потребляемом, это большая работа, нужно примерно 10000 примеров чтобы расчитывать на хороший результат), а дальше настроить модель так, чтобы на выходе получался не мусор, потребуюет существенного вложения времени и сил.
Естественно. Просто зачем же мы будем сразу всему свету показывать и тем более передавать огромную базу материалов? Это серьёзный проект, реализация его ведёт к серьёзным результатам, со стороны лингвистов команда есть, со стороны программистов и др. - нет пока. Э? Погодите, так мне можно заиметь свою собственную маленькую, не обученную нейросеть и грузить в неё вводные данные, вообще не умея программировать? Просто представляя его в единообразном и удобоваримом электронном виде? Наверное, всё-таки нет.
В случае работы с нейронной сетью вам не надо светить исходные данные, она их съест и на выходе будут только ее ответы, никто не будет знать, как вы ее учили. Про то, можете ли вы иметь свою - да, можете. Сейчас все больше появляется платформ аля https://www.datarobot.com/, где весь "сопровождающий" труд автоматизирован, на вас остаются данные и математика. Я привел пример совсем "удобного" сервиса, где все на сайте, но есть и бесплатные доморощенные решения, сильно упрощаюшие задачу.
Я понимаю, что это как чёрный ящик. Я имела в виду, что "свечу" данные, сообщая между делом всему миру в сети, как и откуда их следует черпать. А просто скармливая их нейросети, я их, конечно, не свечу.
>> Вообще если в облаке будет лежать словарь коммуникативных средств русского языка А этот словарь существует? Я так понял, большинство данных по коммуникативной семантики нигде не публиковалось, никаких баз данных не существует?
Да, словарь существует и полностью готов, но пока не опубликован. Устройство русской коммуникативной системы в существующих публикациях представлено, конечно, ещё не совсем полно, но в принципе удовлетворительно - есть с чего начинать.
Comments 31
У меня возник следующие вопросы
1. Насколько важны интонации ? Потому что допустим есть сервис Яндекса который позволяет распознавать короткие фразы (а уже и длинные) на русском языке, но насколько я знаю не предоставляет информации об интонациях. Хватит ли текста/расшифровки для того чтобы делать то что приложение должно делать.
2. В use case с осцилограффом, как человек находит это "Имей в виду" по какой то характеристике которую он увидел в этом осциллографе, или по значению фразы "имей в виду"
Ну и это если настоящие сварщики сделают, то ждем :)
Reply
Reply
2. А сколько таких специалистов есть которые могут размечать эти ИК-3 ? Можно ли обычному человеку объяснить чтобы он слышал какое то конкректное ИК, или мог отличить одно ИК от другого.
Насколько я понимаю, что Гугл, что Яндекс потратили миллионы долларов на создание записей разных фраз голосами людей, и на разметку этих и других фраз. Т.е. это может просто уперется в отсутсвие людей которые смогут разметить данные в нужных количествах.
Reply
Но параллельно с этим никто не мешает посадить живых людей голосом наговаривать образцы. Людей, знающих интонационную систему Брызгуновой и осознанно владеющих русским звучанием, не так уж мало; другое дело, что никто никогда не пытался привлекать их ни к каким стартапам. Ну так и нейросетей недавно ещё не было. Потом, всё зависит от того, насколько хорошо нейросеть экстраполирует. Если ей достаточно сказать: "Ты туда поедешь?" с нужной интонацией, чтобы она сама могла с той же интонацией сказать: "Ты это слышишь? Он её видит? Мы завтра едем?.." - и т.п., то есть держать интонационную структуру при полной замене словесного наполнения, то вовсе не нужно миллиона сотрудников, которые бы сидели и наговаривали ей реплики годами.
Reply
Имхо, для начала было бы здорово обучить нейросеть распознавать ИК.
Reply
Reply
Интонационный рисунок, наверное, будет видно хоршо. Но его ведь надо еще соотнести с разбиением на слова.
Хм... если китайцы делали что-нибудь с распознаванием китайской речи, они наверняка работали с интонациями. Но это надо гуглить по-китайски :(
Reply
Смыслоразличительны там тоны, но их не надо путать с интонацией: интонационный рисунок, грубо говоря, оформляет всё предложение в целом, а тот или иной тон работает в пределах одного слога (даже не слова).
Reply
Reply
Иметь свою нейронную сеть не так уже сложно, задача сейчас - на полчаса работы.
А вот подготовить для нее данные (вы в комментарии показываете транскрибированные страницы, они должны быть не просто в электронном виде, но и в виде, удобно потребляемом, это большая работа, нужно примерно 10000 примеров чтобы расчитывать на хороший результат), а дальше настроить модель так, чтобы на выходе получался не мусор, потребуюет существенного вложения времени и сил.
Reply
Просто зачем же мы будем сразу всему свету показывать и тем более передавать огромную базу материалов? Это серьёзный проект, реализация его ведёт к серьёзным результатам, со стороны лингвистов команда есть, со стороны программистов и др. - нет пока.
Э? Погодите, так мне можно заиметь свою собственную маленькую, не обученную нейросеть и грузить в неё вводные данные, вообще не умея программировать? Просто представляя его в единообразном и удобоваримом электронном виде? Наверное, всё-таки нет.
Reply
Про то, можете ли вы иметь свою - да, можете. Сейчас все больше появляется платформ аля https://www.datarobot.com/, где весь "сопровождающий" труд автоматизирован, на вас остаются данные и математика. Я привел пример совсем "удобного" сервиса, где все на сайте, но есть и бесплатные доморощенные решения, сильно упрощаюшие задачу.
Reply
Reply
А этот словарь существует? Я так понял, большинство данных по коммуникативной семантики нигде не публиковалось, никаких баз данных не существует?
Reply
Устройство русской коммуникативной системы в существующих публикациях представлено, конечно, ещё не совсем полно, но в принципе удовлетворительно - есть с чего начинать.
Reply
Leave a comment