Про Международную олимпиаду по лингвистике (2)
В этой части напишу про задачи. Задачи XIII Международной олимпиады по лингвистике можно посмотреть здесь. Не уверена, что кому-то будут интересны мои впечатления о них, но запишу хотя бы для себя.
В материале на сайте lingling.ru сказано, что задачи этого года были самыми сложными в истории олимпиады. Это, конечно, преувеличение. Но они были сложнее, чем в прошлом году, а главное, были в целом менее «лингвистическими», так что для лингвистов-лингвистов год оказался трудным, удача больше улыбалась лингвистам-математикам и лингвистам-программистам.
Первая задача сразу на две системы счисления с разным базисом (языки араммба и науатль). Задача интересная, так как перевода не дано вообще, ни единой цифры, даны только равенства, всё надо почерпнуть из вычислений. Но по трудоемкости задача вышла фактически как две, ибо надо разгадать две системы, поэтому решили ее совсем немногие. Так что мне кажется, что вставлять ее в сложный вариант значило во многом ее убить. Кроме того, возникают сомнения, правомерно ли использовать равенства, где правая половина записана на науатле, а левая - на араммбе? Ведь это искусственно созданная ситуация, в жизни эти языки встретиться не имеют шансов. На этот счет в задачной комиссии были разные мнения. Так или иначе, задача сильная, и мой респект ее автору, молодому болгарскому математику Милене. Милена два года с нами в комиссии, и это ее первая задача на МОЛ.
Третьей в наборе шла задача авторства menelik3 на систему кодирования звучания имен Soundex. Эта задача казалась мне a priori самой легкой в варианте, но я ошиблась. Очевидно, она была легка, только если преодолеть некоторый ступор от ее необычности. Против этой задачи в комиссии были самые большие возражения, ибо она не на естественный язык. Но почему бы задаче по компьютерной лингвистике не быть на международной олимпиаде по лингвистике? Лично для меня Сашина задача стала фаворитом этого года. И для школьников тоже! 56 из 166 участников назвали эту задачу любимой, и Саша получил приз решательских симпатий (который ему забыли вовремя дать, к моему большому возмущению).
Саундекс представляет имя как код из одной буквы и трех цифр. Чего только ни писали участники! Например, что цифры кодируют возраст (да-да, трехзначные, в частности, первым в задаче был дан код для фамилии Wilson - W465 :)), а также уровень достатка и даже степень привлекательности! Но на самом деле цифры кодируют буквы имени, а по какому принципу, надо догадаться. На разборе Саша привел любопытную статистику (посчитанную iad’ом), в которой на саундексе были записаны имена всех участников олимпиады. Средний балл по этой задаче оказался в районе 3 баллов из 20, но отдельные школьники справились с ней очень хорошо. Особенно удачно решили ее американцы, что неудивительно: их национальная олимпиада NACLO как раз в основном по компьютерной лингвистике, так что они привыкли к этому типу задач.
Пятая задача тоже была не совсем стандартной: в ней надо было определить принципы стихосложения на сомали. Автор - снова героический menelik3 - две задачи в варианте одного года! Для меня основная сложность сомалийской задачи - понять, что именно нужно делать, что спрашивается, в чем соль. Когда это понял, решить уже не так сложно. Но нестандартность задачи явилась преградой для многих, плюс она была последней, многие просто не успели до нее дойти. Между тем, задание звучало примерно так: «Даны еще строки, определите, какие из них написаны по правилам, а какие - нет». Конечно, оценивалось не только выполнение задания, но и объяснение, однако можно было набрать от 0 до 8 баллов из 20 только отметив правильно сколько-то строк, и некоторые дерзнули сделать это наугад и получили какие-то небольшие очки, а в районе бронзы и похвальных отзывов уже каждый балл не счету. В общем, для меня эта задача про то, что надо быть смелым, open-minded и немного как та лягушка в кадке со сметаной.
Две оставшиеся задачи (№2 и №4) были традиционными, так что их сдали почти все участники. Задачу №2, на кабардинский язык, сочинил petrark. В ней морфология (несложная), фонетика и ударение (сложные). Сдало больше 160 человек, а высший балл (20) получил всего один участник. Но промежуточных решений было много. Что мне полюбилось в этой задаче, так это живость материала, который Петя сам собирал в экспедиции. Петя - человек (и ученый) на редкость добросовестный и честный, поэтому как только у него возникли сомнения насчет данных, он тут же написал нам, и задача не пошла в прошлом году. За год Петя дособрал материал, уточнил и проверил у информантов, можно ли сказать так и эдак, и довел задачу до конца. Участникам она понравилась, и ее даже, кажется, большинство сочли самой легкой (но по факту она была на втором месте по легкости).
И наконец, моя задача № 4 на австралийский язык вампая. В целом я довольна. Это четвертая моя задача в жанре билингвы, то есть когда даны фразы на языке задачи и на родном, и надо разобраться в ряде правил и перевести контрольные фразы в обе стороны.
Честно говоря, не люблю ни решать, ни сочинять, ни проверять задачи этого типа, ибо сложно. Допустим, хочешь ты сочинить задачу на образование времени глагола и на притяжательные конструкции. Читаешь в грамматике соответствующие разделы. Но чтобы построить грамотные фразы на неизвестном языке, недостаточно знать только те явления, на которые ты задумал задачу, вот в чем трудность! Во фразах волей-неволей будет какой-то порядок слов, будут какие-то существительные или местоимения и т.д. И получается, что ты должен уже и раздел про синтаксис прочесть, и про образование множественного числа существительных, и фонетику тоже обязательно, потому что при построении грамматических форм часто бывают какие-либо чередования. И так до бесконечности, надо прочесть всю грамматику и возвращаться к разным ее разделам не по одному разу. А лучше, если нет под рукой информанта, брать готовые примеры из грамматики, потому что строить примеры самому опасно: вдруг именно этот глагол не образует прошедшее время по правилам и относится к исключениям? Вдруг для женского рода форма совсем другая? Или, допустим, есть у тебя показатель -ja, и ты радостно цепляешь его ко всем существительным, а потом оказывается, что -j- после ряда согласных превращается в -g- по фонетическим правилам. Ну и так далее. Приходится все время балансировать между тем, что ты хочешь, и что можно. Плюс уместить все явления в ограниченное количество фраз, то есть каждая фраза должна быть «напичкана» грамматикой и словарем. То же верно и про контрольные фразы, они должны быть такие, чтобы их нельзя было сделать по аналогии, списать с условия, по ним должно быть ясно, понял ли решатель суть, решена ли задача.
И вот ты возводишь это хрупкое сооружение, а члены комиссии решают задачу и находят в ней изъяны, и надо делать следующую версию. При этом с заменой одного примера может «слететь» слишком многое, так что надо действовать очень аккуратно, перепроверять, перерешивать. И вот уже четвертая версия, и вроде бы все ОК, но смотреть ее некому, потому что все уже видели предыдущие варианты, взгляд «замылен» (а у автора задачи и подавно). Нервно.
Два года назад в Манчестере была моя билингва на язык муна, и там одно явление в результате последних правок повисло на одном примере, что выяснилось уже в процессе проверки. Возможно, никто особо не заметил, но я ясно видела, что это минус задачи, слабое место, а она уже была задана, выложена на сайт и будет служить для тренировки следующим поколениям... Неприятно. Поэтому на этот раз я проверяла все параноидально, в том числе на разных языках, нашла бета-тестеров, но все равно не успокоилась, пока не увидела решений.
Бинго! 161 решение, и задача сработала! Все неправильные решения я в процессе проверки проверяла на побочность, и паразитов не нашлось. И контрольные фразы оказались удачными: хорошо дифференцировали решателей и помогали понять, содержится ли верное зерно в объяснениях. По среднему баллу (10,4 из 20) задача вышла самой легкой в варианте, хоть сама по себе непроста и трудоемка. Нулей почти не было, но и 20 только одна, а от 1 до 19 баллов распределение почти ровное. В задаче было много явлений, и каждый решатель что-то нашел. Кто-то нашел больше, кто-то меньше, но задача оказалась универсальной, для всех, каждый смог как-то себя в ней проявить. Поэтому у меня было правильное ощущение, что она не зря, что она нашла себя.
Обратная сторона - проверка для меня была самой трудоемкой за все десять МОЛ, на которых я работала. 161 работа без нулей на 17 языках, решения занимали от одной до восьми страниц. Мы сели втроем сразу после конца тура (примерно в 5 часов вечера, до того разбирали работы по языкам и задачам), проверяли до 2 часов ночи, утром пришли в 9 и закончили в полночь... проверку, но еще без обсуждения. Обсуждали же до половины пятого утра. При этом каждая работа была проверена двумя людьми из трех, а не всеми тремя, и это не идеально, потому что один из нас был более строг, а двое других мягче, следовательно, те работы, которые проверяли двое более мягких членов жюри, были оценены повыше. Мы конечно унифицировали наши параметры проверки, как могли, но в идеале надо было бы каждую работу просмотреть втроем.
И боюсь, это проблема не конкретной задачи, а увеличения количества участников олимпиады, и она должна быть решена универсально.
На командном туре была задача Бори Иомдина про лингвиста, который стал заселяться в гостиницу в Африке и имеет дело с текстом на языке северный сото. На мой вкус, слишком много в ней оказалось не разгаданным никем, бывали у Бори задачи и больше "в яблочко". Хотя он все равно главный спец по командному туру в нашей комиссии.
В материале на сайте lingling.ru сказано, что задачи этого года были самыми сложными в истории олимпиады. Это, конечно, преувеличение. Но они были сложнее, чем в прошлом году, а главное, были в целом менее «лингвистическими», так что для лингвистов-лингвистов год оказался трудным, удача больше улыбалась лингвистам-математикам и лингвистам-программистам.
Первая задача сразу на две системы счисления с разным базисом (языки араммба и науатль). Задача интересная, так как перевода не дано вообще, ни единой цифры, даны только равенства, всё надо почерпнуть из вычислений. Но по трудоемкости задача вышла фактически как две, ибо надо разгадать две системы, поэтому решили ее совсем немногие. Так что мне кажется, что вставлять ее в сложный вариант значило во многом ее убить. Кроме того, возникают сомнения, правомерно ли использовать равенства, где правая половина записана на науатле, а левая - на араммбе? Ведь это искусственно созданная ситуация, в жизни эти языки встретиться не имеют шансов. На этот счет в задачной комиссии были разные мнения. Так или иначе, задача сильная, и мой респект ее автору, молодому болгарскому математику Милене. Милена два года с нами в комиссии, и это ее первая задача на МОЛ.
Третьей в наборе шла задача авторства menelik3 на систему кодирования звучания имен Soundex. Эта задача казалась мне a priori самой легкой в варианте, но я ошиблась. Очевидно, она была легка, только если преодолеть некоторый ступор от ее необычности. Против этой задачи в комиссии были самые большие возражения, ибо она не на естественный язык. Но почему бы задаче по компьютерной лингвистике не быть на международной олимпиаде по лингвистике? Лично для меня Сашина задача стала фаворитом этого года. И для школьников тоже! 56 из 166 участников назвали эту задачу любимой, и Саша получил приз решательских симпатий (который ему забыли вовремя дать, к моему большому возмущению).
Саундекс представляет имя как код из одной буквы и трех цифр. Чего только ни писали участники! Например, что цифры кодируют возраст (да-да, трехзначные, в частности, первым в задаче был дан код для фамилии Wilson - W465 :)), а также уровень достатка и даже степень привлекательности! Но на самом деле цифры кодируют буквы имени, а по какому принципу, надо догадаться. На разборе Саша привел любопытную статистику (посчитанную iad’ом), в которой на саундексе были записаны имена всех участников олимпиады. Средний балл по этой задаче оказался в районе 3 баллов из 20, но отдельные школьники справились с ней очень хорошо. Особенно удачно решили ее американцы, что неудивительно: их национальная олимпиада NACLO как раз в основном по компьютерной лингвистике, так что они привыкли к этому типу задач.
Пятая задача тоже была не совсем стандартной: в ней надо было определить принципы стихосложения на сомали. Автор - снова героический menelik3 - две задачи в варианте одного года! Для меня основная сложность сомалийской задачи - понять, что именно нужно делать, что спрашивается, в чем соль. Когда это понял, решить уже не так сложно. Но нестандартность задачи явилась преградой для многих, плюс она была последней, многие просто не успели до нее дойти. Между тем, задание звучало примерно так: «Даны еще строки, определите, какие из них написаны по правилам, а какие - нет». Конечно, оценивалось не только выполнение задания, но и объяснение, однако можно было набрать от 0 до 8 баллов из 20 только отметив правильно сколько-то строк, и некоторые дерзнули сделать это наугад и получили какие-то небольшие очки, а в районе бронзы и похвальных отзывов уже каждый балл не счету. В общем, для меня эта задача про то, что надо быть смелым, open-minded и немного как та лягушка в кадке со сметаной.
Две оставшиеся задачи (№2 и №4) были традиционными, так что их сдали почти все участники. Задачу №2, на кабардинский язык, сочинил petrark. В ней морфология (несложная), фонетика и ударение (сложные). Сдало больше 160 человек, а высший балл (20) получил всего один участник. Но промежуточных решений было много. Что мне полюбилось в этой задаче, так это живость материала, который Петя сам собирал в экспедиции. Петя - человек (и ученый) на редкость добросовестный и честный, поэтому как только у него возникли сомнения насчет данных, он тут же написал нам, и задача не пошла в прошлом году. За год Петя дособрал материал, уточнил и проверил у информантов, можно ли сказать так и эдак, и довел задачу до конца. Участникам она понравилась, и ее даже, кажется, большинство сочли самой легкой (но по факту она была на втором месте по легкости).
И наконец, моя задача № 4 на австралийский язык вампая. В целом я довольна. Это четвертая моя задача в жанре билингвы, то есть когда даны фразы на языке задачи и на родном, и надо разобраться в ряде правил и перевести контрольные фразы в обе стороны.
Честно говоря, не люблю ни решать, ни сочинять, ни проверять задачи этого типа, ибо сложно. Допустим, хочешь ты сочинить задачу на образование времени глагола и на притяжательные конструкции. Читаешь в грамматике соответствующие разделы. Но чтобы построить грамотные фразы на неизвестном языке, недостаточно знать только те явления, на которые ты задумал задачу, вот в чем трудность! Во фразах волей-неволей будет какой-то порядок слов, будут какие-то существительные или местоимения и т.д. И получается, что ты должен уже и раздел про синтаксис прочесть, и про образование множественного числа существительных, и фонетику тоже обязательно, потому что при построении грамматических форм часто бывают какие-либо чередования. И так до бесконечности, надо прочесть всю грамматику и возвращаться к разным ее разделам не по одному разу. А лучше, если нет под рукой информанта, брать готовые примеры из грамматики, потому что строить примеры самому опасно: вдруг именно этот глагол не образует прошедшее время по правилам и относится к исключениям? Вдруг для женского рода форма совсем другая? Или, допустим, есть у тебя показатель -ja, и ты радостно цепляешь его ко всем существительным, а потом оказывается, что -j- после ряда согласных превращается в -g- по фонетическим правилам. Ну и так далее. Приходится все время балансировать между тем, что ты хочешь, и что можно. Плюс уместить все явления в ограниченное количество фраз, то есть каждая фраза должна быть «напичкана» грамматикой и словарем. То же верно и про контрольные фразы, они должны быть такие, чтобы их нельзя было сделать по аналогии, списать с условия, по ним должно быть ясно, понял ли решатель суть, решена ли задача.
И вот ты возводишь это хрупкое сооружение, а члены комиссии решают задачу и находят в ней изъяны, и надо делать следующую версию. При этом с заменой одного примера может «слететь» слишком многое, так что надо действовать очень аккуратно, перепроверять, перерешивать. И вот уже четвертая версия, и вроде бы все ОК, но смотреть ее некому, потому что все уже видели предыдущие варианты, взгляд «замылен» (а у автора задачи и подавно). Нервно.
Два года назад в Манчестере была моя билингва на язык муна, и там одно явление в результате последних правок повисло на одном примере, что выяснилось уже в процессе проверки. Возможно, никто особо не заметил, но я ясно видела, что это минус задачи, слабое место, а она уже была задана, выложена на сайт и будет служить для тренировки следующим поколениям... Неприятно. Поэтому на этот раз я проверяла все параноидально, в том числе на разных языках, нашла бета-тестеров, но все равно не успокоилась, пока не увидела решений.
Бинго! 161 решение, и задача сработала! Все неправильные решения я в процессе проверки проверяла на побочность, и паразитов не нашлось. И контрольные фразы оказались удачными: хорошо дифференцировали решателей и помогали понять, содержится ли верное зерно в объяснениях. По среднему баллу (10,4 из 20) задача вышла самой легкой в варианте, хоть сама по себе непроста и трудоемка. Нулей почти не было, но и 20 только одна, а от 1 до 19 баллов распределение почти ровное. В задаче было много явлений, и каждый решатель что-то нашел. Кто-то нашел больше, кто-то меньше, но задача оказалась универсальной, для всех, каждый смог как-то себя в ней проявить. Поэтому у меня было правильное ощущение, что она не зря, что она нашла себя.
Обратная сторона - проверка для меня была самой трудоемкой за все десять МОЛ, на которых я работала. 161 работа без нулей на 17 языках, решения занимали от одной до восьми страниц. Мы сели втроем сразу после конца тура (примерно в 5 часов вечера, до того разбирали работы по языкам и задачам), проверяли до 2 часов ночи, утром пришли в 9 и закончили в полночь... проверку, но еще без обсуждения. Обсуждали же до половины пятого утра. При этом каждая работа была проверена двумя людьми из трех, а не всеми тремя, и это не идеально, потому что один из нас был более строг, а двое других мягче, следовательно, те работы, которые проверяли двое более мягких членов жюри, были оценены повыше. Мы конечно унифицировали наши параметры проверки, как могли, но в идеале надо было бы каждую работу просмотреть втроем.
И боюсь, это проблема не конкретной задачи, а увеличения количества участников олимпиады, и она должна быть решена универсально.
На командном туре была задача Бори Иомдина про лингвиста, который стал заселяться в гостиницу в Африке и имеет дело с текстом на языке северный сото. На мой вкус, слишком много в ней оказалось не разгаданным никем, бывали у Бори задачи и больше "в яблочко". Хотя он все равно главный спец по командному туру в нашей комиссии.