Несколько слов о персональной ответственности в науке
Во всём цивилизованном и не очень мире кипят страсти по вопросу "как нам устроить науку". И так деньги раздают и эдак, а толку всё меньше и меньше. В принципе для любого не ангажированного человека понятно что и как надо сделать. Так, например, уважаемый vteninn уже довольно давно продвигает идею создания некоего электронного форума - архива, по типу
( Read more... )
Как может быть построена вся система?
Для начала укажу, что на данный момент система как таковая отсутствует. Имеем "кашу", "мутную воду" в которой "ловят рыбку" все кому ни лень. Не могу сейчас (всилу отсутсвия времени) описывать нынешнее состояние дел. Кто в теме, те знают. Укажу в кратцелишь возможный путь.
Есть такая система ResearchGate . Она на самом деле содержит многие необходимые элементы того, что нам надо. В частности там есть встроенная система рейтинга каждого учёного на основе его публикаций + участие в обсуждении чужих результатов. Как выглядит функция оценки - пока оставим за рамками рассмотрения. Если бы чиновники хотели бы беспристрастной оценки научной деятельности участников процесса, они бы брали нечто подобное, унифицированное для всех, а не изобретали бы велосипед с квадратными колёсами.
Проблема (как Вы точно указали) в оплате. По определению каждое правильное движение участника должно быть вознаграждено. Это элементарный закон управления. Поэтому новая система должна быть выстроена так, чтобы комментирование-рецензирование (публичное, открытое) было бы приравнено к самой работе по написанию статей. И ничего личного, никаких обид. Система так должна быть устроена, что бы "лапша" вычищалась бы участниками сразу и не тратились бы бюджетные деньги десятилетиями на очевидные глупости. Мы все живем на одной планете, сидим в одной подводной лодке. Если не возьмёмся за ум - крышка всем.
Reply
Особенно весело то, что об этом рассуждают россияйские ученые. Рунка занятости для ученых нет. Нормальной научной и научно популярной литературы нет. Конкуренции нет. Экспертного сообщества нет. Нормального финансирования универов в последние 20 лет - нет.
Ок, рейтинг. Замечательно. Допустим ученые начали свой путь после диплома. Им 27 лет. Один путь это математическое моделирование плазменных процессов, второй это создание этих процессов и натуральные измерения.
Первый сделает диссер за 3 года. Нужен компьютер.
Второй за 6. Может быть. Нужна лаборатьрия, газы, прочая техника. Он будет делать первые 2 года установку. Никаких публикаций. Данных нет. Следующие 2 года - получает данные. Они никого не интересуют. Но без них не сделать диссера.
В конце у обоих одинаковая степень. Рейтин " моделиста" выше: сделал новую модельку за день - опубликовал. Картинки красивые. Ручки чистые. "технарей" , прикладников он презирает. Как програмер он может запросто делать 100к в год.
Такая, справедливая система.
Reply
В идеале вознаграждение должно выплачиваться не за количество бессмысленных публикаций в высокорейтинговых журналах, а за конечный продукт. Уверяю Вас, в теор.физике получить Результат гораздо сложнее и затратнее чем в экспериментальной физике.
Вот как рейтинги строить - это да, вопрос. Повторюсь ещё раз - учитывать надо конечный продукт.
Мне в прошлом году на рецензию проект прислали. Группа из 5 человек просила на три года денюжек (если в рубли перевести) примерно 12 миллионов. Стал я читать - вижу совсем не понимают о чем пишут (они ввязались в космологию, потому что модно, но опыта нет).
Смотрю раздел "ожидаемые результаты". Читаю : "планируется опубликовать 3 статьи в международных журналах."
Угу, по 4 миллиона за статью. А _научный_ результат где? Его просто в проекте нет. Так и работаем...
Reply
Ок. Результат. Какой результат был у Перельмана до его публикации в три страницы? Какой результат у прикладника на установке которого два института делают данные?
Результат это цель проекта, работы множества людей. Его предугадать в науке намного сложнее бизнеса. И даже когда он достигнут почему рейтинг аспиранта должен быть важен, а не лабы??
Других людей, у которых нет времени на глупую писанину с журналами?
Затратная и сложная структура будет более эффективна чем простая ориентация на рейтинг. Даже мафия (что обычно и есть) где все друг друга знают работает лучше - "босс" держит кафедру или институт и он делит бабло.
Reply
________________
Как раз с математиками такой проблемы не возникает, поскольку в математике садятся три джентльмена за стол и всё быстренько проверяют. У условного "Перельмана" до триумфа был ряд очень интересных, хорошо сделанных работ.
"Результат это цель проекта, работы множества людей. Его предугадать в науке намного сложнее бизнеса."
_______________________
Да, согласен. Но мы живём в реальном мире, где все хотят кушать каждый день, поэтому, к сожалению, невозможно ждать нескоько лет, чтобы понять получился результат или нет.
С одной стороны можно платить как бы авансом, ожидая какой-то срок (как в аспирантуре платят авансом 3 - 4 года в ожидании результата).
С другой стороны конечный результат можно пытаться разбивать на локальные задачи, чтобы оценивать вклад участников.
Да, понимаю, геморрой. Да, согласен, коррупция. Но проблему решать как-то надо.
"Затратная и сложная структура будет более эффективна чем"
______________________
Мафия, "босс" - это всё реальности характерные для организации малых групп. Это стихийная самоорганизация любого большого сообщества в условиях вакуума власти (адекватного управления).
Это-то как раз и интересно - как организовать _большую_систему, в которой сотни тысяч участников, таким образом, чтобы этой системой можно было бы управлять, чтобы система выдавала продукт и работала в оптимальном режиме?
То, что происходит сейчас с образованием и наукой - иначе как агония не назовёшь.
Reply
"до триумфа был ряд очень интересных, хорошо сделанных работ."
Да. Но это не важно. Он был задвинут, унижен, асоциален. Хлеб он покупал на мамину пенсию. Несмотря на "интересные работы". Т.е. рейтинг не монетизируется нормальным ученым или фриком. Или монетизируется но обычно настолько нелепыми обхемами, что ему просто стыдно.
"про мафию".
Малые группы. Именно такие, малые группы и являются ученые сообщества. И вот, когда они растут часть "мафиози" перебегает на сторону государства. И помогает ему контролировать мафию.
Как Вы написали в России - агония. Почему? - из-за многолетней неустроенности не финансирования науки. Верно? Следовательно группа еще меньше чем в СССР или за рубежом. Поэтому я и предлагаю сначала позволить сформироваться мафии которую государство будет "доить" не обладая "перебезчиками". А когда группа вырастет "перельманы" "обиженные" сами прибегут к государству.
Возьмем меня. Я научный наемник: платят - работаю. Нет работы - ищу. Мне без разницы где 0 если холодно должно быть скомпенсировано. Я не против работать в России. Но я даже предложений по работе не вижу. Такое впечатление что ученые не нужны. Да, что ученые, я иду на любой сайт поиска работы и сколько там хэдхантеров в области вакуума, распыления, микроэлектроники и тонких пленок?? К примеру, сейчас я живу и работаю под франкуфуртом здесь около десятка только мне известных фирм в этой области. Хэдхантеров несколько. Это страна на 80 млн. И наука не идеально здесь работает, но никого не колышет эта проблема с рейтингами научными. Я думаю, что большинство о них и не слышали из ученых немецких. Может откроют когда этот сайт и ржут - смотри твой рейтинг выше моего...
Reply
Вот, кстати, тут же (вспоминаем "битиё определяет сознание") я сообразил, что странно выглядит мир - продукт==деньги производит учёный, а платить или не платить учёному и если да, то сколько - решает чиновник на основе каких-то своих идиотских сображений. На мой взгляд такая система не просто не равновесна - она катастрофична по последствиям для всего общества.
"Да. Но это не важно. Он был задвинут, унижен, асоциален. Хлеб..."
_____________
Вот именно поэтому и надо думать как сделать _Систему_. Чтобы такого безобраззия не было больше.
"Поэтому я и предлагаю сначала позволить сформироваться мафии которую государство будет "доить" не обладая "перебезчиками". А когда группа вырастет "перельманы" "обиженные" сами прибегут к государству."
_____________
И мы плавно возвращаемся к первому пункту - нет _Системы_, надо её всё равно строить. Т.е. надо выработать понятные алгоритмы справедливого вознаграждения за труд. (и не только в науке, кстати). Вынужден констатировать как факт - тут человечеству никуда не деться. Всё равно придется. Вопрос только - делать это превентивно, добровольно и относительно безболезненно или опоздав и с большой кровью.
"И наука не идеально здесь работает, но никого не колышет эта проблема с рейтингами научными."
________________
Это, кстати, неплохой вариант. Это означает что оплата труда происходит по каким-то совсем другим соображениям. Т.е. немецкие коллеги значительно свободнее и не так задавлены чиновным аппаратом.
В России и в Мексике оплата зависит от рейтинга. Правда эти кривые рейтинги выстраивают воспалённые умы чиновников и выглядят они довольно бредово, но наука здесь так устроена, что в зависимости от этого самого рейтинга зарплата может удвоиться - утроиться, а может опуститься до уровня пособия по выживанию.
Что касается Вашего случая, то, как я понял, Вы занимаетесь прикладухой. Там в самом деле можно прмерно оценить фронт работ и конечный результат, а потому возможен вариант поведения по типу найма рабочих для сдельной работы. Мне не хочется сейчас рассуждать плохо это или хорошо и почему. Замечу только, что в фундаментальной науке такое не проходит, поскольку результат заранее не предсказуем. Т.е. всё равно придется строить систему, которая бы стимулировала развитие науки и образования.
Reply
Если уж мы говорим о научном "продукте" то давайте на это посмотрим с другой стороны, со стороны чиновника: вот ученый, его накорми, оплати (долго, годами!), а результат где? Где экономический эффект??
Очень хорошо понимаю чиновника, предпринимателя. А "зачем скрипач"? Какой от него толк? Сколько к примеру стоите Вы? Ваши коллеги? Вы об этом думали? Не сколько Вам предлагают в другом месте, а реально - какая отдача интегральная (не когда патент принес эффект), а за годы?
Поэтому, возвращаясь к Вашему "Чтобы такого безобраззия не было больше" - "безобразие" будет. Будет всегда. Потому, что ученый, особенно в русской цивилизации это не интеллигентный рабочий, не бизнесмен. Ученый вообще не в этой системе экономической. Он для нее - "черный ящик".
Ваше: " надо её всё равно строить. Т.е. надо выработать понятные алгоритмы справедливого вознаграждения за труд."
Я в этом и вижу проблему! Нет " справедливого вознаграждения за труд". Забудьте об этом. Вы не экономист. Тот такой ерунды как "справедливого вознаграждения за труд" никогда не напишет.
Я не спорю, что система нужна. Без нее России - кирдык. Но почему-то все хотят существующую систему добить и непременно подправить. Тогда как я (человек очень маленький, дулекий и глупый) вижу только одну бьющую в глаза русскую проблему: мало людей.
пускай фриков, дураков, маргиналов, зануд, но их очень мало! С советских времен они все растворились в рынках, бомжатнях, банках и т.д. Они больше не читают "квант, "новый мир" и не ходят в свои фиилиалы университетов, не поют под гитару. А главное: они больше ничего не читают, не критикуют и не пишут научного. Поэтому огромное количество просто убогого материала "под науку" выдается сегодня за русскую научную литературу. Который не воспитывает новых ученых. Посмотрите средний возраст российских академиков сегодня.
Чтобы механизм ожил нужно масло (бабки). Его льют. Может не там, мало и не то. Но что-то система очень плохо оживает. Хотя...я давно не был в России и по опыту знаю, что институт сильно отличается от института.
Короче, Вам виднее. Но обдумывать "СИСТЕМУ" в жж нахожу очень странным.
Reply
___________
Строгости ради здесь следует написать, что экономический эффект от чиновника _всегда_ (просто по определению) меньше либо равен нулю. Если чиновник идеален, то КПД передачи от него 100% и эффект от него нулевой. Если чиновник не идеален, то начинают генерироваться потери из-за неграмотного управления.
А теперь последний шаг: с чъей стороны правильнее рассматривать систему - со стороны генерирующего элемента, или со стороны тратящего?
"Сколько к примеру стоите Вы? Ваши коллеги? Вы об этом думали? "
____________
Разумеется думал. Начать надо с того, что каждый человек, даже самый никчёмный в данный момент времени - бесценен. Оценить индивида (его роль в историческом процессе) не представляется возможным. Однако можно попробовать сделать какие-то оценки не с глобальной точки зрения , а с точки зрения конкретных, локальных задач, стоящих перед обществом. И вот именно здесь и находится та самая "ручка от чемодана" за которую можно ухватиться.
Сколько я стою? Именно столько сколько мне платят. Ни центом больше. А вот как сделать так, чтобы я работал не на 20 процентов моих возможностей, а хотя бы на 90 - вот это вопрос управленческий и заслуживающий рассмотрения. Деньги - это всего лишь мерило свободы. А свобода - это возможность делать что-то, что ты сам полагаешь важным. Не чиновники, а ты сам (это важно).
Можно обходиться и минимальной зарплатой, корячиться на "даче" сажая картоху, но тогда отдача упадёт процентов до 2 - 3 вместо нынешних 20. Как-то так.
"вижу только одну бьющую в глаза русскую проблему: мало людей."
_____________
Это та же самая проблема - некачественного управления наукой. Люди были "выметены" из науки "невидимой рукой рынка"(tm). Я именно про это и рассказываю.
Некачественное управление обществом приводит к деградации.
"Но обдумывать "СИСТЕМУ" в жж нахожу очень странным. "
_______________
В ЖЖ я не обдумываю. Я здесь делюсь интересными фактами, которые не очевидны и которых я не знал. В любом случае это всё надо проговаривать, чтобы это стало общим местом. Молчать - наихудшая стратегия.
Reply
Не могли бы Вы раскрыть это определение?
"в данный момент времени - бесценен".
Я про экономическую модель. Возьмем функционирующую. Представим, что Вы руководитель предприятия выпускающего трансформаторы. Скажем 10 млн евро в год. Штат - 50 человек. Зачем Вам ученый? В коллективе? Размышляющий о "бесценности" и полагающий, что КПД чиновника - 0%.
Очевидно: такой человек не нужен. Даже бесплатно.
Но у Вас есть план по освоению нового, высокочастотного рынка. Инженеры "пялят", но продукт - кривой. Нужны серьезнее специалисты. Можно нанять фирму (моделирование и т.п.) или просто поговорить с профессором в унике.
Результат: ни то, ни другое не сработатет :) Профессора будут толдычить, тоже самое, что можно найти в книжке. Фирма "решит" проблему за счет других свойств (преобразование снизится ниже допустимого).
Есть еще масса вариантов: тихо спереть патент, скопировать у амеров или еще кой какие дела, но всё равно нужны люди разбирающиеся и посвящающие этому рабочий день без гарантий на успех.
Короче бросили это дело. Это реальная история повторяющаяся тысячи раз в Германии. несмотря на фраунхофферы и прочую муть с теоретиками.
Только очень богатые фирмы могут себе позволить полностью содержать "своих" ученых. И, к сожалению, мой опыт показывает, что такие фирмы быстро становятся убыточными.
Вывод: для немецкой системы ученый в большинстве случаев бесполезный элемент. Но их масса позволяет "кристаллизировать" действительно выдающиеся, но еденичные результаты. Которые, к сожалению, моментально (при нынешней глобализации, это плевое дело) кардутся конкурентами. Следовательно стоимость ученого стремиться к нулю для конкретного предприятия Германии, но позволяет поддержать общий уровень технологической культуры который экономика оценить не в состоянии. Но повторю еще раз: еденичный ученый не стоит ничего, муравей. Он никому не нужен.
Как-то так.
п.с. вчера был поражен: в линкедин. Молодой голландский ученый, др., с которым я работал выросший до уровня руководителя подразделения в институте вдруг нашелся в линкед ине.... учителем гимназии в Голландии.
Reply
Не могли бы Вы раскрыть это определение?
_________________________
Извольте.
Чиновник - это в первую очередь управленец, который перераспределяет (не производит) ресурсы. Если он их перераспределяет оптимальным образом - потерь в системе нет. Однако если перераспределение не оптимально, то имеются потери на усушку, утруску, офшоры и просто на глупость.
Проблема в том, что мы часто определяем функциональность локально, не в интересах всего общества, а в интересах группы лиц, или даже одного лица - владельца предприятия. С точки зрения владельца - да - управленез генерирует прибыль, ибо если на складе 100 машинокомплектов и управленец может так выстроить систему, что из них получится ровно 100 автомобилей, то это гуд. Но глядя не изнутри а снаружи системы ситуация выглядит иначе.
Некие рабочие и инженеры произвели 100 машинокомплектов (для них это был конечный продукт). Переслали их смежникам. Там на смежном предприятии есть свои рабочие, которые могут теоретически собрать из них ровно 100 автомобилей, но чиновник-управленец решил что рабочим надо
1) писать отчёты
2) писать планы работ на следующий год
3) вставать на свое рабочее место ровно в 9.00 а прекращать работу ровно в 17.00 - что бы не происходило - хоть камни с неба, хоть брак 100%
4) и много подобных чудес.
В результате 5 машинокомплектов были запороты и отправлены в брак.
Собственник рассматривает это как необходимые потери, а на самом деле это чистые потери на чиновника.
Пример из моей жизни.
В моём универе лет 20 назад
1) урезали курс мат.физики в два раза (было 2 семестра, стало 1)
2) написали содержание курса состоящее из четырёх строк. Вот оно (чтобы почувствовать ауру)
- спец. функции
- линейные пространства
- векторные пространства
- тензорный анализ.
Я не шучу. Это именно так и проходит у чиновников в документах.
Я выработал свой нормальный курс. В один семестр впихнул полтора (два никак - студенты не тянут)
Отправил чиновникам бумаги с просьбой не позориться и поставить в планы наконец нормальное содержание курса. Вот такое:
http://www.lipovka.me/CV/cursos/mat_physics.html
Плюс к этому разработал планы для второго семестра и так же написал им чтобы сделали хотя бы факультативный курс с нужным содержанием.
Ага.
Вчера получил решение. Всё осталось как было раньше.
Т.е. я сидел, работал, сделал продукт и 100% этого продукта было выброшено в корзину. Каков выход от работы чиновника в этом случае? минус бесконечность.
А я ведь этот курс уже 10 лет здесь читаю, масса отзывов, студенты выигрывают всякие конкурсы и олимпиады, награждаются премиями и всё это _вопреки_ чиновникам, которые элементарно не желают выполнять свою работу.
Вот про это я и рассказываю.
"Я про экономическую модель. Возьмем функционирующую. Представим, что Вы руководитель предприятия выпускающего трансформаторы."
_____________
Здесь ошибка (не Ваша а всех уповающих на экономику) в том, что экономики как таковой, как "науки" не существует. Почему? Потому что не существует равновесных изолированных систем.
В рамках предприятия, да, можно говорить о экономике, оптимизациях и т.д., но _ресурсы_планеты_конечны_! На этом на экономике ставится жирный крест.
Так вот, если мы хотим выжить в ближайшие годы, нам надо осознать что дальше так жить нельзя. Получение пибыли любым способом - смертельно для всех нас.
Кстати, чиновники в приведенном мной примере тоже ведь действуют в рамках своей локальной экономической модели - минимизируют свои расходы (времени и сил), но уничтожают общее дело и шансы на выживание у остальных.
"Вывод: для немецкой системы ученый в большинстве случаев бесполезный элемент."
____________
Это было так в рамках устаревшей парадигмы. Сейчас мы на полном ходу влетаем в технологическую сингулярность, когда от открытия до внедрения проходит не сотня и даже не десяток лет, а порой месяцы.
Поэтому пора меняться.
Reply
Т.е. определение Ваше.
Противопоставление функции распределения функции производства - Ваше. С моей точки знрения это процедуры одного, общего цикла. Без них цикла не будет. Поэтому "потери" от чиновника для меня равны "потерям" от ученого. Чиновники не справляются со своими функциями? - может дело не в системе, а в исходных данных: уровень чиновника?
Таким образом я не согласен, что чиновник заведомо, по "определению" кпд снижуающая часть. Чиновник (бывший ученый возможно) решает какой проект получит деньги, какое оборудование купить, где институт построить. Такие "решения" это сбор, анализ информации и принятие решения. Это иногда огромная работа и в соцплане это тоже производство.
"Так вот, если мы хотим выжить в ближайшие годы, нам надо осознать что дальше так жить нельзя. "
И что меня должно в этом убедить? Слова о "новой сингулярности"? Ускорение НТП?
Не убеждает. А может быть Вы человек, который ради "победы" в своем, мелком конфликте с мелким чиновником хотел бы разрушить ВСЮ, РАБОТАЮЩУЮ систему?
Я ничего менять не собираюсь в системе. Собираюсь менять только себя - учиться дальше, чтобы лучше понимать систему и на основе своих знаний и согласовывая это с другими ВОЗМОЖНО и очень АККУРАТНО корректировать ход ее работы.
Reply
"Я ничего менять не собираюсь в системе. ... очень АККУРАТНО корректировать ход ее работы"
______________
Вы уж определитесь будете ли Вы "очень аккуратно корректировать" или же "ничего менять не собираетесь".
Иначе сразу вспоминается армейский анектод про то летают ли крокодилы:
"... А як жеж, летают, тильки низэнько - низэнько".
К тому же Вы напрасно из меня делаете монстра или горьковского буревестника. Я, как мне кажется, где только можно в моем журнале и не очень открытым текстом говорю - я против революций, ибо они разрушают. Я за эволюцию. Если Вы представляете меня на лихом коне с саблей в руках и красной рубахе, то это не я. Мне не кажется, что доведение до коллег и читателей истории с журналом ДАН тянут на лыварюцию. Это скорее обсуждение забытого опыта, дискуссия, как Вы пишете "согласование с другими". Так что Мы с Вами на самом деле не только не антиподы. Напротив мы очень близки по методам.
Теперь к началу.
"Чиновники не справляются со своими функциями? - может дело не в системе, а в исходных данных: уровень чиновника?"
___________
Я Вам на это открытым текстом и намекаю. Однако следует понимать, что _система_ строится теми самыми _чиновниками_ (разумеется совершенно бескорыстно и для блага простых людей), поэтому она тоже не застрахована от того, чтобы быть выстроенной криво.
"решает какой проект получит деньги, какое оборудование купить, где институт построить. Такие "решения" это сбор, анализ информации и принятие решения. "
_________________
Не буду язвить по поводу "такие решения это принятие решения". Произнесу только то слово, которое Вы пытались так неуклюже обойти. Это слово "управление".
Управление не подразумевает производство, поскольку это не рационально - требовать от одного и того же индивида и производить и управлять. В высоко организованном обществе имеется глубокое разделение труда (и это правильно). Один производит, другой командует, третий распределяет, четвертый продает, пятый охраняет, шестой бухгалтерию сводит и т.д. Это _нормально_. Но для того, чтобы поставить диагноз, надо называть вещи своими именами.
Поскольку мы с Вами физики, давайте поговорим об этой можели в терминах физики.
Имеется источник света (продукта). Имеется линза (перераспределение продукта в фокус линзы). Пишем уравнение переноса. В источнике только генерируется свет, в линзе он преломляется и частично затухает.
Дифур модели известен. Решение тоже известно I=интеграл_по_толщине_линзы (I_o * exp(-t) *dx ) где I - есть интенсивность (продукт) на выходе из линзы, I_o - то, что излучил источник (источники) и t- есть оптическая толща.
Так вот, линза, конечно, может обладать нулевой оптической толщиной, но это идеальный случай, не реализуемый на практике. В реальности всегда толща отлична от нуля. В случае минус бесконечности весь поток (продукт) будет поглощён (это как раз мой случай с программой по мат.физике). Ещё раз повторю: производство сосредоточено в одном месте (источник) , управление - перераспределение - в другом (линза). Именно в силу того, что наше общество уже достаточно развито - заставлять чиновников производить продукт, а производящих продукт научных работников - выполнять функции по перераспределению - нецелесообразно и даже вредно, ибо приведет к примитивизации общества.
"Не убеждает. А может быть Вы человек, который ради "победы" в своем, мелком конфликте с мелким чиновником хотел бы разрушить ВСЮ, РАБОТАЮЩУЮ систему? "
_______________
Угу, а ещё я ёжиков ем. Сырыми и неочищенными.
У меня вообще конфликтов нет. Я (как и Вы, кстати) принадлежу к новому поколению, которое в случае прихода к власти уродов в одной стране - разворачивается и переезжает в другую страну, где управленцы адекватные.
Так штааа порты подтяну, да через границу перекинусь есличЁ. :)
Вот чего я пока не могу - так это с Земли удрать. А хотелось бы...
Reply
Главное: на основе знаний. А когда "кухарка может управлять" тогда, да - беда. Что в физике, что в управлении.
Я не физик. Инженер.
Reply
Reply
Reply
Leave a comment