Аналитика "на отвали"
Ходила на очередной интенсив "Школы CDO" послушать про современные информационные системы.
В качестве лекторов были представители двух крупных региональных разработчиков информационных систем и СУБД. Эти разработчики создали вполне хорошие информационные системы, позволяющие собирать первичные данные с контрагентов, сортировать их, визуализировать и составлять комплексы визуализаций в виде диаграмм, графиков и раскрашенных карт (дашборды). А также составлять автоматизированные отчёты.
Это всё, конечно, прекрасно: парой кликов создать отчёт по нужной форме. Но
анализ этих ИС показывает, что "какая-то в державе датской гниль" ((С) Шекспир).
Во-первых. Спрос рождает предложение.
Задали разработчикам вопрос: можно ли, используя средства этих ИС, сделать прогноз какого-то процесса. Оба разработчика ответили: "Нет, таких функций нет". Заказчиками разработки ИС являются министерства. Это значит, что от министерств поступили заказы на такие ИС, в которых легко создавать разные формы отчётов, модифицировать их под текущую конъюнктуру и рисовать дашборды. Всё. И это все они (и разработчики, и заказчики) называют аналитикой. Ни прогнозирования, ни кластеризации, ни выявления взаимосвязей... Кроме красивых табличек и графиков руководству ничего не нужно. Мы отчёт составили, и отвалите от нас.
Во-вторых. Отсутствие целей.
Нас, математиков, пригласили вести разработать обучающие кейсы по анализу данных. В нашем представлении анализ данных - это построение моделей. Для моделей нужна цель и описание процесса в предметной области.
Например, руководство очень обеспокоено двумя проблемами:
а) демографией,
б) оттоком экономически активного населения из региона.
По демографии у меня давно никто дипломы не писал, но как-то было, и дипломница считала темп роста населения по Ферхюльсту. Получился темп -0,0068 (по временному ряду с 2000 по 2014 год). Население в регионе убывает. А вот по рынку труда сейчас есть диплом. Недавно дипломница делала панельный анализ факторов, влияющих на плотность рабочей силы в регионе по выборке с 2006 по 2016 год. Заодно нарисовали графики для оценки динамики плотности рабочей силы для областей ЦФО.
Плотность рабочей силы - это отношение численности экономически активного населения к общей численности населения в регионе.
Зелёный толстый - это Москва, Чёрный толстый - наша область. Тёмно-красные пунктирные линии разных типов - это те наши соседи, которые руководство области использует для сравнения. Голубой толстый - Калужская область (в чём-то эталон). Картинка говорит сама за себя. У нас явный отток рабочей силы в соседние регионы (Москву, в частности).
На этапе "вхождения в министерства" общалась с замминистра минтруда. Он этот отток видит, а причин не понимает. Навскидку называю факторы, включая те, которые мы с дипломницей проанализировали. Мои доводы не слышит и спрашивает: "Но почему в Калуге и Владимире не так?" Мои доводы снова не слышит.
Но это так, лирическое отступление.
Я вообще говоря, не экономист, не сотрудник министерства, не управленец. Мои представления о предметной области, целях и факторах основаны на здравом смысле и чтении специальной литературы под конкретную тему диплома. И хорошо бы, чтобы процесс в предметной области мне описал специалист в этой области. И глобально цель поставил. А факторы и формализацию процесса применительно к заданной цели я подберу.
Пять министерств мы обошли. Ни в одном из них цель сформулировать не смогли. В двух обрисовали проблемы (демография и отток рабочей силы). Описать процессы? Не, не слышали.
В-третьих. Конфликт интересов.
Ну, ладно. Математику подвластно разобраться в любом процессе на основании логики и здравого смысла. Большинство целей мне ясно. Начать надо с констатирующих моделей - установить взаимосвязи между числовыми показателями (они напрашиваются), или с прогнозирующих моделей. Для этого нужны выборки самих показателей. Чем больше показателей, тем лучше. Чем длиннее выборки, тем лучше. Выборки показателей нам дать не могут. У них секретность.
И заткните себе свои кейсы сами знаете, куда.
Я понимаю, что мы находимся в самом низу пирамиды Маслоу, а они - наверху. Им не нужно ничего менять. Но тогда на фига они организовали эту школу?
Всё. Высказалась. Пойду статью по дифурам писать.
В качестве лекторов были представители двух крупных региональных разработчиков информационных систем и СУБД. Эти разработчики создали вполне хорошие информационные системы, позволяющие собирать первичные данные с контрагентов, сортировать их, визуализировать и составлять комплексы визуализаций в виде диаграмм, графиков и раскрашенных карт (дашборды). А также составлять автоматизированные отчёты.
Это всё, конечно, прекрасно: парой кликов создать отчёт по нужной форме. Но
анализ этих ИС показывает, что "какая-то в державе датской гниль" ((С) Шекспир).
Во-первых. Спрос рождает предложение.
Задали разработчикам вопрос: можно ли, используя средства этих ИС, сделать прогноз какого-то процесса. Оба разработчика ответили: "Нет, таких функций нет". Заказчиками разработки ИС являются министерства. Это значит, что от министерств поступили заказы на такие ИС, в которых легко создавать разные формы отчётов, модифицировать их под текущую конъюнктуру и рисовать дашборды. Всё. И это все они (и разработчики, и заказчики) называют аналитикой. Ни прогнозирования, ни кластеризации, ни выявления взаимосвязей... Кроме красивых табличек и графиков руководству ничего не нужно. Мы отчёт составили, и отвалите от нас.
Во-вторых. Отсутствие целей.
Нас, математиков, пригласили вести разработать обучающие кейсы по анализу данных. В нашем представлении анализ данных - это построение моделей. Для моделей нужна цель и описание процесса в предметной области.
Например, руководство очень обеспокоено двумя проблемами:
а) демографией,
б) оттоком экономически активного населения из региона.
По демографии у меня давно никто дипломы не писал, но как-то было, и дипломница считала темп роста населения по Ферхюльсту. Получился темп -0,0068 (по временному ряду с 2000 по 2014 год). Население в регионе убывает. А вот по рынку труда сейчас есть диплом. Недавно дипломница делала панельный анализ факторов, влияющих на плотность рабочей силы в регионе по выборке с 2006 по 2016 год. Заодно нарисовали графики для оценки динамики плотности рабочей силы для областей ЦФО.
Плотность рабочей силы - это отношение численности экономически активного населения к общей численности населения в регионе.
Зелёный толстый - это Москва, Чёрный толстый - наша область. Тёмно-красные пунктирные линии разных типов - это те наши соседи, которые руководство области использует для сравнения. Голубой толстый - Калужская область (в чём-то эталон). Картинка говорит сама за себя. У нас явный отток рабочей силы в соседние регионы (Москву, в частности).
На этапе "вхождения в министерства" общалась с замминистра минтруда. Он этот отток видит, а причин не понимает. Навскидку называю факторы, включая те, которые мы с дипломницей проанализировали. Мои доводы не слышит и спрашивает: "Но почему в Калуге и Владимире не так?" Мои доводы снова не слышит.
Но это так, лирическое отступление.
Я вообще говоря, не экономист, не сотрудник министерства, не управленец. Мои представления о предметной области, целях и факторах основаны на здравом смысле и чтении специальной литературы под конкретную тему диплома. И хорошо бы, чтобы процесс в предметной области мне описал специалист в этой области. И глобально цель поставил. А факторы и формализацию процесса применительно к заданной цели я подберу.
Пять министерств мы обошли. Ни в одном из них цель сформулировать не смогли. В двух обрисовали проблемы (демография и отток рабочей силы). Описать процессы? Не, не слышали.
В-третьих. Конфликт интересов.
Ну, ладно. Математику подвластно разобраться в любом процессе на основании логики и здравого смысла. Большинство целей мне ясно. Начать надо с констатирующих моделей - установить взаимосвязи между числовыми показателями (они напрашиваются), или с прогнозирующих моделей. Для этого нужны выборки самих показателей. Чем больше показателей, тем лучше. Чем длиннее выборки, тем лучше. Выборки показателей нам дать не могут. У них секретность.
И заткните себе свои кейсы сами знаете, куда.
Я понимаю, что мы находимся в самом низу пирамиды Маслоу, а они - наверху. Им не нужно ничего менять. Но тогда на фига они организовали эту школу?
Всё. Высказалась. Пойду статью по дифурам писать.