Вот уже полтора года я ковыряюсь в своей конторе с интересным проектом.
Особо про него рассказывать не могу, но задачи примерно следующие:
1. Рассегментировать клиентов по особенностям поведения и интересам
2. Собрать материалы, ежедневно выпускаемые подразделением в базу знаний. Естественно, автоматически определить, о чем материал и разложить по полочкам - снабдить тегами, цифры сложить отдельно, общие слова отдельно, определить коннотацию и т и тп.
3. Красиво оформить материалы из базы знаний на внутреннем сайте.
4. Еженедельно анализировать действия клиентов и предлагать ему/его менеджеру произвести то или иное действие, которое:
а. должно сделать ему хорошо
б. должно иметь внятное, логичное, человекочитаемое обоснование, почему нужно сделать именно это действие, а не иное.
Все вышеописанное должно делаться строго автоматически и на высоком уровне (компания - топ в своей сфере)
Имеющиеся тернии:
1. Грязные входные данные. Пропущенные записи, неточные справочники, задвоенные ключи и вот это вот все
2. Зоопарк форматов, в которых выпускаются знания, а также нежелание производителей знаний придерживаться шаблонов.
3. Зоопарк используемых БД в качестве источников данных: Оракл, САС, MS SQL
Используемые технологии:
1. Разные диалекты SQL в зависимости от того, из какой БД тянутся данные
2. Python (pandas, scikit-learn и множество других библиотек) - сегментация клиентов, парсинг материалов, парсинг внешних источников, определение смысловой нагрузки и т.д.
3. HTML - формирование материалов на сайте и собственно рекомендаций, которые читают клиенты/менеджеры
4. Всякая разная околовысшая математика (для определения оптимального выбора используются теория вероятностей, немного графов, матрицы там всякие и все такое)
В итоге этот звездолет кое-как взлетел и работает, но требует адского времени на поддержку/сопровождение, с коими я уже в одно лицо не справляюсь. А дополнительного человека не дают с мотивацией "околоземной орбиты - мало, вот как долетит до Луны - тогда и поговорим).
На развитие проекта на фоне трудозатрат на поддержание сил моих девичьих уже не хватат, в связи с чем, регулярно задаюсь вопросом "тварь я дрожащая..." а по силам ли мне это?
Собсно, и хочу спросить - исходя из вышенаписанного - можно ли сказать, что для одного чеовкеа это перебор. Или перестать ныть и идти работать?
З.ы. Сфера = фондовый рынок, инвестиции