Обезьяна с гранатой
Некий индус, уволившись, или будучи уволенным, из «Гугля», решил замутить стартап. Идея заключалась, как я понял, в публикации объявлений с географической привязкой.
Первоначальные данные решили сгенерировать автоматически, используя рекурсивный скрейпинг веб-страниц, т.е. обрабатывая и страницы по ссылкам с исходной. Что могло пойти не так, кроме возможности быть забаненным на некоторых сайтах? Но они сумели.
Они же стартап, он должен быть хипстерским, модным и молодёжным. Скрейпить решили не на Raspberry Pi, свободном ноутбуке или б/у сервере, а в облаке. Выбрали бесплатный ознакомительный тарифный план. Для каждой страницы автоматически создавали отдельный инстанс, чтобы не столкнуться с ограничением на время существования инстанса, установленным, как я понимаю, в силу бесплатности, а также потому что результат им был зачем-то нужен как можно быстрее.
Тестирования на кошечках не было, ибо Agile, надо выкатывать минимальный работающий пример в продакшен. Процесс запустили и пошли спать.
А теперь самое интересное. Стартаперы не предусмотрели ни встроенного ограничения на число обработанных страниц - ни полного, ни в единицу времени, - ни проверки, не была ли уже страница обработана (типа, функциональная парадигма, без состояния). Тем самым они гарантировали себе бесконечную рекурсию. Любой человек, даже доселе совершенно чуждый информационных технологий, сразу понял бы необходимость ограничить обход интернета и исключить хождение по кругу, и это без всяких облаков. Но эти обезьяны не поняли.
«Гугль» любезно автоматически «улучшил» бесплатную учётную запись до платной, зато сделать биллинг в реальном времени он почему-то не осилил. Всё может, только не это. Счета прибывают и сравниваются с установленным пользователем лимитом долга с задержкой на сутки. Индусы поставили лимит в семь долларов, но к тому времени, когда он был на самом деле проверен, задолженность достигла 72 тысяч.
Вот так сочетание хипстерской культуры разработки, хипстерского легкомыслия, хипстерского же невеликого ума и заботливо поставленной на хипстеров ловушки могло привести хипстерский стартап к финансовой катастрофе. Но не привело. «Гугль» этот долг великодушно простил (русскому, полагаю, пришлось бы продавать квартиру). Вероятно, это было то самое великодушие, которое ранее побудило «Гугль» принять индуса на работу. Русскому надо быть полубогом, чтобы пройти собеседование в ИТ-компанию, но тупой обезьяне были открыты все двери.
UPD: глоссарий, по просьбам трудящихся:рекурсивныйприбегающий к рекурсии - вызову функцией самой себя. Рекурсивная функция, чтобы не попасть в бесконечную рекурсию, должна предусматривать рано или поздно наступающие условия, при которых рекурсии не происходит,скрейпингавтоматический разбор веб-страницы для извлечения полезных данных. Часто практикуется агрегаторами цен; в описываемом случае использовалась для извлечения сведений о событиях с географической привязкой,Raspberry Piнедорогой компактный одноплатный компьютер умеренной вычислительной мощности. Может использоваться как промышленное решение для автоматизации, так и для тестирования тех или иных программных решений,продакшенверсия программного обеспечения, исполняемая конечными пользователями, или распространяемая среди них, в отличие от находящегося в разработке или тестировании,Agileпрактика разработки программного обеспечения, предусматривающая, среди прочего, короткий цикл от постановки задачи до выкатки в продакшен,функциональная парадигма программированияпарадигма программирования, предусматривающая использование только чистых функций, возврат которых зависит исключительно от аргументов, без возможности хранить состояние,облакочужой компьютер (чаще, вычислительный кластер), часть мощности которого можно арендовать, запустив на нём виртуальную машину,инстансвиртуальная машина, запущенная в облаке.
Первоначальные данные решили сгенерировать автоматически, используя рекурсивный скрейпинг веб-страниц, т.е. обрабатывая и страницы по ссылкам с исходной. Что могло пойти не так, кроме возможности быть забаненным на некоторых сайтах? Но они сумели.
Они же стартап, он должен быть хипстерским, модным и молодёжным. Скрейпить решили не на Raspberry Pi, свободном ноутбуке или б/у сервере, а в облаке. Выбрали бесплатный ознакомительный тарифный план. Для каждой страницы автоматически создавали отдельный инстанс, чтобы не столкнуться с ограничением на время существования инстанса, установленным, как я понимаю, в силу бесплатности, а также потому что результат им был зачем-то нужен как можно быстрее.
Тестирования на кошечках не было, ибо Agile, надо выкатывать минимальный работающий пример в продакшен. Процесс запустили и пошли спать.
А теперь самое интересное. Стартаперы не предусмотрели ни встроенного ограничения на число обработанных страниц - ни полного, ни в единицу времени, - ни проверки, не была ли уже страница обработана (типа, функциональная парадигма, без состояния). Тем самым они гарантировали себе бесконечную рекурсию. Любой человек, даже доселе совершенно чуждый информационных технологий, сразу понял бы необходимость ограничить обход интернета и исключить хождение по кругу, и это без всяких облаков. Но эти обезьяны не поняли.
«Гугль» любезно автоматически «улучшил» бесплатную учётную запись до платной, зато сделать биллинг в реальном времени он почему-то не осилил. Всё может, только не это. Счета прибывают и сравниваются с установленным пользователем лимитом долга с задержкой на сутки. Индусы поставили лимит в семь долларов, но к тому времени, когда он был на самом деле проверен, задолженность достигла 72 тысяч.
Вот так сочетание хипстерской культуры разработки, хипстерского легкомыслия, хипстерского же невеликого ума и заботливо поставленной на хипстеров ловушки могло привести хипстерский стартап к финансовой катастрофе. Но не привело. «Гугль» этот долг великодушно простил (русскому, полагаю, пришлось бы продавать квартиру). Вероятно, это было то самое великодушие, которое ранее побудило «Гугль» принять индуса на работу. Русскому надо быть полубогом, чтобы пройти собеседование в ИТ-компанию, но тупой обезьяне были открыты все двери.
UPD: глоссарий, по просьбам трудящихся:рекурсивныйприбегающий к рекурсии - вызову функцией самой себя. Рекурсивная функция, чтобы не попасть в бесконечную рекурсию, должна предусматривать рано или поздно наступающие условия, при которых рекурсии не происходит,скрейпингавтоматический разбор веб-страницы для извлечения полезных данных. Часто практикуется агрегаторами цен; в описываемом случае использовалась для извлечения сведений о событиях с географической привязкой,Raspberry Piнедорогой компактный одноплатный компьютер умеренной вычислительной мощности. Может использоваться как промышленное решение для автоматизации, так и для тестирования тех или иных программных решений,продакшенверсия программного обеспечения, исполняемая конечными пользователями, или распространяемая среди них, в отличие от находящегося в разработке или тестировании,Agileпрактика разработки программного обеспечения, предусматривающая, среди прочего, короткий цикл от постановки задачи до выкатки в продакшен,функциональная парадигма программированияпарадигма программирования, предусматривающая использование только чистых функций, возврат которых зависит исключительно от аргументов, без возможности хранить состояние,облакочужой компьютер (чаще, вычислительный кластер), часть мощности которого можно арендовать, запустив на нём виртуальную машину,инстансвиртуальная машина, запущенная в облаке.