Организация работы воркеров через распределённую файловую систему
Мне нужно выкачивать и обрабатывать кучу разных файлов. Множество разных воркеров.
Кажется будет гораздо удобнее хранить все файлы в едином дереве (вроде файловой системы). Отдельные воркеры будут выцеплять из дерева файлы соответствующие определённому паттерну, обрабатывать, создавать новые файлы и добавлять их в дерево.
Это кажется более наглядным и удобным для дебага, чем миллион разных очередей и файловое хранилище в облаке.
Чтобы всё корректно работало, чтение/запись в дерево должны выполняться через транзакции.
Что-то подобное уже существует?
concurrency, distributed, jobs, transactions, файловая система
https://www.linux.org.ru/forum/development/17799647