Re: 5 вопросов которые возникли первым деломspb_borodinJune 22 2016, 16:43:54 UTC
1. Да, если более 3х серверов отведено целиком на поиск. И только, если планируемая выгода больше, чем потраченная зп программистами на переделку. Но если все и так хорошо, то не трогайте, до большого рефакторинга
( ... )
Re: 5 вопросов которые возникли первым деломspb_borodinJune 23 2016, 07:36:58 UTC
Обдумал еще раз вопрос. Предположим, нет у нас очередей и нагрузка выполнятся напрямую в пхп или другой язык. От браузера пришло 2 команды, одна за другой, с паузой, например в 3 секунды. Что мешает системе запустить первый поток для обработки и заморозить его на 10 секунд? При недостатке CPU так и происходит с воркерами - они подвисают, ибо тики процессора не резиновые. Так вот, первый поток висит, потом запустился второй и обработал целиком раньше, чем первый. Т.е. проблема не в очередях вовсе, а просто в особенностях многопоточности
( ... )
Много размышлений и текста)
anonymous
June 23 2016, 15:38:16 UTC
Дмитрий здравствуйте. У нас после многих обсуждений получился промежуточный результат и мы бы хотели чтобы вы указали на ошибки и куда двигаться дальше
( ... )
Re: Много размышлений и текста)spb_borodinJune 23 2016, 21:44:10 UTC
по первой части
1. Если ваш юзер - это просто инфо о регистрации, а не жирный юзер, как в соц.сетях, то нормально. Если юзер - это одно объявление, которое действительно небольшое по объему - 10 000 для спота нормально.
2. Да, в базе. А копию ее поместите рядом с пхп. Либо в файлы, которые будете инклюдить, либо в локальный для пхп редис/мемкеш.
4. Одна очередь - один тип запросов/команд/операций. Старайтесь делать как можно больше очередей. Тогда в случае проблем, будет очевидно по длине очередей, где что не так.
6. Возможно, вам следует рассмотреть схему без прослойки, только с авторайзером, т.к. данных не много. И чтобы там хранились только активные в системе юзера. В соц.сети шанс на запрос старого юзера велик. В авито - старая информация со временем уже никогда не запрашивается.
Nikita Andreevichext_3773763August 7 2016, 09:08:32 UTC
1. Я не нашел никаких упоминаний в сети по поводу архитектуры TopFace. Я слышал, что несколько лет назад проходили мероприятия на которых могли ответить на эти вопросы ваши специалисты(кажется это был 2012й). Где сейчас можно найти информацию по этому поводу
( ... )
Re: Nikita Andreevichspb_borodinOctober 2 2016, 20:08:47 UTC
1. Услышать все об архитектуре Топфейса, а так же о многих других проектах, можно на мастер-классе. Проводится каждый день. При необходимости, можно заказать его себе в офис
( ... )
Хранение и отдача большого объема mp3 файловext_3840909October 2 2016, 19:11:41 UTC
Здравствуйте Дмитрий, в продолжении недавнего разговора. Подскажите пожалуйста как организовать хранение и быструю отдачу большого объема файлов, это не обязательно могут быть mp3, это могут быть картинки большого размера и.т.д. Собственно вопросы:
1. Как выглядит сама организация хранения файлов в файловой системе? Т.е как хранить большое количество файлов, нельзя же все в один каталог засунуть? Какое на ваш взгляд оптимальное решение, с точки зрения не только хранения как мертвых файлов, но так же и горячей отдаче, ведь файлы большого размера в бесплатную БД не засунуть?
2. Еще вы говорили про конфиг по которому можно узнать где находится нужный файл, можете освежить в памяти?
1. Я привел ссылку с описанием метода, ключевое слово - O_DIRECT, прямой доступ к диску без файловой системы. 2. Вам этого не надо. Это всего лишь фича. Заниматься нужно архитектурой. Храните файлы на диске как обычно.
Comments 25
Reply
Reply
Reply
Reply
1. Если ваш юзер - это просто инфо о регистрации, а не жирный юзер, как в соц.сетях, то нормально. Если юзер - это одно объявление, которое действительно небольшое по объему - 10 000 для спота нормально.
2. Да, в базе. А копию ее поместите рядом с пхп. Либо в файлы, которые будете инклюдить, либо в локальный для пхп редис/мемкеш.
4. Одна очередь - один тип запросов/команд/операций. Старайтесь делать как можно больше очередей. Тогда в случае проблем, будет очевидно по длине очередей, где что не так.
6. Возможно, вам следует рассмотреть схему без прослойки, только с авторайзером, т.к. данных не много. И чтобы там хранились только активные в системе юзера. В соц.сети шанс на запрос старого юзера велик. В авито - старая информация со временем уже никогда не запрашивается.
Reply
Reply
Reply
Reply
Reply
1. Как выглядит сама организация хранения файлов в файловой системе? Т.е как хранить большое количество файлов, нельзя же все в один каталог засунуть? Какое на ваш взгляд оптимальное решение, с точки зрения не только хранения как мертвых файлов, но так же и горячей отдаче, ведь файлы большого размера в бесплатную БД не засунуть?
2. Еще вы говорили про конфиг по которому можно узнать где находится нужный файл, можете освежить в памяти?
Reply
Reply
Дмитрий, можете объяснить что это значит? Не совсем понятно "фаилы не как файлы" и в обход операционной системы, пока не понятно.
Reply
2. Вам этого не надо. Это всего лишь фича. Заниматься нужно архитектурой. Храните файлы на диске как обычно.
Reply
Leave a comment