Простой алгоритм.

May 20, 2005 12:25

.
На сетке, портрет которой возник в 3х предыдущих заметках, можно организовать связь простейшими способами.
Вот пример самого простого алгоритма (который можно развивать дальше или заменять на более сложные для создания P2P (F2F, точнее) если работает система распределенных блогов ( Read more... )

Leave a comment

muzyka_sfer January 23 2006, 19:44:10 UTC
И верно он вас беспокоит. В отключениях, в организации эффективного поиска и доставки - вся сложность конструирования такой системы.

Однако есть все указания на то, что инженерно такая задача не безнадежна.

1. Во-первых, если почитать мои длинные изыскания (часть 3), то видно, что "Малый Мир" чрезвычайно устойчив к случайному выбиванию вершин. Отключения от и подключения к сети в грубом приближении - случайные выбивания.
(В менее грубом проближении это случайные отключения, которые идут волной вокруг мира, причем в некоторых странах больше компьютеров с 24-часовой привязкой к сети, чем в других).

Т.е. сами свойства Малого Мира скорее всего сохраняются.

2. Далее, как быть с конкретными пользователями и обсуждениями?
(а) любой просто читающий делает автоматический местный временный cache заметок.
(он собственно и сейчас делается вашим браузером, но вы не имеете доступа к управлению им; я же хочу в программке использовать wremennyj cache сознательно и в полную силу).
(b) Когда я выхожу читать распределенные блоги и время от времени после этого программа автоматически опрашивает своих взаимных друзей. Это - статические маленькие веб-страницы, опрос быстрый, информации немного.
(c) Все комментаторы также держат cache веток, в которых они ведут дискуссии

Тогда если автор дискуссии отключен, путем опроса (автоматически, веб сервер быстро проходит по, не знаю 30-40 маленьким страничкам, по 2-3 килобайта каждая, не больше, выясняя информацию и пополняя местный cache для воссоздания дискуссии

(d) Когда я работаю с блогами, я на самом деле обращаюсь по местному адресу (http://localhost/bloggre/...). Система "собирает" все из местных файликов, которые она автоматически нарывает по неким алгоритмам.

Осталось сделать 2 замечания:
- то, что Малые Миры при отключениях/подключениях не разваливаются, доказывает опыт edonkey, freenet и других подобных проектов псевдо-darknets. На Freenet среднее время подключения составляло кажется 45 минут - и все равно оно функционирует.
- реально предугадать поведение сложной системы скорее всего не выйдет. Ответ в моделировании. То есть:

-1- пишем минимальную программку
-2- устанавливаем 10000-30000 виртуальных "блогов" на своей машине, которые связаны так, как реально были связаны отношениями ЖЖисты в собранной мной информации (предыдущие посты)
-3- гоняем по системе отключения и смотрим, как информация расходится

Ну и разумеется, все проблемы по-настоящему трудны лишь для чисто распределенной системы.
Если мы поддерживаем некоторое число "logon servers", (любая машина любого добровольца, собственно, в Штатах это 25-50 долларов в месяц) которые стоят 24 часа в сутки и т.к. логон через них, следят за тем, кто в сети, кто упал, у кого последние апдейты и т.д.
Эта информация - не сами статьи, а лишь "скелет"-схема, связки у кого какие URL, какая информация, т.е. куда пойти на распределенной системе и у кого взять.

Если такие серверы упадут (или их намеренно разрушат), блоги должны будут перейти в полностью автономный режим.
Думаю, программка должна допускать 4 вещи:
- минимум - агрегация разных блогов и хранение информации на клиентской машине в cache.
- связь caches между собой, чисто распределенные блоги
- позволить держать на 1 машине несколько счетов для пользователей из провинции с плохим доступом. Они тогда работают не напрямую, а через логин на такой сервер с 2-20 счетами.
- позволить переключаться в режим поддержки логона и выдачи связывающей информации, тогда само содержание текстов на таком пункте не кэшируется.

Кажется, все это можно сделать. Самая интересная часть конечно - моделирование алгоритмов на данных, добытых из топологии ЖЖ.

Reply

anton_y_k January 24 2006, 08:33:49 UTC
Правильно ли я понял, что предусматривается возможность автоматического импорта фрэндов из ЖЖ (дабы не мучаться особо с составлением фрэндлиста заново)?

Кстати, есть идея как можно сделать из системы нечто большее, чем просто распределённые (блоги + пиринговая сеть). Мог бы изложить её Вам на имейл (если бы его знал)...

Reply

Упс, что-то я стормозил-опечатался anton_y_k January 24 2006, 09:09:09 UTC
Имелся в виду импорт инфо, а не френдлиста, чтобы быстро перейти из ЖЖ в "Малый мир".

Reply

Несколько ступеней muzyka_sfer January 24 2006, 10:16:33 UTC
Я вообще вижу 4 ступени:

- агрегатор блогов из разных мест (ЖЖ, другие), так что я как бы читаю свою френдленту на локальной машине, а программки лазят и достают для меня все что надо с серверов.
Зачем? - кроме удобства еще и ради автобэкапа информации, я ее больше не боюсь потерять из-за технических или политических причин

- добавляем к этому возможность таких домашних машин разговаривать напрямую. По-прежнему информация есть в ЖЖ и на других серверах, но теперь мы, поставившие себе программу, можем говорить напрямую - как приватно, так и с копией на ЖЖ/сервера

- Круг людей постепенно организует сеть в дополнение к серверам. Сеть может работать как с центральными серверами, которые хранят всю информацию (и логоны, и тексты - как ЖЖ), с серверами для логонов (в помошь нашей сетке; ставятся добровольцами, та же самая программа) -- так и вообще без централизованной информации, но тогда придется в некоторых случаях пожртвовать немедленностью доставки информации.
Тут труднее, но все же думаю возможно организовать эффективный поиск, репликацию, восстановление после отключений и т.д.

- Ну и наконец ради чего все затеивалось. Мы уже дублируем информацию, и на такой сетке убить текст много труднее. Но под ней, под открытыми блогами, которые не скрываются, может жить сеть для приватного обмена, которую снаружи обнаружить в силу неотличимости ее траффика от открытого значительно труднее.
Я при этом не думаю об организации обменов музыкой или фильмами, мне на них насрать, и эти идиоты выдадут себя объемами, даже если будут резать на мелкие кусочки.
Меня больше волнует цензура которая на одном ЖЖ убивает свободные разговоры, впрочем и повсюду.

Reply

Re: Несколько ступеней ex_ex_riser May 10 2006, 18:42:31 UTC
результаты есть?

Reply


Leave a comment

Up