Анализатор постов в ЖЖ

[sel_kie]

Вдохновившись этим примером, я тоже решила запилить что-нибудь для ЖЖ и в итоге написала приложение для анализа постов. Сейчас оно умеет определять языковое разнообразие (насколько разнообразными словами пользуется юзер), среднюю длину поста и самые частые слова. Может, потом добавлю ещё пару функций (а может и нет) :)

Вот что у меня получилось

Comments

[mozgosteb]

С релизом!

[sel_kie]

Спасибо! Интересно, забанят или нет

[mozgosteb]

Я же, так понимаю, запросы будут с машины пользователя? Если так, то, по идее, то даже теоретически не за что

[sel_kie]

Ага, плюс я кэширую запросы (на всякий случай аж на сутки), так что надеюсь, что не к чему придраться

[livejournal]

Здравствуйте! Ваша запись попала в топ-25 популярных записей LiveJournal северного региона. Подробнее о рейтинге читайте в Справке.

[sel_kie]

А если бы ЖЖ отдавал не 25 постов, а хотя бы 100, то результаты были бы куда точнее

[chiffa_chi]

А считаются только открытые посты?

[sel_kie]

Да, приложение видит только то, что видит незалогиненный пользователь

[chiffa_chi]

Ясно))) я несколько минут удивлялась странной выборке))))

[mozgosteb]

Вот интересное открытие: почти у всех, кого я читаю, есть слово "знать"

[sel_kie]

Думаешь, стоит выкинуть это слово как высокочастотное? Я составила список слов, которые не выводятся, потому что встречаются у всех. Там, например, есть слово "человек" (иначе оно попало бы в топ-10 слов практически у каждого юзера), "хотеть", а также всякие служебные глаголы типа "быть".

[mozgosteb]

Вот, про "хотеть" и "быть" интуитивно понятно. А про "человек" и "знать" - непонятно. Почему они такие часто используемые?

[sel_kie]

"Знать", кстати, не так часто встречается, как "человек". Не у всех юзеров, которых я смотрела, есть это слово в десятке. (Но у многих, да). А "человек" даже входит во все стандартные словари незначащих слов (stop words), какие я видела. Наверное, потому что в него превращаются и "люди", "людей" и так далее. Редкий пост обходится без этих слов.

[k_medvezhonkina]

Разнообразие текста: 16.4%

Средняя длина поста: 67 слов

Часто встречающиеся слова: 
ПОКА
СЕЙЧАС
ОЧЕРЕДЬ
СОН
УЗНАТЬ
ДРУГ
ДВА
ПОСТ
ЗНАТЬ
СМОТРЕТЬ

Теперь надо понять, что это значит! ) Как это меня характеризует. Понимаю, что мой последний пост здорово подпортил среднее арифметическое. )

[sel_kie]

Как минимум как любознательного человека :) Целых два слова об этом говорят: "знать" и "узнать" (интересно, кстати, почему алгоритм не свёл их в одно)

[k_medvezhonkina]

Да, я тоже заметила! Не понимаю только, где мое любимое слово "понять"? )

Знать и узнать несут разную смысловую нагрузку. )

[sel_kie]

А не знаю, в списке "стоп-слов" (которые я отсеиваю) его нет :)

Несут-то несут, но вот откуда об этом узнал алгоритм, ума не приложу