Вторая редакция (включены предлоги, имена собственные, исправлены ошибки).

1. С сайта был скачан образ русскоязычного раздела Википедии в формате XML (ruwiki-20061023-pages-meta-current.xml), содержащий последние версии всех страниц.
2. С помощью удобного Perl-модуля Parse::MediaWikiDump из массива всех страниц были выделены исходные тексты статей (страницы из основного пространства имён) и обсуждений (страницы из пространств имён «Обсуждение», «Обсуждение участника», «Обсуждение Википедии», а также страницы, содержащие в названии «Википедия:Форум», «Википедия:К удалению», «Википедия:Вниманию участников», «Википедия:Опросы», «Википедия:Обсуждения»). Эти тексты были сохранены в двух больших файлах, их размеры составили: 135 и 48 МБ (в кодировке UTF-8)
3. Из текстов были удалены: изображения, перенаправления, категории, интервики-ссылки, шаблоны, таблицы, комментарии, теги, многие небуквенные символы (кавычки, тире). Ссылки были заменены на свои заголовки ([[название страницы|заголовок ссылки]]).
4. С сайта был скачан и установлен морфологический анализатор и словари для него (LGPL версия под Linux).
5. Из-за особенностей работы морфологического анализатора, тексты были дополнительно обработаны: символы подчёркивания были заменены на пробелы, убраны пустые строки; файлы были разбиты на множество маленьких, по 500 строк.
6. Был произведён морфологический анализ текстов (то есть фраза «мама мыла раму» была преобразована в «мама мыть рама»), лексемы были записаны в файлы. Среди слов затесались также и отдельные буквы, например, «н» (вероятно, от «год до н. э.»), «т» (вероятно от «т. к.») и другие (например, инициалы).
   • Анализатор допускает заметное число ошибок, например предлог «при» он посчитал за повелительное наклонение от глагола «переть», в итоге последннее оказалось аж на 26 месте. (я это исправил в списке на этой странице, но не в файлах с общим списком)
   • Анализатор не справился с обсценной лексикой: таким образом, отметку в 100 словоупотреблений у нас преодолел глагол «ховать».
   • Глокая куздра превратилась в «глокий куздр».
7. Рассчитан частотный словник.

Было выявлено (вторая редакция):

• в статьях
  • всего 22,5 млн слов
  • 650 тыс. лексем
  • 89 тыс. лексем встречаются 10 раз и более раз
  • 17 тыс. лексем встречаются 100 раз и более раз.
• в обсуждениях
  • всего 4 млн слов
  • 135 тыс. лексем
  • 18,5 тыс. лексем встречаются 10 раз и более раз
  • 3,5 тыс. лексем встречаются 100 раз и более раз.

Полный частотный словник можно скачать (надо бы перенести куда-нибудь в более постоянное место).

250 наиболее популярных слов (вторая редакция)

Проверяем Закон Ципфа: «частота n-го слова в частотном словнике обратно пропорциональна его порядковому номеру».

График для частот слов из статей с рангами от 3 до 170.

Смело пополняйте список!

• «ВЫ» встречается в обсуждениях 21 801 раз, «ТЫ» — 4094 раз.
• Просматривая список с конца, можно искать среди редких слов слова с опечатками, затем находить их в статьях и исправлять.
• В статьях удивительно много «фильмов» (49 место). Ещё больше заготовок о космических объектах — « NGC », 44 место.
• Слово «Удалить» в обсуждениях (59-е место) встречается чаще, чем «Оставить» (86-е) (эти слова часто встречаются в обсуждениях на ВП:КУ ).
• Чаще других в статьях встречается имя Александр (94 место), затем идут имена Николай (196 место), Иван (199 место) и Владимир (227 место).
• В статьях затесалось несколько английских слов - the, to, of, and, I, a и in. Видимо в непереводимых названиях...
• Также есть слова или обозначения II (видать, римская цифра «2») и MSG — судя по всему, сокращение от Michael Schenker Group.
• Слово "МЕНЬ" явно от "меня".
• Слово "российский" (99-е место) встречается немного чаще, чем "русский" (100-е место).

• Википедия:Анализ состояния Википедии/Результаты
• (без учёта словоформ)
• в Русской Википедии (на 20 февраля 2008) и Википедии на английском упрощённом языке (на 14 февраля 2008)