Не понял, если не нужны, тогда просто по словам.<div>Я так и начал делать :)</div><div><br></div><div>Ещё хочется это сделать средствами sphinx, но пока в поиске решения.<br><br><div class="gmail_quote">2012/9/11 Михаил Монашёв <span dir="ltr"><<a href="mailto:postmaster@softsearch.ru" target="_blank">postmaster@softsearch.ru</a>></span><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Здравствуйте.<br>
<div class="im"><br>
> Самый примитивный аглоритм такой.<br>
> Качаешь где-нить новостей побольше, разбиваешь всё на слова, удаляешь<br>
> у них окончания, делаешь из соседних слов шинглы, генеришь таблицу из<br>
> двух столбцов (шингл_id,новость_id), удаляешь из неё те, которые имеют<br>
> популярные шинглы (границу популярности определяй сам), далее по<br>
> новости можешь искать другие новости, у которых такие же шинглы. Чем<br>
> больше шинглов совпало, тем более похожая новость.<br>
<br>
</div>Вдогонку...<br>
<br>
Шинглы здесь не нужны. Если их использовать, то будут вылезать<br>
дубликаты текстов вместо схожих по смыслу. Вместо шинглов надо<br>
использовать просто слова без окончаний. А уже в следующих версиях<br>
алгоритма вместо слов выдавать признаки текста: имена собственные, их<br>
же с действиями(глаголами), шинглы от цитируемых текстов и т.п.<br>
<div class="HOEnZb"><div class="h5"><br>
--<br>
С уважением,<br>
Михаил mailto:<a href="mailto:postmaster@softsearch.ru">postmaster@softsearch.ru</a><br>
<br>
--<br>
Moscow.pm mailing list<br>
<a href="mailto:moscow-pm@pm.org">moscow-pm@pm.org</a> | <a href="http://moscow.pm.org" target="_blank">http://moscow.pm.org</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br>С уважением,<br> Анатолий Шарифулин.<br>
</div>