Хочу разработать приложение, которое на вход получает текст (к примеру, вопрос с этого сайта), а на выход отдает набор слов, описывающий его (на данный момент, это набор слов в нормальной форме и их частота).
Спешу предположить, чтобы иметь некое «представление о предложении», не обязательно учитывать все слова, к примеру, вероятно, можно откинуть предлоги, без существенного изменения «представления». Было бы крайне интересно узнать, какие именно слова можно не учитывать с позиции лингвистики?
Обновление
"Набор, описывающий его" – это массив слов, встречающихся в предложении в нормальной форме, и их частота. То есть для предложения "По реке плывет корабль, по которому идут люди", это будет:
- по: 2
- река: 1
- плыть: 1
- корабль: 1
- который: 1
- идти: 1
- люди: 1
Этот список является "описанием" предложения. То есть если сравнить этот список с каким–либо с подобным список любого другого предложения, мы узнаем, на сколько они похожи. (Поиск похожих предложений моя основная цель. Если я делаю это не верно, пожалуйста, подскажите, как это делать правильно.)
Обновление 2
Конечная цель: по имеющемуся большому тексту определять принадлежит ли новое предложение к этому тексту, либо оно совсем о другому. Например, на основе большого количества вопросов по грамматике русского языка на этом сайте определить, является ли случайное предложение вопросом по грамматике.
