3

Хочу разработать приложение, которое на вход получает текст (к примеру, вопрос с этого сайта), а на выход отдает набор слов, описывающий его (на данный момент, это набор слов в нормальной форме и их частота).

Спешу предположить, чтобы иметь некое «представление о предложении», не обязательно учитывать все слова, к примеру, вероятно, можно откинуть предлоги, без существенного изменения «представления». Было бы крайне интересно узнать, какие именно слова можно не учитывать с позиции лингвистики?

Обновление

"Набор, описывающий его" – это массив слов, встречающихся в предложении в нормальной форме, и их частота. То есть для предложения "По реке плывет корабль, по которому идут люди", это будет:

  • по: 2
  • река: 1
  • плыть: 1
  • корабль: 1
  • который: 1
  • идти: 1
  • люди: 1

Этот список является "описанием" предложения. То есть если сравнить этот список с каким–либо с подобным список любого другого предложения, мы узнаем, на сколько они похожи. (Поиск похожих предложений моя основная цель. Если я делаю это не верно, пожалуйста, подскажите, как это делать правильно.)

Обновление 2

Конечная цель: по имеющемуся большому тексту определять принадлежит ли новое предложение к этому тексту, либо оно совсем о другому. Например, на основе большого количества вопросов по грамматике русского языка на этом сайте определить, является ли случайное предложение вопросом по грамматике.

4
  • 1
    А что такое "набор, описывающий его"? Что за "описание" такое? "Представление о предложении" - тоже ни смысла, ни понимания не добавляет. Всё зависит от глубины понимания и проникновения и - самое главное - от предназначения такого "описания". Скажем, грамматический разбор - одно, семантика - совсем другое...
    – behemothus
    13 апр 2017 в 6:01
  • А цель сей операции?
    – user3758
    13 апр 2017 в 6:34
  • @Niemand Обновил вопрос. 13 апр 2017 в 6:39
  • 1
    .*Конечная цель* - теперь понятнее, но задача нерешабельная. Процентов 30 ошибки я вам гарантирую при таком методе при самом лучшем "наборе". Реально - больше, контекст рулит всегда. Я попробую, конечно, обосновать в ответе (чуть позже, как посвободнее буду), но к идее отношусь заведомо скептически.
    – behemothus
    14 апр 2017 в 8:50

0

Посмотрите другие вопросы с метками или задайте свой вопрос.