Языкознание: от Аристотеля до компьютерной лингвистики - [60]

Эти системы так или иначе связаны с обработкой массивов текстов на естественном языке. В них не ставится задача сохранения всей имеющейся в текстах информации. Тем или иным способом осуществляется ее редукция, позволяющая найти во множестве документов то, что соответствует данному запросу. В том числе такие системы на основе заданных параметров обеспечивают составление рефератов и аннотаций обрабатываемых документов. Документы могут описываться на особом формальном информационно-поисковом языке; составляется словарь дескрипторов — слов, обозначающих категории и понятия области, в которой ведется поиск. На основе этого словаря информационная система должна выделить среди обрабатываемых текстов те, которые имеют запрашиваемое содержание. Более простые системы только выделяют нужную лексику, но в других системах может в определенных пределах проводиться и грамматический анализ.

Наряду с прикладными направлениями, сложившимися в рамках формальной лингвистики, большое место в последние десятилетия занимают и направления работ, связанные с функционализмом. Среди них надо особо выделить корпусную лингвистику.

Как определяют создатели Национального корпуса русского языка (НКРЯ), лингвистический корпус — это «информационно-справочная система, основанная на собрании текстов на некотором языке в электронной форме. Национальный корпус представляет данный язык на определенном этапе (или этапах) его существования и во всем многообразии жанров, стилей, территориальных и социальных вариантов». Такого рода представления, конечно, создавались и раньше, прежде всего при составлении словарей. Известны огромные картотеки, вручную формировавшиеся десятилетиями на основе расписки большого количества текстов. Но теперь они создаются в электронном виде и постоянно пополняются.

Впервые лингвистический корпус был создан в США в 1960-е гг. Первые корпуса были невелики по объему, стандартом считался объем в миллион слов, что было недостаточно. Значительное развитие корпусная лингвистика получила с 1980-х гг. в связи с дальнейшим развитием вычислительной техники. В настоящее время НКРЯ (формируется с начала 2000-х гг.) содержит более 600 млн словоупотреблений, и эта цифра постоянно растет. Важна представительность и сбалансированность корпуса, в который должны включаться не только письменные, но и устные тексты. Конечно, наряду с корпусами, представляющими язык в целом, распространены и корпуса, специализированные для какой-то его части; корпуса могут отражать лишь современный язык, но могут, как НКРЯ, включать в себя и тексты на протяжении того или иного периода времени. Наряду с одноязычными корпусами существуют и многоязычные.

Корпус — не то же самое, что просто электронное собрание текстов большого объема. При его создании необходимо провести ряд операций, именуемых разметкой. Нужно разделить тексты на слова, привести каждое слово к его словарной форме, провести морфологический, синтаксический, акцентологический анализ. Серьезную проблему составляет то, что при обширном объеме корпуса в ответ на запрос может быть выдано столь большое число в основном ненужной информации, что ее невозможно охватить. Поэтому нужны также системы группировки поиска.

Данные корпусов могут использоваться в самых разных областях лингвистики. Если раньше для получения нужной информации лингвист должен был самостоятельно расписывать значительное количество текстов при отсутствии гарантии того, что удастся найти то, что нужно, то теперь всё можно узнать очень быстро. С помощью корпуса можно получить достоверные данные статистического характера. Материалы корпуса, сгруппированные по времени создания текстов, дают сведения об исторических изменениях в языке. Корпуса используются и в педагогических целях, на них все больше ориентируются учебные программы. Выдающийся американский лингвист Чарльз Филлмор писал: «Работа с любым корпусом, каким бы малым он ни был, предоставляла мне данные, которые я не смог бы найти никаким другим способом».

К настоящему времени, помимо НКРЯ, созданы корпуса для крупнейших языков мира, для большинства языков мира, для ряда языков России. Подготовка и пополнение корпусов продолжается.

22 Итоги

В кратком очерке мы не смогли охватить даже небольшую часть актуальных проблем лингвистики. Мы старались выделить главное, но, конечно, наш подход очень субъективен, и другие лингвисты укажут на многие пробелы и посчитают, что в первую очередь надо было бы отметить совсем другое. Однако вряд ли можно в таком очерке чего-то не упустить. В нашу задачу входило лишь выделить основные, с нашей точки зрения, проблемы, стоящие перед наукой о языке начиная с ее истоков и кончая нашими днями, рассмотреть как «вечные» проблемы, так и проблемы, появившиеся лишь недавно, сопоставить идеи, выдвигавшиеся учеными разного времени. Лингвистика — очень старая, существующая не одно тысячелетие наука, но в то же время именно сейчас ее горизонты значительно раздвинулись и продолжают раздвигаться.

Как писал Ноам Хомский в книге «Язык и мышление», «внимание к языку будет оставаться центральным моментом в исследовании человеческой природы, как это было и в прошлом. Любой, кто занимается изучением человеческой природы и человеческих способностей, должен так или иначе принять во внимание тот факт, что все нормальные человеческие индивиды усваивают язык». И далее он указывал: «Я старался обосновать мысль о том, что использование языка вполне может, как и предполагалось традицией, предложить весьма благоприятную перспективу для изучения умственных процессов человека». Человек не может существовать без языка, и все другие науки о человеке тесно связаны с языкознанием и не могут полноценно развиваться без учета его данных, хотя не всегда этот учет осознается. Лингвистика двух последних столетий достигла значительных успехов, но чем дальше эта наука развивается, тем очевиднее становятся ограниченность наших знаний о языке и неумение лингвистики ответить на важнейшие вопросы. Но все-таки эта ограниченность, как надеются лингвисты, постепенно уменьшается.