История развития машинного перевода

По свидетельству биографов, еще выдающийся математик XIX века Чарльз Бэббидж пытался убедить британское правительство в необходимости финансировать его исследования по разработке “вычислительной машины”. В числе прочих благ он обещал, что когда-нибудь эта машина сможет автоматически переводить разговорную речь. Но, хотя сегодня Бэббидж и считается признанным автором множества идей, лежащих в основе работы компьютера, он так и не сумел ни построить свою машину, ни выполнить обещания по поводу МП. И сегодня эта идея по-прежнему остается в значительной степени нереализованной. Однако в последнее время благодаря появлению Интернет как платформы глобальной связи она вновь начала привлекать широкое внимание и инвестиции.

Вообще, первые программы МП появились в 50-х годах, всего несколько лет спустя после рождения компьютера, но до широкого распространения ПК МП был скорее интересным объектом научных исследований, чем важной сферой использования вычислительной техники, по двум причинам: дороговизна времени работы компьютера и коллективное пользование его ресурсами. Последнее обстоятельство часто не позволяло немедленно обратиться к электронному помощнику, сводя на нет важнейшее преимущество МП перед обычным – его оперативность.

Датой рождения МП (как области исследований) принято считать 1947 г., и все началось с письма Уоррена Уивера, директора отделения естественных наук Рокфеллеровского фонда, к Норберту Винеру в марте того же года, в котором задача перевода сравнивалась с задачей дешифровки текстов. Последняя в то время уже стала выполняться на электромеханических устройствах. За этим письмом последовало множество дискуссий, появился меморандум о целях, и наконец, были выделены средства на исследования. И в 1952 г. состоялась первая конференция, организованная знаменитым математиком Бар-Хиллелем, на которой исследователи обменялись мыслями относительно организации множества синтаксических правил языка, способов описания семантики, морфологических структур, структуры словарей для систем перевода. Достижения в академических исследованиях стимулировали коммерческий интерес к проблеме МП, и фирма IBM совместно с Джорджтаунским университетом в США в 1954 г. сумела показать первую систему, базирующуюся на словаре из 250 слов и 6 синтаксических правил и обеспечивающую перевод 49 заранее отобранных предложений. Этот эксперимент положил начало исследовательскому буму: в следующие 10 лет правительство и военные ведомства США затратили на исследования в области МП около 40 млн. долларов.

От эйфории, связанной с первыми результатами, до практически полного отрицания осуществимости МП прошло всего восемь лет. К подобному выводу пришли на основании обзора, выполненного специальным комитетом по прикладной лингвистике (ALPAC) Национальной Академии наук США. В нем констатировалось, что системы автоматического перевода не смогут обеспечить приемлемое качество в обозримом будущем. Этот отчет драматически повлиял на развитие МП, так как были практически прекращены какие бы то ни было исследования из-за отсутствия финансирования, по крайней мере, в США и Европе. И лишь в конце 70-х годов занятия МП возобновились вместе с возрастанием интереса со стороны проектировщиков и исследователей к лингвистическим проблемам искусственного интеллекта и компьютерного поиска информации.

И только с начала 80-х годов, когда ПК уверенно и мощно начали завоевывать мир, время их работы, естественно, подешевело и доступ к ним можно было получить в любую минуту. А значит, МП наконец-то стал экономически выгодным. К тому же в эти и последующие годы совершенствование программ позволило достаточно точно переводить многие виды текстов, однако некоторые проблемы МП остались нерешенными и по сей день.

90-е годы можно считать подлинной эпохой возрождения в развитии МП, что связано не только с высоким уровнем возможностей персональных компьютеров, появлением сканеров4 и программ OCR5, но и с распространением Интернет/интранет (Internet/intranet), обусловивших реальный спрос на МП. Он вновь стал привлекательной областью вложения капиталов как для частных инвесторов, так и для государственных структур.

И хотя технологии МП по-прежнему страдают множеством недостатков, многие организации вновь стали серьезно относиться к обещанию Бэббиджа. “Машинный перевод все еще далек от совершенства, но любой желающий с его помощью сможет, по крайней мере, понять основной смысл документа”, — считает Луи Монье, технологический директор Alta Vista, крупного поискового Web-узла, который начал эксперимент с МП в онлайновом режиме6.

Страны Европейского Союза потратили за последние 15 лет более 70 млн. долл. на исследования по этой проблеме, а японские государственные организации — более 200 млн. долл. По словам T.Р.Педтке (представителя правительства США), сделавшего очень интересный доклад на MT SUMMIT VI о стратегической важности МП для его страны, одну из главных ролей в развитии этого направления продолжает играть правительство. Проблема МП рассматривается как ключевая в вопросах продвижении высоких технологий и обеспечении конкурентоспособности США в глобальном информационном пространстве.

Электронные словари

Для качественного перевода очень важно, чтобы практически все слова исходного текста легко было найти и в словаре системы. А те из них, которых в нем нет, переносятся в текст непереведенными уже на выходе из системы, и их впоследствии переводят вручную при редактировании результатов перевода. Такие слова могут повлиять на качество перевода предложения. Дело в том, что для определения, к какой части речи относится рассматриваемое слово, система производит анализ всего предложения в целом. При этом имитируется мыслительная деятельность человека (такую систему принято называть системой с элементами искусственного интеллекта). Если значение хотя бы одного слова в предложении не определено, то это может исказить анализ всего предложения, а иногда и результаты всего перевода.

Методы организации больших баз данных достаточно хорошо разработаны, но для перевода не менее, а может быть, и более важно правильно структурировать информацию, которая приписывается элементу базы, правильно выбрать этот самый элемент. Сколько, например, записей в словаре должно соответствовать обыкновенному русскому слову "программа"? И, вообще, большой словарь – это словарь, который содержит много словарных статей, или словарь, который позволяет распознать много слов из текста?

При ближайшем рассмотрении оказывается, что, например, существительные в русском языке изменяются по падежам и по числам, то есть для одного существительного может существовать до 12 разных форм, а для глаголов и прилагательных, как правило, существует еще большее количество различных форм (более тридцати). Следовательно, чтобы переводить предложения, содержащие слова "программу", "программе", "программы" и т.д., хорошо было бы иметь способ соотнесения словарной статьи из автоматического словаря для слова "программа" с соответствующей словоформой из текста. Поэтому для описания и входного, и выходного языка в системе должен существовать некоторый формальный метод описания морфологии, на котором основывается выбор единицы словаря.

В системах семейства PROMT разработано практически уникальное по полноте морфологическое описание для всех языков, с которыми системы умеют обращаться. Оно содержит 800 типов словоизменений для русского языка, более 300 типов как для немецкого, так и для французского языка, и даже для английского, который не принадлежит к флективным языкам, выделено более 250 типов словоизменений. Множество окончаний для каждого языка хранится в виде древесных структур, что обеспечивает не только эффективный способ хранения, но и эффективный алгоритм морфологического анализа.

Кроме того, используемая модель морфологии позволила разработать экспертную систему для пользователя – создателя словаря. Эта система фактически автоматизирует процедуру выделения основы и определения типа словоизменения при вводе новых словарных статей.

Однако разработка описания морфологии позволяет решить только проблему того, что является заголовком словарной статьи, по которому происходит идентификация единицы текста и единицы словаря. Но ведь идентификация слова из текста со словарной статьей происходит не ради идентификации, как это требуется в электронных словарях, она необходима для выполнения программой собственно процедур перевода. Какая же нужна информация в словарной статье и как должны быть описаны правила перевода для того, чтобы программа переводила?

Электронные словари (ЭС) начали разрабатываться значительно раньше, чем аль­тернативные им системы МП, поэтому в настоящее время на рынке программного обеспечения имеется черезвычайно широ­кий выбор словарей — от самых простейших (например, DIC) до мощных систем, объединяющих в одной программной обо­лочке несколько лексических баз данных — специализирован­ных тематических словарей, последовательность подключения которых определяется пользователем (LINGVO). Выбор того или иного программного продукта зависит исключительно oт аппаратных возможностей компьютера, которым располагает пользователь, финансовых соображений и конкретных условий, в которых работает переводчик.

Потенциальную аудиторию этих программ можно определить совершенно точно – это учащиеся и студенты, использующие словарь как одно из пособий при изучении иностранного языка, а также домашние и бизнес-пользователи, которым нужен универсальный и простой в применении словарь-справочник для эпизодического перевода деловых бумаг и корреспонденции.

Ниже представлена классификация электронных словарей по их основным техническим и эксплуатационным характерис­тикам. Всю совокупность ЭС можно подразделить по следую­щим критериям.

1. По используемой операционной системе. Наибо­лее простые электронные словари (DIC) работают под управ­лением ОС MS-DOS, начиная с версий 2.21 и 3.30, что позво­ляет их использовать практически на любых IBM-совмести­мых персональных компьютерах, включая XT, АТ-286. На­иболее сложные многооконные и многофункциональные ЭС, позволяющие в одной оболочке подключать различные тема­тические базы данных, работают под управлением ОС WIN­DOWS 3.11, WINDOWS NT, WINDOWS 95 и т.д. Естествен­но, что для их успешного функционирования необходим более мощный компьтер (типа AT-486DX) с оперативной памятью не менее 8 МБ.

2. По способу загрузки. Можно подразделить на нерези­дентные и резидентные. К первым относятся простейшие про­граммы (например, подстрочечный словарь DIC), которые ра­ботают только в собственной среде и не вызываются из других оболочек, например из текстовых редакторов. В большинстве случаев они функционируют в режиме автоматического ("па­кетного") перевода. Вторые загружают свое ядро в оператив­ную память компьютера (например, "LINGVO for DOS") и могут вызываться в любой момент работы компьютера, напри­мер из любого текстового редактора, при помощи нажатия ком­бинации "горячих клавиш" — клавиш оперативного вызова. Эти словари обеспечивают работу переводчика в интерактив­ном режиме.

3. По количеству подключаемых словарных баз (слова­рей). Ранние версии ЭС позволяли подключать только один словарь. Современные программы, например "Система элек­тронных словарей LINGVO", независимо от того в какой ОС они работают, позволяют подключать до нескольких десятков словарных баз и устанавливать приоритет последних.

4. По возможностям расширения словарной базы. Уста­ревшие ЭС не имели возможности расширения словарных баз пользователем, современные версии, например LINGVO 4.6 и выше, имеют специальные утилиты для создания пользова телем собственных и расширения существующих словарей.

5. По режиму перевода. Можно выделить два основных режима перевода: автоматический пакетный (подстрочечный) и интерактивный (режим "запрос — ответ").

В первом случае программа вызывается с указанием имени текстового файла, который необходимо перевести, или маски для целой группы текстовых файлов, предназначенных для перевода. Далее автоматически, без участия переводчика, про­изводится прямой перевод каждого отдельного слова с вы­водом на экран монитора или на печатающее устройство толь­ко переведенных слов или исходного текста, под каждым пере­веденным словом которого будет стоять его значение на русском языке, под теми словами, которых не оказалось в ЭС обычно ставится знак "?". Такой режим называется подстрочечным. Словарные базы подобных ЭС весьма ограниченны, качество перевода оставляет желать лучшего. Подобные про граммные продукты вряд ли смогут оказать помощь професси ональному переводчику.

Во втором случае программа работает следующим образом. После загрузки резидентной части программы в оператив­ную память компьютера, пользователь, работая, например, в текстовом редакторе либо непосредственно в оболочке слова­ря, вводит с клавиатуры неизвестное слово на языке оригина­ла, а затем, выделив его, чаще при помощи "мыши", нажатием комбинации "горячих клавиш" активизирует ЭС, который за­меняет текст оригинала на русскоязычный перевод. Время до­ступа к переводу составляет примерно 0,2 секунды, что значи­тельно ускоряет работу переводчика. Именно такие электрон­ные словари, с учетом возможности расширения и одновремен­ного подключения нескольких словарных баз, могут значительно облегчить и ускорить работу переводчика любого уровня профессионализма.

В любом случае, бум, связанный с появлением простейших электронных словарей, позволяющих относительно быст­ро произвести поиск того или иного слова, уже в прошлом. С развитием технологии систем OCR, о которых я уже упоминала, стали разрабатываться авто­матизированные системы машинного перевода. О них-то и пойдет речь.