Введение. Проблема оценки качества перевода являлась предметом изучения многих исследователей в области перевода, таких как В.Н. Комиссаров, Н.К. Гарбовский, Я.И. Рецкер,  В.Г. Гак, В.В. Сдобников, О.В. Петрова. Современные исследователи предлагают различные системы оценочных критериев и подходы к применению этих критериев к анализу результатов перевода. Процессы цифровизации оказывают влияние и на подходы к оценке качества перевода. Е.А. Княжева предлагает синтезировать и комбинировать различные модели оценки качества перевода для достижения адекватной оценки, с учетом субъективного характера деятельности переводчиков и специалистов, оценивающих перевод [1]. Исследователь утверждает, что такие объективные факторы как асимметрия культурных реалий, особенности узуса исходного и переводящего языков, оказывают существенное влияние на переводческое решение. Вместе с тем, результат перевода во многом зависит от таланта и опыта конкретного переводчика, что придает процессу перевода субъективный оттенок. Чтобы решить проблему субъективности в процессе оценки качества перевода, Е.А. Княжева и Е.А. Пирко предлагают метод анализа иерархий, который учитывает мнение экспертов, осуществляющих оценку перевода, а также позволяет выразить его количественно [2].

Российский исследователь в области теории и дидактики перевода М.А. Куниловская предлагает классифицировать переводческие ошибки в зависимости от коммуникативной функциональности и логичности перевода и его соответствия оригиналу, также принимая во внимание языковую грамотность перевода. Оценка качества учебного перевода в рамках разработанной системы осуществляется на основе разметки по ошибкам, распределенным в соответствующие категории [3]. И.С. Башмакова разработала собственную программу для проверки качества перевода, на основе оценки критериев с соответствующим весом ошибок – от ошибок, искажающих смысл, заложенный в текст оригинала, до ошибок, связанных  с расхождением стилей текстов оригинала и перевода. Для получения наиболее точных результатов проверки качества переведенного текста автор исследования предлагает комбинированный подход, в котором следует объединить количественные и качественные показатели. Исследователь считает, что такие критерии, как наличие пропусков в переводе, наличие грамматических и орфографических ошибок, можно описать в виде математической модели, поэтому их легко формализовать. К ним не относятся ошибки, связанные с нарушениями смысла, которые входят в трудно формализуемую категорию. Возможно применение разработанной программы для выставления оценок за выполненный перевод по пятибалльной системе [4]. По мнению еще одного исследователя в области перевода Л.В. Сусловой, для осуществления адекватной оценки качества перевода целесообразно использование тестовых заданий, автор также предлагает разработанную форму оценочного листа преподавателя. Каждый пункт теста имеет количественное выражение, что облегчает проведение и проверку преподавателем перевода. При оценке качества перевода учитываются такие критерии, как соответствие текста на языке перевода нормам и узусу языка источника и коммуникативные намерения автора оригинала и коммуникативной направленности текста [5]. По мнению Л.А. Девель, при оценивании качества перевода следует учитывать классические требования в отношении когезии и когерентности текста перевода, а также его соответствие стилю исходного текста [6]. 

При рассмотрении проблемы оценки качества перевода многие авторы отмечают, что перевод, выполненный автоматическим переводчиком, нуждается в серьезной редакторской правке [7, 8, 9, 10]. Для перевода текстов, в особенности публицистических, необходимы фоновые знания, опыт и творческий подход квалифицированного переводчика, обладающего арсеналом переводческих приемов, лингвистической интуицией и гибкостью мышления, то есть тем, что пока не подвластно искусственному интеллекту.

Появление и развитие технологий ИИ и последующее использование нейросетей в машинном переводе повлияло и на методы оценки качества машинного перевода, выявив необходимость разработки новых подходов в этой области. Стремительное развитие информационных и цифровых технологий в последние годы, появление облачных технологий и нейронных сетей внесли кардинальные изменения в профессиональную переводческую деятельность. Технологии искусственного интеллекта (ИИ) стремительно совершенствуются и проникают во все сферы жизнедеятельности человека. В области профессионального письменного перевода рост новых технологий особенно заметен, что создает необходимость для профессиональных переводчиков и преподавателей профессионально-ориентированного перевода постоянно оттачивать свои навыки и овладевать новыми знаниями и компетенциями. В готовом тексте, произведенном с помощью систем автоматизированного перевода и/или технологий ИИ, бывает сложно увидеть ошибки и неточности, которые с большой вероятностью присутствуют, но маскируются под прикрытием шаблонных фраз и клише. Применение новых технологий в переводе поднимает компетенции переводчика на новый уровень, делает работу редактора по-настоящему виртуозной и творческой. Без использования цифровых технологий сегодня сложно представить курс профессионально-ориентированного перевода в вузе, а также курс иностранного языка для профессионального общения инженерных кадров. Разрабатываемые в рамках курса задания нацелены на развитие креативного мышления и поиска нестандартных решений и включают рассмотрение различных предметных ситуаций [11].

В отличие от традиционного перевода, выполненного человеком, в тексте машинного перевода, выполненного с помощью технологий ИИ, могут присутствовать неожиданные случайные ошибки, такие как “галлюцинации”, сгенерированные машиной фрагменты, отсутствующие в исходном тексте, например. Для оценки качества машинного перевода используют разные системы. При оценке перевода стандартных текстов, таких как инструкции, патенты, документы технического сопровождения, возможно применение автоматической оценки, которая построена на сопоставлении текста перевода с эталонным переводом.

В настоящее время разрабатываются автоматические метрики, использующие в своей работе новейшие достижения в области машинного обучения [12]. Как правило, при этом обращаются к так называемым метрикам автоматической оценки качества машинного перевода, таким как: метрика BLEU (Bilingual Evaluation Understudy), разработанная компанией IBM; метрика TER (Translation Error Rate), с помощью которой можно рассчитать исправления для приведения МП к эталонному образцу, и другие популярные метрики.

Применение экспертной оценки подразумевает привлечение специалистов в области языка и перевода, и процесс оценивания включает в себя ранжирование переводов, выявление ошибок в рамках разработанной типологии ошибок и другие способы оценки. При вынесении экспертной оценки основополагающей является функциональность полученного текста перевода [13]. 

В основе руководства TAUS[1] (Translation Automation User Society) Общества пользователей автоматического перевода наиболее известной системы оценки машинного перевода лежит методика, описанная в руководстве по постредактированию машинного перевода. Согласно TAUS, существует два уровня качества перевода – приемлемое и соответствующее традиционному переводу. На приемлемом уровне необходимы исправления лексических и грамматических ошибок, соблюдение основных правил орфографии, максимально сохраняется порядок слов. В рамках второго уровня предполагается редактирование с целью исправления также синтаксических и стилистических ошибок и неточностей, соблюдение основных правил орфографии, пунктуации и переносов, корректное форматирование текста. Исследователи отмечают, что для качественного редактирования текста, переведенного с помощью систем автоматического перевода, необходимы специальные компетенции и особый переводческий талант, поскольку машинный перевод все еще очень далек от совершенства и может значительно отличаться от текста традиционного перевода [14].

Существуют подходы к качеству машинного перевода для выявления степени последующего редактирования текста перевода на основе процентной оценки. Так, специалисты компании PROMT выделяют различные стратегии постредактирования в зависимости от необходимого объема постредактирования[2].

Специалисты компании MemSource выделили наиболее распространенные ошибки редакторов перевода[3]: субъективные стилистические исправления, избыточно отредактированные переводы, неверное употребление терминов, несоблюдение единообразия терминологии, наличие непереведенных слов, добавлений и опущений; неверная передача аббревиатур, наличие машинных неологизмов (несуществующих слов) и другие ошибки. Исследования специалистов подтверждают, что в условиях совершенствования технологий ИИ к качеству текста перевода предъявляются более высокие требования. 

Цель исследования. Цель данного исследования – выявить наиболее эффективную систему оценки качества учебных переводов англоязычных научных текстов. Для достижения этой цели были поставлены следующие задачи: изучить и проанализировать различные подходы к оцениванию качества перевода  и качества постредактирования машинного перевода научных текстов; провести анкетирование преподавателей перевода и студентов, получающих квалификацию переводчика, целью определения наиболее приемлемой системы оценки качества учебных переводов; продемонстрировать эффективность использования в учебном процессе экспертной системы оценивания качества перевода и редактирования, а также целесообразность интегрирования этой системы в программы подготовки переводчиков.

Объектом исследования является системы оценки качества перевода, предмет исследования – оценка качества учебных переводов англоязычных научных текстов.

Методы. В рамках  исследования на первом этапе было проведено онлайн-анкетирование преподавателей перевода с целью определения наиболее приемлемой системы оценки качества учебных переводов научных текстов. В анкетировании приняли участие 34 преподавателя перевода из разных высших учебных заведений. Преподавателям было предложено оценить качество перевода фрагмента научного текста, выполненного с помощью машинного переводчика и отредактированного студентами, руководствуясь классификацией переводческих ошибок, рекомендованной экспертами переводческих компаний, а также оценить эффективность этой классификации для оценки учебных переводов. 

Вторым этапом исследования  было проведение анкетного опроса студентов с целью определить эффективность экспертной системы оценки качества машинного перевода и выявления ошибок для последующего редактирования. В опросе участвовали 48 студентов Санкт-Петербургского политехнического университета Петра Великого (СПбПУ), обучающихся в Гуманитарном институте на программах бакалавриата и магистратуры в области перевода и межкультурной коммуникации. Студентам было предложено выявить ошибки во фрагменте текста, выполненного с помощью машинного переводчика, руководствуясь классификацией переводческих ошибок, рекомендованной экспертами переводческих компаний, а также оценить эффективность этой классификации для последующего редактирования текста перевода. 

Результаты и обсуждение. Профессиональные переводчики стремятся к недопущению ошибок, однако, следует признать, что в переводческой деятельности незначительные ошибки допустимы, до некоторой степени. Большое значение в  процессе подготовки специалистов уделяется знакомству со средствами автоматизации перевода – электронными словарями, системами Computer Aided Translation Tools, применение которых обеспечивает статус профессионала на рынке труда.

В СПбПУ преподавание перевода осуществляется на уровне бакалавриата, магистратуры и в рамках дополнительных программ. Оценки за переводы, выполненные с помощью машинного перевода и отредактированные студентами, выставляются на основе критериев оценивания, которые включают в себя следующие категории ответов: оценка “неудовлетворительно” ставится, если текст после постредактирования не отвечает критериям качественно выполненного перевода, имеет существенные стилистические и / или грамматические погрешности, затрудняющие понимание;оценка “удовлетворительно” ставится, если текст после постредактирования отвечает не всем критериям качественно выполненного перевода, имеет существенные стилистические и / или грамматические погрешности; оценка “хорошо” ставится, если текст после постредактирования отвечает основным критериям качественно выполненного перевода, однако имеет незначительные стилистические и / или грамматические погрешности, не влияющие на понимание; оценка “отлично” ставится, если текст после постредактирования отвечает всем критериям качественно выполненного перевода: стилистически и грамматически грамотный, с верной и точной передачей терминов, имен собственных, аббревиатур и реалий.

Следует отметить, что система оценивания нуждается в постоянном совершенствовании в связи со стремительным развитием технологий перевода. Специалисты Всероссийского центра переводов разработали рекомендации для письменных переводчиков, редакторов и заказчиков, в которых содержится подробная классификация переводческих ошибок. Классификация разработана на основе нескольких категорий переводческих ошибок, которые включают в себя нарушения при передаче смысла (опущение, добавление, замена информации, неточная передача информации); стилистические нарушения; нормативно-языковые нарушения [15].

Эксперты Национальной лиги переводчиков предлагают использовать классификацию для разработки критериев оценки качества перевода, в частности, при обучении переводчиков[4]. Принцип разделения ошибок по степени тяжести особенно уместен.  Ошибки, связанные с искажениями смысла, обычно свидетельствуют о низкой квалификации переводчика. Большое количество таких ошибок нарушает когерентность текста перевода. Стилистические ошибки искажают функционально-стилевые особенности оригинального текста, нарушается узус языка перевода. Стилистические нормы и узус переводящего языка также нарушают орфографические и пунктуационные ошибки, а также ошибки, связанные с неверной передачей в переводе имен собственных. На основе приведенной выше классификации экспертами отрасли была разработана классификация ошибок, которая основана на двух категориях: тип ошибки и степень тяжести ошибки. По степени тяжести ошибки делятся на грубые ошибки, негрубые ошибки и недочеты. Типы ошибок включают в себя следующие: стилистические, смысловые, терминологические и нормативно-языковые. Ниже приведена сводная таблица ошибок, которую можно использовать в процессе оценки качества учебных переводов (табл. 1).

Таблица 1. 

Классификация переводческих ошибок

Table 1. 

Classification of translation errors

Переводческие ошибки

Качество перевода

низкое

среднее

высокое

Категория ошибки – грубая ошибка

Наличие ошибок перевода, искажающих смысл оригинала

Наличие пропусков или замены порядка фрагментов текста

Сохранение грамматической конструкции оригинала (подстрочник)

Бедность и однообразие синтаксических конструкций

Отсутствие терминологического единообразия

Нарушения грамматических норм языка перевода

Категория ошибки - негрубая ошибка

Ошибки в управлении, согласовании времен, синтаксические ошибки, неверный порядок слов

Употребление несоответствующей стилевой окраски 

Нарушение лексической сочетаемости

Неточная передача смысла оригинала, допускающая двусмысленное толкование, логические ошибки

Несоответствие стиля тематике и области применения переводимого документа

Необоснованные повторы

Пунктуационные и орфографические ошибки

Категория ошибки – недочеты

Неуместное употребление канцелярита, устаревшей лексики, жаргонизмов

Графические ошибки и опечатки

Данная сводная таблица 1 может быть использована как для оценки качества учебных переводов, так и для оценки качества постредактирования машинного перевода, выполненного студентами. Согласно рабочей программе дисциплины, экзаменационные тексты представляют собой фрагменты объемом от двух с половиной до трех тысяч печатных знаков. Процесс оценивания должен учитывать тип ошибки (качественный критерий) и число ошибок определенного типа (количественный критерий). Описание подсчета баллов по такой системе приведено в таблице (табл. 2).

Таблица 2.

Система оценивания качества учебных переводов

Table 2.

Translation quality evaluation system

Количество грубых ошибок

Количество негрубых ошибок

Количество недочетов

Общее количество ошибок

Оценка

0

0

0–4

0–4

отлично

0

0–2

2–4

2–6

хорошо

0–2

0–4

2–4

2–10

удовлетворительно

> 2

>4

>4

>10

неудовлетворительно

Применяя данную систему подсчета баллов к системе оценки учебных переводов, получаем следующие критерии оценивания: оценка “неудовлетворительно” ставится, если текст после постредактирования не отвечает критериям качественно выполненного перевода, содержит более десяти ошибок, включая грубые ошибки (две и более), негрубые ошибки (четыре и более), недочеты (четыре и более); оценка “удовлетворительно” ставится, если текст после постредактирования содержит от двух до десяти ошибок, включая грубые ошибки (не более двух), негрубые ошибки (не более четырех), недочеты (от двух до четырех); оценка “хорошо” ставится, если текст после постредактирования отвечает основным критериям качественно выполненного перевода, однако содержит от двух до шести ошибок, включая недочеты (от двух до четырех); оценка “отлично” ставится, если текст после постредактирования отвечает всем критериям качественно выполненного перевода: стилистически и грамматически грамотный, с верной и точной передачей терминов, имен собственных, аббревиатур и реалий, а также содержит не более четырех недочетов.

В рамках данного исследования было выдвинуто предположение, что использование приведенной выше классификации переводческих ошибок может оптимизировать процесс оценивания качества перевода и постредактирования машинного перевода научных текстов и обеспечить наиболее адекватный и объективный результат. В начале исследования было проведено онлайн-анкетирование потенциальной целевой аудитории студентов, имеющее целью определить отношение студентов к использованию  инструментов на основе технологий ИИ для выполнения учебных заданий на перевод. В ходе анкетирования, проведенного в СПбПУ, было выявлено, что более 90% студентов для выполнения заданий по переводу используют машинные переводчики на основе ИИ, такие как DeepL, Reverso и BingMicrosoftTranslator, и более 62% студентов используют ИИ для написания и редактирования текстов. Результаты анкетирования показали, что предпочтение студенты отдают сайту DeepL (56%), качество перевода которого пока что выделяется среди всех остальных. Качество перевода DeepL превышает качество перевода Google за счет использования большего количества словарей, анализа данных и умения подобрать подходящее слово или фразу по контексту. Полезным инструментом современного переводчика является онлайн-сервис Reverso, который также позволяет увидеть контекст использования конкретных фраз. Искусственный интеллект на базе ChatGPT внедрен и в поисковый сервис Bing от Microsoft. 

В рамках опроса студенты также отметили ключевые преимущества использования систем на основе искусственного интеллекта в учебном процессе, отметив более эффективное усвоение нового материала благодаря автоматизации рутинных задач и персонализации учебных материалов. Улучшение качества образования было также отмечено как одно из преимуществ внедрения ИИ в образовательный процесс. Результаты данного анкетирования позволили нам сделать вывод, что интеграция технологий ИИ в образовательную деятельность может обеспечить повышение академической успеваемости студентов, сделать их более конкурентоспособными на рынке труда, а программы обучения – более современными и эффективными.

Далее, в рамках  исследования было проведено онлайн-анкетирование преподавателей перевода с целью определения наиболее приемлемой системы оценки качества учебных переводов научных текстов. В качестве материала был использован один фрагмент научного текста, переведенного с помощью машинного переводчика, и десять текстов, полученных в результате редактирования студентами текста перевода. Таким образом, преподаватели, участвующие в эксперименте, могли сопоставить текст оригинала, текст машинного перевода и версии редакторской правки в количестве десяти фрагментов. В целом, было отмечено, что представленные фрагменты научного текста соответствуют нормам переводящего языка и, в основном, не требуют значительной редакторской правки.  

Большинство участников опроса (57%) отметили, что при использовании привычной системы оценивания итоговая оценка была бы выше, поскольку экспертная оценка позволяет более точно определить все возможные искажения и нарушения стиля, норм адекватности и эквивалентности перевода. 30% преподавателей полагают, что результат оценивания был бы одинаковым при использовании как традиционной, так и экспертной системы оценки качества перевода. Оставшиеся 13% считают, что оценили бы качество перевода выше, если бы использовали систему оценки качество перевода, предложенную экспертами переводческой отрасли. При этом 85% опрошенных отметили, что экспертная система оценивания делает процесс выставления оценки более эффективным, а результат оценивания – более объективным, несмотря на то, процесс оценивания может занять больше времени.

Следующим этапом исследования  было проведение анкетного опроса студентов с целью определить эффективность экспертной системы оценки качества машинного перевода и выявления ошибок для последующего редактирования показал следующее: сохранение грамматической конструкции оригинала (подстрочник), бедность и однообразие синтаксических конструкций (64%);неточная передача смысла оригинала, допускающая двусмысленное толкование, логические ошибки (57%); пунктуационные и орфографические ошибки (89%).

В комментариях  участники исследования отметили, что использование экспертной системы оценивания и классификации переводческих ошибок помогает им более осознанно и ответственно подойти к процессу постредактирования машинного перевода, научиться читать текст “по-переводчески” и, в целом, оптимизировать процесс перевода. С учетом того, что технологии ИИ нашли значительное применение и в процессе обучения специалистов в области перевода, существует необходимость в постоянном обновлении учебно-методических материалов, разработке учебных пособий по переводу профессионально-ориентированных  текстов. В вузовской подготовке профессиональных письменных переводчиков все более актуальным становится владение корпусами тематической лексики, принципами создания  переводческого глоссария на основе современных цифровых технологий. 

Преподавателями Высшей школы лингвистики и педагогики СПбПУ было разработано учебно-методическое пособие для студентов, обучающихся в рамках переводческих программ: «Переводческий практикум: лингвистические технологии и цифровые инструменты» [16]. Пособие знакомит студентов с терминологий и предметной лексикой по актуальным тематическим разделам, содержит разнообразные задания для развития переводческих и редакторских компетенций. В вузовской подготовке профессиональных письменных переводчиков все более актуальным становится владение корпусами тематической лексики, принципами создания переводческого глоссария на основе современных цифровых технологий. 

Учебные задания пособия также нацелены на развитие навыков работы с нейронными сетями, включая технологии на основе GPT, Deepl и CAT-системы. Теоретический блок включает основные сведения о цифровом инструментарии переводчика, а также методологические рекомендации по использованию данных технологий в процессе обучения переводу. Практическая часть включает модули с текстами и заданиями по следующим темам: «IT-технологии», «САТ-системы», «AI-технологии»,  «Компьютерная лингвистика». Значительное внимание уделяется методикам постредактирования машинного перевода и системам и критериям оценки качества перевода научных и публицистических текстов, выполненного с использованием систем автоматического перевода на основе нейронных сетей.

Заключение. Проведенное исследование показало, что, несмотря на значительные достижения GPT в области автоматического перевода, тексты, переведенные с помощью данной технологии, по-прежнему требуют значительного постредактирования. Это касается так называемых ложных друзей переводчика и единиц перевода, которые требуют применения контекстуальной замены. Студенты проявили высокий уровень лояльности к машинному переводу и его последующему постредактированию, и оценили их как полезный инструмент, упрощающий работу с научным текстом, который может представлять для студентов определенную трудность на уровне понимания смысла. В ходе данного исследования был проведен анализ различных подходов к оцениванию качества перевода  и качества постредактирования машинного перевода научных текстов и предложена эффективная система оценки качества учебных переводов англоязычных научных текстов. Результаты исследования показали, что и преподаватели перевода, и студенты, получающие квалификацию переводчика, осознают необходимость использования в учебном процессе экспертной системы оценивания качества перевода и редактирования, а также высоко оценивают ее эффективность.

[1]Руководство по постредактированию машинного перевода Общества пользователей автоматического перевода TAUS // TAUS

[2]PROMT. Available at: https://www.promt.ru/images/postediting.pdf

[3]MEMSOURCE Efficient MTPE Training // YouTube. URL: https://youtu.be/6H3o7MZOVds?t=331

[4]Письменный перевод. Рекомендации переводчику и заказчику // Национальная лига переводчиков. https://www.russian-translators.ru/projects/metodologicheskie-rekomendatsii/01/