Оцінка якості машинного перекладу

Краткое содержание

У Вступі обґрунтовано вибір теми, її актуальність, визначено об’єкт та предмет дослідження, окреслено мету й конкретні завдання, описано його матеріал, методологічні засади й методи дослідження, висвітлено наукову новизну, теоретичне та практичне значення роботи, її структуру й апробацію.

У першому розділі „Сучасна методологія оцінки систем машинного перекладу” обґрунтовується необхідність розмежування методів оцінки якості машинного та традиційного перекладів. Оскільки МП часто є проміжною ланкою у процесі здійснення перекладу і робить лише частковий внесок у створення кінцевого продукту, то ізольоване порівняння з програмним продуктом, який було виконано без його участі, є досить складним і нерідко недоречним. Традиційний і машинний переклади здебільшого різняться метою їх виготовлення. У сучасних умовах розвитку галузі машинний переклад часто виконується лише як чернетка для отримання загальної інформації або для подальшого застосування з використанням постредагування.

Спроби врахувати максимальну кількість найсуттєвіших чинників, що впливають на концепцію побудови оцінки якості МП, наштовхнули на ідею використання двох стратегій оцінки, які доповнюють одна одну, а саме, до макро- та мікрооцінки. Макрооцінка спрямована на виявлення обсягу, в якому МП відповідає суттєвим специфічним вимогам та потребам і, відповідно, уявленням про адекватність перекладу зацікавленої сторони. Таким чином, у процесі макрооцінки розглядається відношення між продуктом та його користувачем. Мікрооцінка передбачає пошук недоліків СМП, виявлення їх причин та можливостей усунення. Тут діалектичною парою є продукт та система.

Мету оцінки в рамках цього дослідження можна визначити таким чином: це перевірка лінгвістичної потужності систем „Плай” і „Прагма” та ступеня їх „зрілості” як комерційного продукту, а також ефективність їх використання для покращення продуктивності перекладацької праці. Насамперед досліджується лінгвістичний аспект, а лише потім технічна функціональність СМП. Кожна оцінка здійснюється на основі своєї мовної пари: перша – в межах німецько-українського напрямку перекладу, а друга – російсько-українського.

Для німецько-української мовної пари оцінка складається також із двох частин: лінгвістичної та продуктивної. У першій частині докладно досліджується лінгвістична потужність системи „Прагма 4.4”, на основі якої робляться висновки про причини появи помилок у перекладах та принципові можливості їх усунення для покращення роботи СМП. Лінгвістична оцінка побудована на основі тестових збірок речень, що містять звичайні явища німецької граматики й синтаксису, які мають українські відповідники, та конструкції, які не мають прямих відповідників в українській мові.

Після першого перекладу тестової збірки оцінюється та аналізується кожний мовний феномен, який перевірявся під час перекладу. Оцінка формувалася за такою шкалою: оцінка „5” виставлялася системі у разі вдалого перекладу мовного феномена та решти речення; оцінку „4” система отримувала у випадку, коли перекладала мовний феномен, що тестується, правильно або з незначними недоліками, проте робила певні помилки в іншій частині/частинах речення; оцінку „3” ми ставили у разі значних недоліків перекладу тестованого феномена, а також якщо помилки певним чином впливали на розуміння тексту перекладу, а оцінку „2” – якщо система взагалі не перекладала мовний феномен. Після оцінки всіх речень „тест-с’юту” робиться аналіз причин помилок та складаються додаткові тестові речення для перевірки гіпотез, які виникли під час аналізу. Потім здійснюється кодування словника СМП з метою її налаштування та покращення якості перекладу. На основі доповненого лексикону система перекладає тестову збірку речень ще раз. Далі відбувається повторний аналіз, визначається ступінь покращення або погіршення якості та формулюються можливі пропозиції розробникам. Останній крок тестування системи – це надання розробникам результатів оцінки для виправлення наявних помилок та (якщо доречно) для зміни певних алгоритмів у її роботі.

Продуктивна частина оцінки полягає у виявленні кількісних даних щодо придатності СМП „Прагма” як інструменту, призначеного для скорочення часу перекладу. Для цього експериментальною групою перекладачів були перекладені документи ЄС, вміщені на офіційному сайті Євросоюзу. Кожен уривок перекладався двічі двома різними пробандами: один раз за допомогою „Прагми”, а другий – звичайним способом з використанням паперових словників або навіть електронних засобів, але не СМП та систем перекладацької пам’яті. Для кожного пробанда вимірювався час, затрачений на виготовлення свого перекладу. Таким чином мав бути визначений час, заощаджений перекладачем завдяки використанню СМП, якщо таке заощадження взагалі мало місце. Порівняння часу здійснювалося на двох рівнях: на рівні текстів та на рівні пробандів, що має принаймні зменшити статистичну помилку, зумовлену тим, що через суб’єктивні чинники різні перекладачі потребують для перекладу ідентичного тексту неоднакову кількість часу. Крім того, оцінювалися три „суб’єктивні” критерії – зрозумілість, правильність та прийнятність.