Оцінка якості машинного перекладу

brief description

Київський національний університет
імені Тараса Шевченка

На правах рукопису

Бірюков Артем Валентинович

УДК: 811.112.2=03:004.934

Оцінка якості машинного перекладу

Спеціальність: 10.02.16 перекладознавство

Дисертація на здобуття наукового ступеня
кандидата філологічних наук

Науковий керівник:
Карабан В’ячеслав Іванович,
доктор філологічних наук,
професор

Київ - 2007

ЗМІСТ

ВСТУП..............................................................................................................5
РОЗДІЛ 1. СУЧАСНА МЕТОДОЛОГІЯ ОЦІНКИ СИСТЕМ МАШИННОГО ПЕРЕКЛАДУ.............................................................................16
1.1. Поняття якості перекладу та її оцінки.....................................................16
1.2. Відмінність методів оцінки машинного перекладу
від критики традиційного перекладу...................................................................20
1.3. Систематичні та методичні підходи до оцінки якості
машинного перекладу...........................................................................................24
1.3.1. Класифікаційна схема Дж. ван Слайпа..............................................25
1.3.2. Типологія Дж. Лербергера і Л. Борбю...............................................27
1.3.3. Критерії оцінки А. Рінше....................................................................28
1.3.4. Підхід М. Васконселос........................................................................31
1.3.5. Оцінка якості за Ю.Марчуком та П.Хроменковим........................31
1.3.6. Новітні дослідження з оцінки якості машинного перекладу...........34
1.4. Критичний огляд існуючих методів оцінки............................................39
1.4.1. Оцінка якості машинного перекладу в мікроплощині.....................39
1.4.2. Оцінка якості перекладу в макроплощині.........................................41
1.5. Суб’єкт здійснення оцінки ......................................................................55
1.6. Попередні практичні оцінювання систем машинного перекладу........58
1.7. Оцінка якості перекладу, застосована в цій роботі................................64
1.7.1. Концепція оцінки якості машинного перекладу для
німецько-українського напрямку (СМП „Прагма 4.4”).....................................65
1.7.2. Концепція оцінки якості машинного перекладу для російсько-українського мовного напрямку (СМП „Плай 4.0” та „Прагма 4.4”)...............70
ВИСНОВКИ ДО ПЕРШОГО РОЗДІЛУ......................................................72
РОЗДІЛ 2. ОЦІНКА ЯКОСТІ ВІТЧИЗНЯНОЇ СИСТЕМИ МАШИННОГО ПЕРЕКЛАДУ „ПРАГМА 4.4” (німецько-український НАПРЯМОК ПЕРЕКЛАДУ)................................................................................74
2.1. Оцінка СМП „Прагма 4.4” (німецько-український напрямок перекладу)..............................................................................................................74
2.2. Перший перебіг процесу перекладу та його оцінка на основі тестових збірок......................................................................................................................76
2.3. Кодування словника користувача, розширення тестової збірки та другий перебіг процесу перекладу.....................................................................96
2.4. Оцінка пілотної версії СМП „Прагма” після усунення виявлених помилок................................................................................................................100
2.5. Оцінка продуктивності СМП „Прагма 4.4” як інструмента для швидшого створення якісних перекладів..........................................................109
ВИСНОВКИ ДО ДРУГОГО РОЗДІЛУ......................................................115
Розділ 3. „Оцінка якості вітчизняних СМП „Прагма 4.4”
та „Плай 4.0” з російської мови українською”...........................119
3.1. Оцінка якості системи МП „Прагма 4.4” (російсько-український напрямок перекладу)...........................................................................................125
3.2. Оцінка якості СМП „Плай 4.0” (російсько-український напрямок перекладу)............................................................................................................148
3.3. Порівняння якості СМП „Прагма 4.4” та „Плай 4.0” (російсько-український напрямок перекладу).....................................................................161
ВИСНОВКИ ДО ТРЕТЬОГО РОЗДІЛУ....................................................182
ЗАГАЛЬНІ ВИСНОВКИ.............................................................................185
СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ....................................................191
СПИСОК ДЖЕРЕЛ ДОСЛІДЖЕННЯ.......................................................214

ПЕРЕЛІК ТЕРМІНІВ І СКОРОЧЕНЬ
Автоматичний словник сукупність лексичних одиниць у вигляді програмного забезпечення, що використовується для перекладу текстів однієї природної мови іншою.
Бета-версія, пілотна версія версія системи машинного перекладу, яка перебуває ще у стані розробки й не пропонується для комерційного вжитку.
Кодування словника, коректор словника операції з поповнення автоматичного словника новими лексемами або додавання варіантів до вже існуючих перекладів.
Лінгвістичний процесор програмно-технічний комплекс перетворення текстів природною мовою у формалізм, який розуміє комп’ютер та те саме у зворотному напрямі.
Машинний переклад (МП), або автоматичний переклад (АП), або комп’ютерний переклад (КП) дія, що виконується на комп’ютері, в основі якої лежить перетворення тексту однією природною мовою в еквівалентний текст іншою природною мовою, а також результат такої дії.
Макрооцінка дослідження ефективності нелінгвістичних аспектів системи, покликаних полегшити інтерактивний діалог користувача з системою.
Мікрооцінка дослідження лінгвістичних помилок системи, причин їх виникнення та можливих шляхів їх усунення.
Пробанд особа, що залучена до експерименту з оцінки якості машинного перекладу.
Система машинного перекладу (СМП), або електронний чи комп’ютерний перекладач програмно-технічне забезпечення для перекладу друкованих або усних текстів.
Системний інженер розробник системи машинного перекладу.
Тест-с’ют тестова збірка речень, що містить певні, як правило, складні для електронного перекладача феномени для перевірки його якості.
Трансфер міжмовне перетворення, міжмовна операція.

ВСТУП

Характерними тенденціями у сучасному суспільстві є процеси глобалізації та інформатизації, які призводять до збільшення й спрощення міжнародних зв’язків і контактів. Розширення глобальної мережі Інтернет надає всі умови для інтернаціонального спілкування, починаючи з традиційного листування до голосової та відеокомунікації. Єдиною перешкодою на цьому шляху залишається мовний бар’єр, подолання якого за допомогою традиційного перекладу не розв’язує проблеми повністю, оскільки обсяг перекладів у світі постійно зростає, і навіть збільшення кількості перекладачів не в змозі повністю задовольнити потреби в перекладах. Тотальна комп’ютеризація всього світу та гонитва за новими потужностями серед розробників, удосконалення й вихід нових версій продуктів, спроби створити програмне забезпечення максимально сумісним з низкою інших приладів і програм, інші інновації індустрії й технічного прогресу майже щодня виводять на ринок нові продукти, які мають бути описані й перекладені якомога більшою кількістю мов для донесення до кінцевого користувача і збільшення обсягів продажу. Мінімоделлю глобалізації всього світу є Європейський Союз із 25 офіційними мовами та 600 напрямками перекладу. Обсяг перекладів ЄС минулого року сягнув майже мільйона сторінок, і на офіційному сайті й зараз пропонуються вакансії для перекладачів, які володіють мовами нових країн-членів Європейського Союзу.
Однією з можливостей подолання мовного бар’єру у спілкуванні є застосування систем машинного перекладу (СМП) як засобу підвищення продуктивності перекладацької праці. 70% перекладачів ЄС розглядають застосування подібних систем цілком позитивно і зазначають, що це дає їм змогу заощаджувати до 30% робочого часу. Чинником, що впливає на негативне ставлення решти перекладачів Євросоюзу, є якість машинного перекладу. Півстоліття існування машинного перекладу (МП) принесло, з одного боку, чітке усвідомлення неможливості на сьогодні високоякісного машинного перекладу, проте, з іншого боку, не чути вже й сумнівів щодо доцільності застосування подібних засобів. Протягом цього часу в усьому світі розроблялись та удосконалювались залежно від суспільної зацікавленості більш або менш активно десятки систем машинного перекладу, залучались значні фінансові, людські та адміністративні ресурси, що дозволило накопичити значний досвід як теоретичного, так і практичного плану. Оцінка якості є важливою для визначення стану речей, для встановлення пріоритетів подальшого розвитку галузі, для пошуку можливостей удосконалення якості перекладів, що врешті-решт має підняти продуктивність перекладацької праці на вищий рівень і зробити ще один крок у напрямку подолання мовних бар’єрів. У методологічному плані оцінка якості є важливою для теорії машинного перекладу як засобу рефлектування та перевірки певних положень, тобто як його критика.
Наше дослідження спирається на сучасні праці з оцінки якості машинного перекладу (Галер, 2005; Карабан, 2001; Марчук, 2000; Ринше, 1993; Шефер, 2002; Хроменков, 2000) та праці з оцінки якості інших систем автоматичної обробки текстової інформації (Карстенсен, 2004; Коваль, 2002; Нюбель, 1998).
Актуальність дослідження. Характеристики розробників СМП досить часто містять завищену оцінку власного продукту, що призводить до розчарувань з боку користувачів та виникнення непорозумінь, пов’язаних із невідповідністю очікувань щодо реального кінцевого продукту машинного перекладу. Каменем спотикання між обома групами є якість машинного перекладу, що й обґрунтовує вибір теми дослідження. Актуальність дослідження підтверджує і наявність великої кількості експериментів, проведених на основі тієї чи іншої системи перекладу (Брокман, 1995; Канічев, 1998; Кехлінг, 1993; Москович, 1970; Осієвський, 2004; Пилипенко, 2002; Суханова, 1997; Тчеке, 1993). Проте, слід констатувати, що всі вони містять різні методологічні підходи до питання оцінки якості, або такі підходи відсутні взагалі, а оцінка проводиться на основі механічного підрахунку помилок. Питання систематизації та критичного огляду методів оцінки якості машинного перекладу, їх узагальнення залишається й досі не вирішеним.
Зв’язок з науковими програмами, планами, темами. Дисертаційна робота виконана в рамках теми, що розробляється в Інституті філології Київського національного університету імені Тараса Шевченка „Розвиток і взаємодія мов та літератур в умовах глобалізації” (код 06 БФ 044-01), затвердженої Міністерством освіти і науки України.
Мета дослідження визначити релевантні методи оцінки якості та протестувати вітчизняні системи машинного перекладу „Плай” та „Прагма” в межах німецько-української та російсько-української мовних пар; виявити потенційні можливості покращення якості машинного перекладу й визначити реальну користь від застосування СМП для кінцевого користувача. Головними показниками, на основі яких вимірювалась якість перекладу, були лінгвістичні критерії. Додатково застосовувались також екстралінгвістичні фактори.
Досягнення мети дослідження передбачало реалізацію таких завдань:
визначення поняття „якість” щодо машинного перекладу та поняття „оцінка” і характер її проведення для встановлення якості машинного перекладу;
критичний аналіз чинних теоретичних і практичних методів оцінки якості МП;
створення власної концепції оцінки якості машинного перекладу з урахуванням найважливіших чинників, що впливають на її проведення;
укладання тестових збірок речень з якомога більшою кількістю граматичних труднощів перекладу для німецько-українського та російсько-українського мовних напрямків;
підбір тестових речень з ускладненими синтаксичними конструкціями для російсько-українського мовного напрямку з мережі Інтернет;
виявлення хиб машинного перекладу, встановлення причин їх виникнення та, по можливості, шляхів усунення;
визначення мовних рівнів, які становлять найбільш значні проблеми для електронних перекладачів у зазначених напрямках перекладу;
оцінка якості систем машинного перекладу на основі запропонованого методу та порівняння якості перекладу СМП „Плай” і „Прагми”.
Об’єктом дослідження є переклади, виконані за допомогою вітчизняних систем машинного перекладу „Плай” та „Прагма”, які вивчаються, досліджуються й оцінюються за принципом „чорної скриньки”, основне положення якого полягає у цілковитій відсутності будь-якої інформації щодо алгоритмів роботи системи, її граматик та внутрішньої побудови.
Предметом дослідження є якість перекладу, методика її оцінки та можливості її покращення.
Матеріалом дослідження слугували укладені власноруч тестові збірки речень з максимальною кількістю мовних конструкцій, які, ймовірно, становлять складнощі для електронного перекладача, а також тексти з мережі Інтернет, яка найбільш динамічно реагує на мовні перетворення сучасності. Усього проаналізовано 3224 пар речень (з них 1070 пар речень у німецько-українському напрямку перекладу і 2154 пари речень у російсько-українському напрямку перекладу). Оцінка перекладів виконана на основі ліцензованих програм, придбаних у ВАТ „Трайдент Софтвер” та „МТ”.
Методика дослідження фактичного матеріалу є комплексною. Використано такі методи:
аналітично-описовий, який дав змогу вивчити об’єкт дослідження, виявити його структурно-семантичні особливості;
кількісно-статистичний, завдяки якому встановлено відсоткове співвідношення позитивних та негативних перекладів;
комплексний порівняльно-перекладознавчий і семантичний аналіз, трансформаційний і контекстуальний методи, на основі яких виправлені помилки машинного перекладу та встановлені певною мірою причини їх виникнення.
Наукова новизна одержаних результатів полягає в тому, що:
вперше у вітчизняному перекладознавстві зроблено достатньо повний опис методів оцінки якості машинного перекладу, на основі чого здійснено широку класифікацію чинників, які мають вплив на проведення оцінки якості МП;
вперше розроблена концепція оцінки якості перекладу, яка дозволяє одночасно оцінити мовну якість перекладеного тексту та користь від застосування машинного перекладу для конкретного користувача;
вперше в межах німецько-української мовної пари здійснено спробу відшукати причини конкретних помилок машинного перекладу та запропоновані можливі шляхи їх усунення;
вперше показані реальні можливості покращення якості перекладу за умови тривалої експлуатації системи;
під час аналізу перекладів на основі застосування методу „чорної скриньки” визначений тип тестованих систем та обсяг їх лінгвістичного забезпечення;
вперше створені тестові збірки речень німецькою та російською мовою для перевірки машинного перекладу українською мовою з великою кількістю мовних феноменів, які можуть застосовуватися для тестування інших систем або мовних напрямків;
вперше для російсько-українського мовного нарямку розроблена детальна класифікація помилок МП з визначенням їх „ваги”, впливу на загальну якість перекладу та ймовірного етапу роботи системи, який спричинив конкретну помилку;
на основі детального лінгвістичного аналізу виявлена краща вітчизняна СМП для російсько-української мовної пари.
Теоретичне значення результатів дослідження полягає в тому, що вони є внеском у формування та вдосконалення понятійного апарату теорії машинного перекладу, зокрема, у дослідження критики машинного перекладу. Визначено поняття „оцінка якості машинного перекладу” та узагальнені чинники, що впливають на методику оцінювання СМП. Розширена концептуальна база методів і підходів до оцінки якості комп’ютерного перекладу та сформульвана методологія оцінки. Обґрутовані доцільні види оцінок, що спрямовані на дослідження лінгвістично-перекладацького потенціалу системи та користі від її застосування.
Практична цінність одержаних результатів полягає у тому, що вони можуть використовуватися для покращення якості машинного перекладу з німецької та російської мов українською мовою; у виявленні „слабких місць” СМП, що протестовані в цій роботі, та визначенні шляхів їх усунення й удосконалення розробниками систем. Результати роботи можуть стати корисними для викладання курсів зі вступу до перекладознавства, теорії та практики перекладу, спеціальних курсів з машинного перекладу, інформаційних технологій у перекладацькій діяльності, для підготовки відповідних підручників і посібників, а також для потенційних користувачів систем машинного перекладу, які планують їх придбати, й на основі цього дослідження можуть зробити висновки щодо приблизних очікуваних результатів. Матеріали дисертації використано у виданих методичних рекомендаціях до вивчення курсу „Машинний переклад та оцінка його якості Запоріжжя, 2006”, що вже використовується в навчальному процесі в Гуманітарному університеті „Запорізький інститут державного та муніципального управління”.
Апробація результатів дисертації. Результати дослідження апробовані на тринадцяти Міжнародних наукових конференціях: „Проблеми синтезу в культурі” в Таврійському національному університеті ім. В.І. Вернадського у 2002 р., „Проблеми прикладної лінгвістики” в Одеському національному університеті ім. І.І.Мечникова у 2003 р., „Молодь, освіта, наука, культура і національна свідомість” (м. Київ, березень 2003 р., квітень 2004 р.), „Загальні питаня філології” в Дніпропетровському національному університеті у 2004р., „Методологічні проблеми сучасного перекладу” в Сумському державному університеті у 2004 р., „Людина. Мова. Комунікація” в Харківському національному університеті ім. В.Н. Каразіна у 2004 р., „Дні науки в Гуманітарному університеті „Запорізький інститут державного та муніципального управління” (м. Запоріжжя, жовтень 2002 р., 2003 р., 2004 р., 2005 р., 2006 р.), „Горизонти прикладної лінгвістики та лінгвістичних технологій” (АРК, м. Партеніт, вересень 2006 р.) та на щорічних наукових семінарах викладачів й аспірантів кафедри німецької філології Гуманітарного університету „Запорізький інститут державного та муніципального управління”.
Публікації. Основні положення і висновки дисертації висвітлені в п’ятьох самостійних наукових статтях, опублікованих у фахових виданнях України:
1. Система оцінки якості машинного перекладу // Вісник Сумського державного університету. Серія: Філологічні науки. Суми: СумДУ, 2004. №3. С. 42-48.
2. Підвищення ефективності та якості перекладацької праці як результат використання текстових та мовленнєвих лінгвістичних процесорів // Вісник Запорізького державного університету. Серія: Філологічні науки. Запоріжжя: ЗДУ, 2004. № 1. С. 20-27.
3. Оцінка якості вітчизняних систем машинного перекладу з українсько-російською мовною парою // Гуманітарний вісник. Серія: Іноземна філологія: Всеукр.зб.наук.праць. Черкаси: ЧДТУ, 2005. № 9. С. 352-356.
4. Розробка методів оцінки якості машинного перекладу на основі результатів досліджень з оцінки якості перекладу традиційного // Культура народов Причерноморья. Серия: Филологические науки. Симферополь: ТНУ, 2004. №55. С. 100-105.
5. Оцінка якості системи машинного перекладу „Прагма 4.4” з німецько-українською мовною парою // Studia Methodologica. Тернопіль: Ред.-видавн. відділ ТНПУ, 2006. № 18. С. 61-64.
Особистий внесок дисертанта полягає в тому, що:
створена власна концепція оцінки якості МП в межах російсько-українського мовного напрямку;
вперше докладно оцінена лінгвістична компонента вітчизняних систем машинного перекладу;
в рамках німецько-українського напрямку перекладу визначена реальна користь від застосування СМП для кінцевого користувача.
Основні положення та результати дисертації одержані автором самостійно.
На захист винесено такі положення:
1. Поняття „оцінка якості” в теорії машинного перекладу слід визначати на основі двох компонентів: оцінки користі й ефективності системи для користувача та оцінки її лінгвістично-перекладацького потенціалу. Останню слід досліджувати на основі не лише того, як система працює зараз, а й на основі її потенційних можливостей вдосконалювати свої показники шляхом „навчання” та налаштування на специфічні вимоги конкретного споживача. Для пересічних користувачів локальних та мережних СМП найбільш типовою є „макрооцінка”; для перекладознавців та мовознавців, які досліджують мовну якість кінцевого продукту „мікрооцінка”; для розробників та професійних перекладачів, що збираються друкувати перекладені тексти, обидва вищеназвані види.
2. Концепція оцінки зрілих СМП (зрілих мовних напрямків перекладу) має враховувати вагу окремих помилок та ступінь складності мовного рівня для комп’ютерного перекладача. Оскільки безпомилкова робота СМП на даному етапі розвитку є неможливою, оцінку лінгвістично-перекладацького потенціалу системи пропонується будувати так, щоб виявити насамперед грубі помилки, які викривлюють зміст або унеможливлюють розуміння перекладеного тексту. Виправлення цих помилок розробниками має привести до того, що наявність решти хиб і недоліків МП не перешкоджатиме розумінню вихідного речення та не викривлюватиме його зміст, що для користувача часто є найважливішою вимогою до СМП.
3. Російсько-український напрямок є найрозвиненішим для провідних вітчизняних систем машинного перекладу. В межах цього напрямку перекладу відсутні граматичні конструкції, які є не відомі тестованим системам „Плай 4.0” та „Прагма 4.4”. Помилки, що припускають системи в цій мовній парі, не потребують кардинальних змін алгоритмів і можуть бути виправлені шляхом якісного поповнення автоматичного словника.
4. У межах німецько-українського мовного напрямку переклад „Прагми 4.4” дає змогу підвищувати ефективність перекладацької праці та заощаджувати час на виготовлення перекладу, якщо йдеться про переклад подібних текстів у разі детального ознайомлення з принципами роботи цього комп’ютерного перекладача та його налаштування на специфіку власної професійної діяльності.
5. Якнайкраще пошук причин виникнення помилок відбувається на основі тест-с’ютів. Часто встановлення цих причин є можливим навіть без доступу до внутрішніх програм та алгоритмів побудови системи. Найсуттєвішими для розуміння в межах російсько-української мовної пари є лексичний рівень, а в межах німецько-української мовної пари лексичний і синтаксичний рівні. Помилки на контекстуальному рівні є найбільш численними, проте у своїй більшості вони не спотворюють розуміння оригіналу.
6. Серед етапів роботи проаналізованих систем машинного перекладу найслабкішим є етап автоматичного аналізу. Помилки, що виникають на цьому етапі, призводять, як правило, до грубих помилок у перекладі, що спотворюють або унеможливлюють розуміння вихідного речення. Помилки, що виникають під час трансферу та синтезу речення мовою перекладу, є здебільшого дрібними й ускладнюють читабельність або розуміння перекладу, але не викривлюють його.
7. Перспективи вдосконалення оцінки якості машинного перекладу полягають у детальнішій класифікації помилок та у дослідженні ступеня важливості певного мовного рівня щодо ваги кожної окремої помилки в межах інших мовних напрямків перекладу.
Структура дисертації визначається викладеними вище цілями і завданнями дослідження. Дисертаційна робота складається зі вступу, трьох розділів та висновків до них, загальних висновків, списку використаних джерел та 11 додатків. Загальний обсяг дисертації становить 215 сторінок, обсяг основного тексту дисертації 190 сторінок. Список використаних джерел складається з 252 найменувань наукових праць українських і зарубіжних авторів.
У вступі обґрунтовано вибір теми, її актуальність, визначено об’єкт і предмет дослідження, окреслено мету й конкретні завдання, описано його матеріал, методологічні основи й методи дослідження, висвітлено наукову новизну, теоретичне і практичне значення роботи.
У першому розділі „Сучасна методологія оцінки систем машинного перекладу” критично розглядаються відомі в сучасній науці підходи до оцінки якості машинного перекладу, практичні оцінки, проведені різними установами, та обґрунтовується власний підхід, застосований в цій роботі.
У другому розділі „Оцінка якості вітчизняної системи машинного перекладу „Прагма 4.4” (німецько-український напрямок перекладу)” на основі тестової збірки речень і опитувань потенційних користувачів проведено оцінку якості системи машинного перекладу „Прагма” та визначені принципові можливості покращення якості перекладу за умови її тривалої експлуатації.
У третьому розділі „Оцінка якості вітчизняних СМП „Прагма 4.4” та „Плай 4.0” з російської мови українською” на основі розробленої автором концепції проведено оцінку та порівняльний аналіз систем „Плай” і „Прагма” в межах російсько-українського мовного напрямку.
У загальних висновках підсумовуються результати проведеного дисертаційного дослідження й окреслюються перспективи подальших розвідок з обраної тематики.
У додатках обсягом 264 сторінки наведено збірки тестових речень, що використовувалися для оцінки СМП, тексти для опитування потенційних користувачів, а також переклади досліджуваних систем з авторською правкою й без неї.

bibliography

ЗАГАЛЬНІ ВИСНОВКИ

На основі проведеного дослідження можемо зробити такі висновки:
1) Відсутність єдиної концепції щодо оцінки якості машинних перекладів незабаром призведе, на нашу думку, до їх диференціації на більш та менш популярні. Широкий загал будуть цікавити, насамперед, комплексні оцінки, які оцінюють не власне машинний переклад, як це було здійснено в нашій роботі, а додатково ще саму систему, її зручність, перспективність та ефективність. Лінгвістичні оцінки використовуватимуть для перевірки прогресу в галузі та підтвердження або спростування положень, що лягли в основу концепції внутрішньої побудови системи машинного перекладу. Причиною меншої популярності детальної лінгвістичної оцінки може стати її складність та тривалість у часі і, найголовніше, необхідність залучення кваліфікованих мовознавців для її проведення. Зміцнити вагу лінгвістичної оцінки можуть самі розробники, за умови залучення досвідчених перекладачів для проведення спільних оцінок. На сьогодні інтерес вітчизняних розробників СМП до таких проектів є не дуже великим, внаслідок чого оцінки часто здійснюють просто з цікавості, до того ж не завжди компетентно. Такі оцінки, як правило, надають досить загальну інформацію, яка практично не дає конкретному користувачеві очікуваної інформації щодо того, наскільки відповідатиме перекладений комп'ютером текст його специфічним вимогам до якості.
2) Стосовно німецько-українського напрямку, в рамках якого ми тестували „Прагму 4.4”, можна відзначити таке: на сучасному етапі розробки ця система є поки що радше перешкодою для перекладача, а не серйозною допомогою, і суттєво поступається в можливостях роботи оператора системи з перекладеними текстами європейським системам машинного перекладу. Пов’язано це, насамперед, з досить молодим віком системи, і є цілком закономірним (СМП „Систран”, яка використовується для перекладів Єврокомісією, розробляється вже 50 років і має ще і тепер багато недоліків). Система випущена на комерційний ринок недоопрацьованою, що сталося лише через відсутність конкуренції на українському ринку. Для комерційної системи, що має свою ринкову ціну, кількість невідомих „Прагмі 4.4” конструкцій є надто великою.
3) Головним недоліком системи „Прагма 4.4” як інструмента для покращення продуктивності перекладацької роботи, насамперед, є дуже обмежені можливості коректора словника. Всі, хто професійно займається перекладом, можуть суттєво полегшити перебіг цього процесу, якщо налаштують словник системи відповідно до своєї специфічної галузі. Проте суттєвого покращення якості лише на основі внесення окремих слів навряд чи можна очікувати. Після кодування словника система „знає” набагато більше слів, проте на фоні загальної низької якості автоматичного аналізу позитивний ефект збільшення лексикону системи не має суттєвої ваги. Значно більших шансів для покращення якості надавала б користувачеві навіть можливість кодування словосполучень. Однак наразі в рамках цього мовного напрямку цього досягти неможливо.
4) Механізм автоматичного генерування словоформ потребує суттєвого доопрацювання. Користувачеві зручніше та корисніше було б робити це мануально, оскільки часто генерування словоформ системою призводило до того, що в словниковій статті зберігалась певна кількість абсолютно зайвих словоформ, а вживані й необхідні не були прогенеровані взагалі. За таких умов ця функція є по суті навантаженням на психіку перекладача, а не інструментом для автоматизації копіткої роботи.
5) Не працює функція додавання словникових статей безпосередньо з перекладеного документу. У посібнику користувача зазначено, що при подвійному натисканні правої клавіші „миші” на невідомому слові з’являється „віконце” для додавання словникових статей, після внесення слова до словника його колір змінюється з червоного на чорний [65, 33]. Ця функція є дуже зручною й корисною для заощадження часу при редагуванні перекладу. На практиці все насправді так і відбувається, але тільки після збереження слова в словнику при повторному перекладі щойно введенні слова знову стають невідомими системі.
6) Якість перекладу вітчизняних систем „Плай” і „Прагма” в межах російсько-українського мовного напрямку є в цілому доброю і безумовно надає перекладачеві істотні можливості для покращення продуктивності його праці. Обидві системи мають приблизно однакові показники і можуть бути рекомендовані для використання всім, хто працює з цими двома мовами. Проте доводиться визнати, що процес удосконалення обох систем відбувається дуже повільно. Величезна кількість помилок має механічний характер і для їх усунення розробники не потребують ні творчих рішень, ні зміни алгоритмів роботи програмного забезпечення. Насамперед, йдеться про якісне поповнення автоматичного словника, за рахунок чого можна б було запобігти величезної кількості помилок контекстуального рівня, на якому обидві системи припускаються максимальної кількості помилок. Впевнено стверджувати про відсутність необхідності зміни програмних компонентів системи нам дозволяє наявність значної кількості вдалих перекладів сталих словосполучень, що свідчить про принципову можливість вирішення цього завдання, принаймні його більшої частини. Цілком зрозумілою є повільність цього процесу для системи „Прагма”, яка з моменту свого застосування виконувала переклад трьома мовами у будь-якій конфігурації, що потребує створення не двох (як у „Плай”), а шести напрямків перекладу (англо-укр., англо-рос., укр.-англ., укр.-рос., рос.-укр., рос.-англ.). Із виходом третьої та четвертої версій системи було додано ще дві мови німецьку та латиську, що збільшує кількість напрямків перекладу до 20(!), кожен з яких містить свої локальні завдання і потребує відповідного тестування для подальшого вдосконалення та доопрацювання. Отже, розробники „Прагми” пішли, так би мовити, „вшир”, що, безумовно, принесе свої дивіденди за рахунок залучення значної кількості користувачів, які працюють з нещодавно доданими до системи мовами, знову-таки за умови послідовного покращення якості перекладу. Оскільки творці системи „Плай” не працюють над розширенням своєї системи в інших напрямках, то логічним продовженням такої політики була б робота „вглиб” із динамічним удосконаленням системи на всіх етапах її роботи та на кожному мовному рівні. На жаль, такої динаміки наразі не простежується, внаслідок чого можемо зробити припущення, що за умови збереження цієї тенденції, „Прагма” з часом витіснить свою конкурентку з ринку за рахунок своєї багатомовності.
7) Гіпотеза роботи про найбільшу складність синтаксичного і лексичного рівнів для електронних перекладачів підтверджується лише частково. На основі проаналізованих перекладів можемо зробити висновок, що важливим чинником для вдалого перекладу елементів певного мовного рівня системою є ступінь віддаленості між мовами, що задіяні в процесі перекладу. Так, в межах російсько-українського мовного напрямку вирішальне значення має лексичний рівень. Сурядні та підрядні зв'язки між реченнями в межах синтаксичного рівня не є для систем складними, і майже завжди перекладаються бездоганно. Іншою є ситуація з німецько-українською мовною парою. Лексичний рівень хоча і залишається досить вагомим, проте значно більше ускладнюють розуміння перекладеного тексту помилки синтаксичного характеру. Контекстуальний рівень є суттєвою проблемою для російсько-українського напрямку перекладу лише щодо кількості помилок. Щодо впливу на розуміння перекладеного тексту, то маємо відзначити таке: помилки контекстуального рівня, незважаючи на їх численність, рідко спотворюють зміст першотвору і з цієї точки зору є суттєвими лише для лінгвістично орієнтованої оцінки. Для німецько-української мовної пари контекстуальний рівень має більшу вагу. Помилки електронних перекладачів на цьому рівні нерідко ускладнюють розуміння перекладеного речення, особливо у випадках омонімії.
8) Очевидною є наявність інструментарію у розробників для підвищення якості перекладу. Як і для багатьох інших систем, висока якість перекладу систем Прагми” та „Плай” на даному етапі розвитку є надто важким завданням, проте очевидні шляхи їх можливого покращення. Вже в пілотній версії „Прагми” з німецько-українським мовним напрямком розробникам вдалося усунути найсуттєвіші недоліки в роботі електронного перекладача, які були основною перешкодою на шляху підвищення якості та продуктивності перекладацької праці. Висновки про покращення якості перекладу новітньої версії „Прагми” робити проте поки зарано, оскільки кінцевий результат може виявитися іншим. Обережність наших оцінок пов’язана насамперед з тим, що версія ще доопрацьовується і оцінити її якість можна буде лише тоді, коли роботи з її вдосконалення будуть припинені остаточно.
9) Перспективним напрямком подальших досліджень оцінки якості вітчизняних систем машинного перекладу можуть бути, на наш погляд, дослідження з порівняння якості окремих версій однієї системи з метою визначення покращення або погіршення якості перекладу у новітніх версіях електронних перекладачів. Ще актуальнішими можуть бути розвідки щодо впливу інформаційних технологій та розширення мережі Інтернет на архітектуру систем машинного перекладу. Подальший розвиток СМП буде відбуватися за допомогою використання всесвітньої мережі, невід’ємною частиною якої мають стати системи машинного перекладу, що працюють у режимі реального часу. Надалі буде спостерігатися тенденція розширення номенклатури робочих мов у провідних системах та створення нових систем, які працюють з рідкісними мовами.
10) Вітчизняні здобутки в галузі машинного перекладу, очевидно, найближчим часом стануть більш вагомими, що, безперечно, має відбитися насамперед на якості кінцевого продукту. Подібні оптимістичні сподівання пов’язані, насамперед, з чинними вимогами ринку, на які миттєво реагує, зокрема, система освіти. Все частіше у вищих навчальних закладах країни з’являються курси комп’ютерної лінгвістики та інформаційних технологій у викладанні та вивченні іноземних мов. Все більшим попитом як у нас, так і за кордоном, користуються фахівці з прикладної лінгвістики, які поєднують у собі фахові знання інженера, лінгвіста і програміста. За умови добротного технічного оснащення подібних дисциплін сучасним ліцензованим програмним забезпеченням країна може отримати кваліфікованих фахівців широкого профілю вже протягом найближчого часу.

СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ

1. Андрієнко Л.О. Проблеми розвитку машинного перекладу на сучасному етапі //Гуманітарний вісник. Серія: Іноземна філологія: Черкаси: ЧДТУ, 2005. Число дев'ять. С. 348-351.
2. Антимонова О. Комп'ютери проти перекладачів: хто кого? [WWW document] URL http://zn.kiev.ua/ie/show/400/35314/
3. Аперсян Ю.Д. Идеи и методы современной структурной лингвистики. М.: Просвещение, 1966. 300 c.
4. Бакулов А.Д., Леонтьева Н.Н. Теоретические аспекты машинного перевода //Искусственный интеллект. М.: Радио и связь, 1990. С. 201-216.
5. Баранов А.Н. Введение в прикладную лингвистику: Учебное пособие. М.: Эдиторал УРСС, 2001. 360 с.
6. Бектаев К.Б., Кенесбаев С.К., Пиотровский Р.Г. Об инженерной лингвистике //Вопросы языкознания. 1973. № 2. С. 13-20.
7. Бежанова О.М. Услуги машинных переводчиков в глобальных сетях //Компьютеры + Программы. 1996. № 5(29). С. 48-49.
8. Бетин В.Н. Семантический процессор для машинного перевода //НТИ, сер. 2. Информационные процессы и системы. 2002. №1. С. 17-29.
9. Блехман М. С. Комп’ютерна лінгвістика та системи розуміння” тексту [WWW document]. URL http://www.franko.lviv.ua/ujcl/2 2st.htm.
10. Блехман М. С. Машинный перевод: состояние и тенденции //Компьютеры + Программы. 1997. № 5(38). С. 31-36.
11. Боброва В. Я. Системы машинного перевода //Итоги науки и техники /Сер. Информатика. М.: ВИНИТИ, 1990. Т. 14. С. 149-178.
12. Валипур А.Р. Анализ и синтез глагольных форм и конструкций при машинном переводе с русского языка на персидский язык: Дис. канд. филол. наук: 10.02.20. М., 2000. 289 с.
13. Великий тлумачний словник сучасної української мови /Укл. і голов. ред. В. Т. Бусел. К.: Перун, 2004. 1440 с.
14. Войнов В. К., Блехман М. С. Состав, методики разработки и эффективность действующих систем машинного перевода: Уч. пособ. Харьков: ХГУ, 1987. 60 с.
15. Волошин В. Г. Комп'ютерна лінгвістика: Навч. посіб. Суми: Університетська книга, 2004. 328 с.
16. Гальченко О.Н., Мирам Г.Э. Система машинного перевода „СИМПАР” принципы разработки и задачи экспериментальной эксплуатации //Пробл. автомат. и эксперим. фонет. анал. текстов. Минск. 1986. № 3. С. 141-146.
17. Грязнухіна Т.О. Лінгвістичні засади автоматичного редагування наукового тексту //Мовознавство. 1993. № 6. С. 20-25.
18. Дериева Е. Pragmaтичный переводчик //Компьютерное обозрение. 2004. №23. С. 68-70.
19. Дериева Е., Дериев И. ProlingOffice 5: что нового? //Компьютерное обозрение. 2004. №37. С. 52-54.
20. Зелинский С. PROMT 98. Новое название новые возможности //CHIP. 1998. № 5. С. 54.
21. Зелинский С., Карабан В. Так ЧИП тестировал программы-переводчики //CHIP. 2001. №1. С. 60.
22. Зубов Е. Средства механического транса //Хакер. 2002. № 43. С. 26-29.
23. Каничев М. Встреча компьютерных толмачей //Мир ПК. 1998. № 9. С. 100-102.
24. Каничев М. Шаг в автоматизации перевода //Мир ПК. 2001. № 10. С. 84-87.
25. Капанадзе О. Г. Современные зарубежные системы машинного перевода. М.: ВЦП, 1989. 102 с.
26. Карпіловська Є.А. Вступ до комп’ютерної лінгістики. Донецьк: Юго-Восток, 2003. 184 с.
27. Кисленко Ю. І. Архітектура мови: Лінгвістичне забезпечення інтелектуальних інтегрованих систем. К.: ІЗМН, 1998. 344 с.
28. Кияк Т. Р., Огуй О. Д., Науменко А. М. Теорія та практика перекладу (німецька мова). Вінниця: Нова книга, 2006. 592 с.
29. Коваль С.А. Каткова О.Ф. Системы переводческой памяти и оценка их эффективности //НТИ, сер.2. Информ. процессы и системы. 2002. №3. С. 17-26.
30. Компютерні системи перекладу ПАРС/D і ПАРС/DU [WWW document]. URL http://franko.lviv.ua/ujcl/num3/samojlov.htm
31. Компьютерный переводчик //CHIP. 1998. № 4. С.10-11.
32. Кононова С.М. Автоматический перевод: Опыт философского анализа: Дис канд. философ. наук: 09.00.01. М., 1993. 181 с.
33. Королев Э.И. Промышленные системы машинного перевода. М.: ВЦП, 1991. 100 с.
34. Котов Р.Г., Марчук Ю.Н., Нелюбин Л.Л. Машинный перевод в начале 80-х годов //Вопросы языкознания. 1983. №1. С.31-38.
35. Кузьміна К.А. Трансформація номіналізації в англо-українському та українсько-англійському напрямках перекладу: Дис. ...канд. філол. наук: 10.02.16. К., 2003. 227 с.
36. Кулагина О.С. О современном состоянии машинного перевода //Математические вопросы кибернетики. М.: Наука, 1991. 228 с.
37. Курасов К., Климов А. Электронный толмач [WWW document]. URL http://computerra.ru/special/2003/11/29900/print.htm
38. Леонтьева Н.Н., Шаляпина З.М. Современное состояние машинного перевода //Искусственный интеллект. М.: Радио и связь, 1990. С. 216-248.
39. L-Master Lite мастер машинного перевода для Украины [WWW document]. URL http://www.itware.com.ua/news/2000/05/26trident_lite.html.
40. Мак Дэниелс Дж., Прайс У.Л., Зансер Э.Дж., Йейтс Д.М. Оценка возможности использования переводов, полученных на машине в национальной физической лаборатории (Теддингтон) и краткое описание алгоритма перевода //Автоматический перевод. М.: Прогресс, 1971. С. 234 242.
41. Макоєд Н.О. Формування у мабутніх інженерів умінь перекладу фахових текстів із застосуванням комп’ютерних технологій: Дис. ...канд. педагог. наук: 13.00.04. Одеса, 2002. 243 с.
42. Малевич О.Б. Проблемы машинного перевода на семинаре „ЭВМ и перевод 89” //НТИ, Сер.2. 1990. №7. С. 29-32.
43. Марчук Ю.Н. Проблемы машинного перевода. М.: Наука, 1983. 233 с.
44. Марчук Ю.Н. Основы компьютерной лингвистики. М.: Народный учитель, 2000. 227 с.
45. Марчук Ю.Н. Компьютерный перевод многозначных слов [WWW document]. URL http://philol.msu.ru/rus/gorn/arso/marchuk.htm
46. Мірам Г. Алгоритми перекладу. К.: Твім інтер, 1998. 176 с.
47. Морін С.В., Суховецька С.В. Про поширення систем машинного перекладу серед організацій та установ міста Києва //Матеріали I Міжнародної науково-практичної конференції Загальні питання філології”. Дніпропетровськ: Наука і освіта, 2004. Т. 1. С. 85-86.
48. Москович В.А., Вишнякова С.М. Оценка качества автоматического перевода //НТИ, сер. 2. 1970. №6. С. 32-36.
49. Мохаммади М.Р. Система русско-персидского машинного перевода на основе переводных соответствий. Лексический аспект: Дис. ... канд.. філол.. наук: 10.02.21. М., 1998. 157 с.
50. Нарышкина Н. Переводим правильно //Компьютер пресс. 2001. № 3. С. 161-168.
51. Нелюбин Л.Л. Компьютерная лингвистика и машинный перевод. М.: Всесоюзный центр переводов, 1991. 152 с.
52. Осиевский А., Пилипенко О. Тест современных программ-переводчиков. Трансляторы знаний //CHIP. 2004. №3. С. 60-68.
53. Панчук Р. Системы машинного перевода [WWW document] URL http://itc.ua/article.phtml?ID=17661&Idw=29&pid=18.
54. Партико З.В. Загальне редагування: нормативні основи: Навч. посіб. Львів: Афіша, 2001. 416 с.
55. Переклад і адаптація. Яким має бути якісний переклад? [WWW document] URL http://eurologos.kiev.ua/data/ukr/trans.html
56. Пещак М.М. Нариси з комп’ютерної лінгвістики. Ужгород: Закарпаття, 1999. 200 с.
57. Пилипенко О. Сравнительный тест языковых интерпретаторов. Персональное бюро перевода //СНІР. 2002. №8. С. 56-63.
58. Пиотровский Р.Г., Бектаев К.Б., Пиотровская А.А. Математическая лингвистика. М.: Высшая школа, 1977. 383 с.
59. Перебейнос В.И. Автоматизация анализа научного текста. К., Наукова думка, 1984. 217 с.
60. Пономаренко В. Автоматический перевод //Компьютерное обозрение. 1998. № 35. С. 30-33.
61. Прикладна лінгвістика і сучасність [WWW document]. URL http://philolog.univ.kiev.ua/STRUCT/KATHEDER/nostra_ling.htm
62. „Промт” выпускает новый продукт для оценки качества и эффективности автоматизированного перевода [WWW document]. URL http://langust.ru/news/01_07_03.shtml
63. Рамезанали Э. Синтаксический анализ и синтез именных словосочетаний при машинном переводе с русского языка на персидский: Дис. ... канд. филол.. наук: 10.02.21. М., 1998. 147 с.
64. Рябічев В.Л. Деякі аспекти машинного перекладу [WWW document]. URL http://journlib.univ.kiev.ua/nz/nz1/23.htm
65. Система машинного перекладу „Прагма”. Посібник користувача. К.: Трайдент Софтвер, 2004. 35 с.
66. Скороходько Э.Ф. Полнота и точность перевода научно-технических терминов: метод оценки //НТИ, сер. 2. Информационные процессы и системы. 1980. № 7. С. 19-23.
67. Современная прагматика и теория искусственного интеллекта [WWW document]. URL http://www.vn.iatp.org.ua/web3/works/st/34/i58.html.
68. Стандарт Асоціації перекладачів України. Послуги з письмового та усного перекладу. Загальні правила і вимоги до надання послуг. К.: СТТУ АПУ, 2000. 37 с.
69. Суворов С. Технология памяти переводов [WWW document]. URL http://www.ci.ru/inform12_00/p05stf.htm.
70. Cучасні системи машинного перекладу [WWW document]. URL http://unicyb.kiev.ua/~boiko/it/comptran.htm
71. Суханова М.С. Кто лучше переводит? //Мир ПК. 1997. №1. С. 111-113.
72. Таубе М. Вычислительные машины и здравый смысл. М.: Прогресс, 1964. 181 с.
73. Тивиков П. Проблема качества переводческих услуг: влияние времени или дань моде? [WWW document]. URL http://uta.org.ua&uta&pages/frame pages/ukr/frame page8.htm
74. Ткачук В., Чумак Г. Теорія і практика машинного перекладу. Тернопіль: Підручники і посібники, 2006. 72 с.
75. Хайрова Н.Ф., Замаруєва І.В. Машинний переклад. Навч. посібник. Харків: Око, 1998. 82 с.
76. Хархалис Р. PROMT Mail Translator почтальон-переводчик //Домашний ПК. 2000. № 3. С. 38.
77. Хархалис Р. Новое поколение домашних переводчиков //Домашний ПК. 2000. № 8-9. С. 40-41.
78. Хархаліс Р.І. Структура забезпечення для машиннго перекладу на сучасних програмно-апаратних платформах //Інформаційні технології і системи. 2003. Т. 6, № 1-2. С. 63-69.
79. Хорошилов А.А. Автоматизация составления и ведения словарей для систем фразеологического машинного перевода текстов с русского языка на английский и английского на русский: Дис. канд. тех. наук: 05.25.85. М., 1995. 155 с.
80. Хроменков П.Н. Анализ и оценка эффективности современных систем машинного перевода: Дис канд. филол. наук: 10.02.21. М., 2000. 170 с.
81. Хроменков П.Н. Современное состояние и перспективы развития систем машинного перевода [WWW document]. URL http:// philol.msu.ru/rus/gorn/arso/chromenk.htm
82. Шаляпина З.М. Автоматический перевод: эволюция и современные тенденции //Вопросы языкознания. 1996. № 2. С. 105-115.
83. Шаумян C.К. Структурная лингвистика. М.: Наука, 1965. 395 с.
84. Andelfinger U. Some Remarks about the Validation of Information Systems Development //Interdisciplinary Foundation of Systems Design and Evaluation. 2002. № 97. P. 3-7.
85. ALPAC (Automatic Language Processing Advisory Committee): Language and Machines: Computers in Translation and Linguistics. 1966. Washington. National Research Council. 41 pp.
86. Appelo L. Categorial Divergencies in a compositional translation system: Ph. D. Dissertation. Utrecht: University Press, 1993. 193 pp.
87. Arnold D., Balkan L., Humphreys R., Meijer S., Sadler L. Machine Translation [WWW document]. URL http:// clwww.essex.ac.uk/~doug/book/book.html
88. Arnold D., Sadler L., Humphreys R. Lee. Evaluation: an Assessment //Machine Translation: An Introductory Guide. 1993. № 8. P. 1-24.
89. Balkan L., Humphreys R.L., Jäschke M., Meijer S., Way A. Operational Evaluation of MT. Draft research Proposal //Working Papers in Language Processing 22. Essex (USA), 1991. P. 78-84.
90. Barnet J., Mani I., Martin P., Rich E. Reversible Machine Translation: What to Do When the Languages Don't Line Up. //Proceedings of the Workshop on Reversible Grammars in Natural Language Processing. Berkeley (USA), 1991. P. 61-70.
91. Barnet J., Mani I., Rich E., Aone C., Knight K., Martinez J. Capturing Language-Specific Semantic Distinctions in Inerlingua-based MT //Proceedings of the Machine Translation Summit. Washington (USA), 1998. P. 25-32.
92. Barnet J., Mani I., Rich E. Reversible machine translation: what to do when the languages don't match up //Reversible Grammar in Natural Language Processing. Berkeley (USA), 1994 P. 77-83.
93. Beaven J. Shake and Bake Machine Translation //Proceedings of Fourteenth Conference on Computational Linguistics (COLING92). Nantes (France), 1992. P. 603-609.
94. Beaven J. MT: 10 Years of Development //Terminologie et Traduction - la revue des services linguistiques des institutions europeennes. 1998. № 3. P. 242-256.
95. Bennett P.A., Johnson R.L., McNaught J., Pugh J., Sager J.C., Somers H.L. Multilingual Aspects of Information Technology. Gower: Hants, 1986. 257 pp.
96. Bergler S. Generative Lexicon Principles for Machine Translation: A Case for Meta-Lexical Structure //Machine Translation. 1995. Vol. 9, № 3-4. P. 155-182.
97. Bernhard U. Maschinelles Übersetzen - für wen? //Fach, Text, Ubersetzen. Theorie, Praxis, Didaktik. St. Ingbert (Deutschland), 1999. S. 53-60.
98. Bernhard U. Maschinelle Übersetzung in der Übersetzungspraxis. Ein Erfahrungsbericht //Sprachdatenverarbeitung für Übersetzer und Dolmetscher. 1994. Bd 5. S. 197-206.
99. Bewertung der Übersetzungsqualität ein amerikanischer Ansatz. [WWW document] URL http://transline.de/technische Uebersetzungen /Wissenswertes/normung-uebersetzungen.php#Uebersetzung-Qualität
100. Blatt A., Freigang K.-H., Schmitz K.-D. Thome G. Computer und Übersetzen. Eine Einführung. Hildesheim, Zürich, New York: Georg Olms Verlag, 1985. 331 S.
101. Blatt A. Translation Technology at the European Commission Description of a Workflow //Terminologie et Traduction — la revue des services linguistiques des institutions europeennes. 1998. № 1. P. 38-43.
102. Bohan N., Breidt E., Volk M. Evaluation translation quality as input to product development //Proc. of second Int. Conference on language resources and evaluation. Athens (Greece), 2000. P. 85-87.
103. Bond F., Ogura K., Ikehara S. Countability and Number in Japanese to English Machine Translation //Computerlinguistik. 1994. Vol. 1. P. 35-44.
104. Brace C. Future Tense for Euro Systran //Language International. 1997. № 3. P. 14-16.
105. Braun-Chen F. La traduction automatique à la Commission européenne: d'hier à aujourd'hui //Terminologie et Traduction la revue des services linguistiques des institutions européennes. 1998. № 1. P. 33-37.
106. Brockmann D. Was kann Logos? Linguistische Bewertung eines kommerziellen MÜ-System unter Berücksichtigung weiterer markt- und forschungsorientierter Systeme. Untersuchte Sprachrichtung: Deutsch-Englisch. //Saarbrücker Studien zu Sprachdatenverarbeitung und Übersetzen. 1995. Bd. 4. S. 1-174.
107. Buschbeck-Wolf B. Towards Lexical Representation for Interlingua-based Machine Translation //Tagungsband KONVENS '94. Verarbeitung natürlicher Sprachen. Wien (Österreich), 1994. S. 52-61.
108. Buschbeck-Wolf, B., Nübel R. Die Behandlung übersetzungsambiger Präpositionen im Transfer des VERBMOBIL-Demonstrators. Frankfurt am Main: Peter Lang Verlag, 1995. 56 S.
109. Butt M. Machine Translation and Complex Predicates //Tagungsband KONVENS '94. Verarbeitung natürlicher Sprachen. Wien (Österreich), 1994. S. 62-71.
110. Carl M., Pease C., Streiter O. Linking example-based and rule-based Machine Translation //Computerlinguistik. Saarbrücken (Deutschland), 1999. S. 56-64.
111. Carstensen K., Ebert C., Endriss C., Jekat S., Klaubunde R., Langer H. Computerlinguistik und Sprachtechnologie. Eine Einführung. München: Elsevier GmbH, 2004. 642 S.
112.&