ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ ФІЛЬТРАЦІЇ ТА ЗБЕРЕЖЕННЯ ЗОБРАЖЕНЬ У СКЛАДНИХ УМОВАХ ОСВІТЛЕННЯ : ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ ФИЛЬТРАЦИИ И СОХРАНЕНИЯ ИЗОБРАЖЕНИЙ В СЛОЖНЫХ УСЛОВИЯХ ОСВЕЩЕНИЯ

Краткое описание

Міністерство освіти і науки України
Вінницький національний технічний університет

На правах рукопису

ГАРМАШ ВОЛОДИМИР ВОЛОДИМИРОВИЧ

УДК 004.932

ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ ФІЛЬТРАЦІЇ ТА ЗБЕРЕЖЕННЯ ЗОБРАЖЕНЬ У СКЛАДНИХ УМОВАХ ОСВІТЛЕННЯ

Спеціальність 05.13.06 – інформаційні технології

Дисертація на здобуття наукового ступеня
кандидата технічних наук

Науковий керівник:
Кулик Анатолій Ярославович,
д.т.н., професор

Вінниця – 2013

ЗМІСТ

ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ……………………………………. 6
ВСТУП…………………………………………………………………….. 7
РОЗДІЛ 1 АНАЛІЗ ІСНУЮЧИХ МЕТОДІВ ФІЛЬТРАЦІЇ ЗОБРАЖЕНЬ У СКЛАДНИХ УМОВАХ ОСВІТЛЕННЯ ………………
14
1.1 Загальна характеристика задачі….. ………………………………….. 14
1.2 Класифікація методів покращення зображень ………………………. 18
1.3 Аналіз методів фільтрації цифрових зображень …………………….
1.3.1 Локальні методи фільтрації…………………………………….
1.3.2 Методи на основі диференційних рівнянь з частковими похідними ………………………………………………………………
1.3.3 Фільтри в частотній області…………………………………….
1.3.4 Метод «Non-Local Means» ……………………………………… 20
22

25
28
31
1.4 Аналіз методів зменшення блокінг-ефекту у цифрових зображеннях ………………………………………………………………..
34
1.4.1 Відновлення ДКП коефіцієнтів………………………………...
1.4.2 Фільтрація пікселів………………………………………………
1.4.3 Ітераційні методи – комбінаційний підхід ………………….…
1.5 Висновки та вибір напрямку досліджень…………………………… 35
37
39
41
РОЗДІЛ 2 РОЗРОБЛЕННЯ МЕТОДІВ ФІЛЬТРАЦІЇ ЗОБРАЖЕНЬ У СКЛАДНИХ УМОВАХ ОСВІТЛЕННЯ ………………………………..
43
2.1 Залежність співвідношення сигнал/шум від рівня освітленості ……
2.2 Розроблення кратномасштабного білатерального фільтру ………....
2.3 Метод на основі розділення колірних компонентів …………………
2.3.1 Розподіл шуму в цифрових кольорових зображеннях ……….
2.3.2 Модель розділення колірних компонентів…………………….
2.3.3 Метод «Non-Local Means» на основі МРКК……………………
2.4 Розроблення методу зменшення блокінг-ефекту …………………….
2.4.1 Причини виникнення блокінг-ефекту ………………………….
2.4.2 Математична модель блокінг-ефекту ………………………
2.4.3 Метод зменшення блокінг-ефекту ……………………………
2.4 Висновки до розділу 2 ………………………………………………… 43
45
61

РОЗДІЛ 3 РОЗРОБЛЕННЯ ІНФОРМАЦІЙНОЇ ТЕХНОЛОГІЇ ФІЛЬТРАЦІЇ ТА ЗБЕРЕЖЕННЯ ЗОБРАЖЕНЬ У СКЛАДНИХ УМОВАХ ОСВІТЛЕННЯ…………………………………………………

94
3.1 Розроблення структури інформаційної технології фільтрації та збереження зображень у складних умовах освітлення………………….
3.2 Організація інформаційних процесів та процедур розробленої ІТ…
3.3 Розроблення алгоритмічного забезпечення для реалізації ІТ фільтрації та збереження зображень у складних умовах освітлення …..
94
96

101
3.4 Висновки до розділу 3 ………………………………………………… 109
РОЗДІЛ 4 ЕКСПЕРИМЕНТАЛЬНЕ ДОСЛІДЖЕННЯ ТА АПРОБАЦІЯ РОЗРОБЛЕНОЇ ІНФРМАЦІЙНОЇ ТЕХНОЛОГІЇ ФІЛЬТРАЦІЇ ТА ЗБЕРЕЖЕННЯ ЗОБРАЖЕНЬ У СКЛАДНИХ УМОВАХ ОСВІТЛЕННЯ ……………………………………………………………
4.1 Розроблення узагальненої методики дослідження ІТ фільтрації та збереження зображень у складних умовах освітлення…………………
4.2 Програмне забезпечення, яке реалізує інформаційну технологію фільтрації та збереження зображень у складних умовах освітлення….
4.3 Використання розробленої інформаційної технології в задачах відеоспостереження………………………………………………………..
4.3.1 Використання розробленої ІТ в системах аналогового відеоспостереження на базі ПК…………………………………………..
4.3.2 Використання розробленої ІТ в системах цифрового відеоспостереження ……………………………………………………….
4.4 Висновки до розділу 4 …………………………………………………
ЗАГАЛЬНІ ВИСНОВКИ …………………………………………………..

СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ ………………………………… 138
ДОДАТКИ………………………………………………………………….. 154
Додаток А Результати дослідження візуальної якості зображень при різному рівні освітленості………………………………………………….
155
Додаток Б Результати оцінювання якості тестової відеопослідовності, ущільненої кодеком MJPEG з параметром «висока якість» за показником BIQI та на основі експертних оцінок за методом оцінювання SCACJ ……………………………………………………….

Додаток В Результати оцінювання якості тестової відеопослідовності, ущільненої кодеком MJPEG з параметром «середня якість» за показником BIQI та на основі експертних оцінок за методом оцінювання SCACJ ……………………………………………………….

Додаток Г Результати оцінювання якості тестової відеопослідовності, ущільненої кодеком MJPEG після процесу зменшення блокінг-ефекту за показником BIQI та на основі експертних оцінок за методом оцінювання SAMVIQ …………………………………………………….

171
Додаток Д Результати оцінювання якості тестової відеопослідовності, ущільненої кодеком MPEG-4 (XVID) з параметром «висока якість» за показником BIQI та на основі експертних оцінок за методом оцінювання SCACJ ……………………………………………………….

177
Додаток Е Результати оцінювання якості тестової відеопослідовності, ущільненої кодеком H.264 з параметром «висока якість» за показником BIQI та на основі експертних оцінок за методом оцінювання SCACJ ……………………………………………………….

184
Додаток Ж Результати оцінювання якості тестової відеопослідовності, ущільненої кодеком H.264 з параметром «середня якість» за показником BIQI та на основі експертних оцінок за методом оцінювання SCACJ ………………………………………………………..

191
Додаток К Результати оцінювання якості тестової відеопослідовності, ущільненої кодеком H.264 з параметром «середня якість» за показником BIQI та на основі експертних оцінок за методом оцінювання SCACJ ………………………………………………………..

198
Додаток Л Результати оцінювання якості тестової відеопослідовності, ущільненої кодеком MPEG-4 (XVID) після процесу зменшення блокінг-ефекту за показником BIQI та на основі експертних оцінок за методом оцінювання SAMVIQ …………………………………………..

205
Додаток М Результати оцінювання якості тестової відеопослідовності, ущільненої кодеком H.264 після процесу зменшення блокінг-ефекту за показником BIQI та на основі експертних оцінок за методом оцінювання SAMVIQ ……………………………………………………..

210
Додаток Н Документи про впровадження результатів дисертації ……... 215

ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ

БДКП – блочне дискретне косинусне перетворення
БФ – білатеральній фільтр
ВП – вейвлет-перетворення
ДВП – діадне вейвлет-перетворення
ДКП – дискретне косинусне перетворення
ДРЧП – диференціальне рівняння з частковими похідними
ЗДВП – зворотне дискретне вейвлет-перетворення
ІТ – інформаційна технологія
КБФ – кратномаштабний білатеральний фільтр
МРКК – модель розділення колірних компонентів
ОІФ – оптимальний інтерполяційний фільтр
ЦОЗ – цифрове оброблення зображень
MSE (mean squared error) – середньоквадратична помилка
MSDS (mean square difference of slope) – середньоквадратична різниця нахилу
NLM (non-local mean) – нелокальне усереднення
POCS (projections onto convex sets) – проекція на опуклі множини
PSNR (peak signal-to-noise ratio) – пікове відношення сигналу до шуму
TV (total variation) – повна варіація

ВСТУП

Актуальність теми
Цифрове оброблення зображень (ЦОЗ) в теперішній час широко використовується в телекомунікаційних системах, радіо- та гідролока¬ції, сейсмології, робототехніці, радіоастрономії, медицині тощо. Перехід на цифро¬ве телерадіомовлення, широке використання мереж різного призначення, в тому числі й мережі Інтернет, також сприяють розвитку даного напрямку оброблен¬ня сигналів.
На сьогоднішній день для пристроїв ЦОЗ є характерною проблема постій¬ного зростання обсягу інформації, яка оброблюється, підвищення вимог до якос¬ті оброблення, робота при складних умовах (низькому співвідношенні сиг¬нал/шум). Все це стимулює появу нових методів та більш складних алгоритмів, що використовуються в системах ЦОЗ.
Під час отримання зображення в темний час доби його якість суттєво зни¬жується за рахунок того, що різко зростає шум, який призводить до появи зернистості на зображенні. Шум, викликаний підсиленням сигналу, істот¬но впливає на можливість ущільнення. Сучасні алгоритми компресії сприймають шум як корисну інформацію, від чого ефективність компресії суттє¬во знижується. Обсяг переданих даних зростає, а відносна кількість інформа¬ції при цьому зменшується. Крім того, під час ущільнення відбувається процес розділення всього зображення на блоки, який забезпечує ефективність кодування. Однак, у зображення вносяться додаткові спотворення у вигляді бло¬кінг-ефекту, який з’являється на границях між двома сусідніми блоками.
Тому важливе місце в ЦОЗ займає задача покращення відношення сигнал/шум, яка зумовлює необхідність попереднього оброблення зображень пе¬ред їх класифікацією та аналізом, при розпізнаванні образів і прийнятті рішень.
Покращення якості зображень досягається використанням процедури фільтра¬ції, яка є найбільш тривалою і складною стадією попереднього оброблення. Існує велика кількість різних методів фільтрації зі своїми перевагами і недоліками. Але методи фільтрації, зазвичай, спеціалізуються на пригніченні одного конкретного виду шуму. Не існує універсальних фільтрів, які визна¬чають і фільтрують всі види шумів. Застосування того чи іншого методу зале¬жить від конкретної задачі.
Методам оброблення та покращення цифрових зображень (ЦЗ) приділено бага¬то уваги у роботах зарубіжних та вітчизняних вчених. Зокрема, великий вне¬сок у розвиток даного напрямку внесли Д. Ватолін, Л. Ярославський, В. Дворкович, О. Дворкович, В. Сойфер, Л. Тимченко, Б. Русин, А. Галушкін, О. Юдін, М. Чобану, С. Мітра, Р. Гонсалес, Р. Вудс, Т. Чан, В.Претт, А. Бовік, Ю. Нево, Я. Астола та інші вчені [1-70].
Незважаючи на це, розвиток інформаційних технологій (ІТ) оброблення та покра¬щення якості зображень як для візуального сприйняття людиною, так і для вирішення завдань, пов'язаних з машинним сприйняттям зображень, є актуаль¬ною та важливою науково-технічною задачею та потребує розроблення нових та удоскона¬лення існуючих методів, що особливо стосується зображень, які отримано в складних умовах при низькому рівні освітленості.
Зв’язок роботи з науковими програмами, планами, темами
Досліджен¬ня, результати яких представлено в дисертації, проводились протягом 2005-2013 рр., згідно планів наукових досліджень кафедри автоматики та інформа¬ційно-вимірювальної техніки Вінницького національного технічного універси¬тету та в рамках пріоритетних напрямків розвитку науки і техніки в Україні та науково-дослідних робіт: «Розробка програмного забезпечення для покращення якос¬ті цифрових зображень» (№ДР 0112U004424), «Розробка та впровадження програмного забезпечення для передавання інформації в інформаційно-вимірюваль¬них системах» (№ДР 0112U004278), «Розробка програмного забезпе¬чення для виявлення облич у комп’ютерних файлах» (№ДР 0112U004468), в яких здобувач був виконавцем.
Мета і задачі дослідження
Метою дисертаційного дослідження є підви¬щення якості ЦЗ, отриманих в умовах низького рівня освітленості шляхом роз¬роблення інформаційної технології на базі методів кратномасштабного аналізу; білатеральної фільтрації; методів і моделей, які враховують якісні характерис¬тики зображення; оптимальної інтерполяційної фільтрації.
Для досягнення поставленої мети необхідно вирішити наступні задачі:
1. Провести аналіз існуючих методів фільтрації шуму та зменшення блокінг-ефекту на ЦЗ.
2. Удосконалити метод фільтрації на основі білатерального фільтру для змен¬шення рівня шуму на півтонових зображеннях.
3. Удосконалити метод нелокального усереднення для фільтрації кольоро¬вих зображень від шуму із врахуванням якісних характеристик зображення.
4. Розробити метод фільтрації півтонових зображень для зменшення блокінг-ефекту після процесу компресії ЦЗ.
5. Розробити інформаційну технологію фільтрації та збереження зобра¬жень, отриманих в умовах низького рівня освітленості.
6. Розробити, експериментально дослідити та впровадити програмне забез¬печення для фільтрації та збереження зображень, отриманих в умовах низького рівня освітленості.
Об’єкт дослідження – процеси фільтрації та збереження цифрових зобра¬жень, отриманих в умовах низького рівня освітленості.
Предмет дослідження – методи, моделі та інформаційні технології в зада¬чах фільтрації та збереження зображень, отриманих в умовах низького рівня освітле¬ності.
Методи дослідження: При вирішенні поставлених задач використано наступ¬ні методи: кратномасштабного аналізу для удосконалення методу фільтра¬ції півтонових зображень, лінійної алгебри та цифрового оброблення зобра¬жень для фільтрації кольорових зображень, вейвлет-перетворення та чисель¬ні методи для зменшення блокінг-ефекту на півтонових зображеннях, ста¬тистичного аналізу для оброблення та тестових випробовувань отриманих результатів, об’єктно-орієнтованого програмування в середовищі Microsoft Visual Studio Express 2010 для реалізації інформаційної технології у вигляді програм-ного продукту.
Наукова новизна одержаних результатів
В процесі вирішення поставле¬них задач були отримані наступні наукові результати.
Розроблено нову інформаційну технологію фільтрації та збереження зображень у складних умовах освітлення, що дозволяє здійснювати економію ресурсів пам’яті для збереження ЦЗ за рахунок фільтрації шуму та підвищувати співвідношення сигнал/шум і візуальну якість ЦЗ за рахунок зменшення блокінг-ефекту:
1. Вперше розроблено метод фільтрації зображень для зменшення блокінг-ефекту, який використовує діадне вейвлет-перетворення та оптимальний інтерполяційний фільтр, що дозволяє підвищити візуальну якість зображення.
2. Удосконалено метод фільтрації шумів у півтонових зображеннях на основі білатерального фільтру за рахунок його інтеграції з вейвлет-банком фільтрів, що дозволило підвищити співвідношення сигнал/шум в середньому на 0,1 – 1 дБ.
3. Удосконалено метод «Non-Local Means» для фільтрації шумів у кольорових зображеннях за рахунок застосування моделі розділення колірних компонентів простору YCrCb, що дозволило підвищити співвідношення сигнал/шум в середньому на 0,5 – 2,5 дБ і, в цілому, візуальну якість зображень.
Практичне значення одержаних результатів
Практичне значення одержа¬них у роботі результатів полягає в тому, що на основі удосконалення відо¬мих методів і застосуванні нових методів, запропонованих у дисертації, побудо¬вана та програмно реалізована нова ІТ фільтрації ЦЗ, яка дозволила підвищити якість зображень, отриманих в умовах низького рівня освітленості. Розроблено та реалізовано методи фільтрації шуму та змен¬шення блокінг-ефекту ЦЗ, отриманих в умовах низького рівня освітленості у вигляді алгоритмів. Запропонована інформаційна технологія може використову¬ватись у системах відеоспостереження для вирішення задачі форму¬вання архіву тривалого зберігання та для вирішення задач автоматизова¬ного відеоаналізу.
Результати дисертації впроваджені у вигляді алгоритмів та програмних моду¬лів для підвищення якості зображень, отриманих в умовах низького рівня освітленості у системах відеоспостереження на підприємствах та установах: «Вінниць¬ка торгово-промислова палата» (акт від 11.09.2012 р.), приватному під¬приємстві «Анклюз» (акт від 03.06.2013 р.), приватному підприємстві «ТВА-Сервіс» (довідка від 22.11.2012). Результати дисертації впроваджено в навчаль¬ний процес кафедри автоматики та інформаційно-вимірювальної техніки Вінниць¬кого національного технічного університету при викладанні дисцип¬ліни «Інженерна та комп’ютерна графіка» (акт від 22.05.2013 р.).
Особистий внесок здобувача
Всі основні результати дисертаційної ро¬боти були отримані автором самостійно. У роботах, виконаних у співавторстві, здобувачу належать наступні результати: огляд та аналіз методів фільтрації зобра¬жень [71], оптимальний інтерполяційний фільтр [72], метод зменшення бло¬кінг-ефекту [73, 74], метод зменшення блочної структури [75, 76], алгоритм очи¬щення від шуму на основі вейвлетів [77], метод на основі розділення кольорів [78], опис базисної функції вейвлет-перетворення [79], математичний опис вейвлет-фільтру для стиснення зображень [80], розроблення схеми, яка реалізує спосіб кодування та передавання інформації, схеми програмного забезпечення для ре¬жиму передавання інформації та схеми програмного забезпечення для режиму приймання інформації [81], розроблення та опис способу кодування та переда¬вання інформації з використанням функцій Хаара, розроблення схеми програм-ного забезпечення для режиму передавання інформації та схеми програмного забезпечення для режиму приймання інформації [82].
Апробація результатів дисертації
Результати дисертаційної роботи доповіда¬лись та обговорювались на 13 науково-технічних конференціях, а саме: VIII Міжнародній науково-технічній конференції «КУСС-2005», м. Вінниця, 2005 р.; ХІІІ Міжнародній науково-технічній конференції «Автоматика-2006», м. Вінниця, 2006 р.; ІХ Міжнародній науково-технічній конференції «КУСС-2008», м. Вінниця, 2008 р.; Х Міжнародній науково-технічній конференції «КУСС-2010», м. Вінниця, 2010 р.; Міжнародній науково-технічній конферен¬ції «Штучний інтелект. Інтелектуальні системи. ШІ-2010» с. Кацивелі АР Крим, 2010 р.; VII Mezinarodni vedecko-practika conference «Vedecky pokrok na prelomu tysyachalety – 2011» м. Прага, Чехія, 2011 р.; XXXVІ – XLІІ науково-технічних конференціях професорсько-викладацького складу, співробітників та студентів Вінницького національного технічного університету з участю працівників науко¬во-дослідницьких організацій та інженерно-технічних працівників під¬приємств м. Вінниці та області, м. Вінниця, 2007– 2013 рр.
Публікації
Основні результати дисертаційної роботи опубліковані в 14 науко-вих працях, серед яких 7 статей, 6 з яких надруковано у виданнях, що вхо¬дять до переліку наукових фахових видань України з технічних наук, з них 2 ([73, 75]) – у виданні, яке входить до міжнародної наукометричної бази даних «Російський індекс наукового цитування» («РІНЦ»), 5 наукових праць опублікова¬них у збірниках матеріалів конференцій, 2 патенти на винахід.
Структура і обсяг дисертації
Дисертаційна робота складається зі вступу, чо¬тирьох розділів, висновків, списку використаних джерел і додатків. Основ¬ний зміст викладено на 132 сторінках друкованого тексту та містить 35 ри¬сунків, 32 таблиці. Список використаних джерел включає 145 найменувань. Загальний обсяг 220 сторінок.

Список литературы

ЗАГАЛЬНІ ВИСНОВКИ

У дисертаційній роботі розв’язано важливу науково-практичну задачу розроблення інформаційної технології фільтрації та збереження зображень, отриманих в умовах низького рівня освітленості, що дозволяє здійснювати економію ресурсів пам’яті для збереження ЦЗ за рахунок фільтрації шуму та підвищувати співвідношення сигнал/шум і візуальну якість ЦЗ за рахунок зменшення блокінг-ефекту.
У дисертаційній роботі одержані такі наукові та практичні результати:
1. Проведений аналіз сучасних методів фільтрації зображень дозволив визначити, що більшість методів фільтрації зображень зосереджені на півтонових зображеннях з додаванням гаусівського шуму, і лише мала частина призначається для природних зображень, отриманих цифровою камерою з реальним шумом. Але ці методи є або надто складними, або не можуть вирішити проблему зменшення шуму в достатній мірі.
Проведений аналіз методів зменшення блокінг-ефектів показав, що методи які існують для вирішення проблеми блокінг-ефектів є або надто складними для реалізації, або не можуть впоратися з проблемою блокінг-ефектів достатньою мірою.
2. Проведено експериментальне дослідження залежності співвідношення сигнал/шум від рівня освітленості, в результаті якого встанов¬лено, що при рівні освітленості  10 люкс з’являються видимі шуми, які усклад¬нюють сприйняття зображення та можуть негативно впливати на результат подаль-шого оброблення та аналізу. Також встановлено, що зображеннями, отри-маними при низькому рівні освітленості можна вважати зображення співвідно¬шення сигнал/шум яких за показником SNR