МЕТОДЫ ОЦЕНКИ ПРОИЗВОДИТЕЛЬНОСТИ МНОГОСТУПЕНЧАТЫХ КОММУТИРУЮЩИХ СЕТЕЙ В УСЛОВИЯХ НЕРАВНОМЕРНОГО ТРАФИКА

brief description

ХАРЬКОВСКИЙ НАЦИОНАЛЬНЫЙ УНИВЕРСИТЕТ
РАДИОЭЛЕКТРОНИКИ
На правах рукописи

ЕВГРАФОВ ВЯЧЕСЛАВ НИКОЛАЕВИЧ

УДК 004.3’144:004.713

МЕТОДЫ ОЦЕНКИ ПРОИЗВОДИТЕЛЬНОСТИ МНОГОСТУПЕНЧАТЫХ КОММУТИРУЮЩИХ СЕТЕЙ В УСЛОВИЯХ НЕРАВНОМЕРНОГО ТРАФИКА

05.13.05 компьютерные системы и компоненты

ДИССЕРТАЦИЯ
на соискание ученой степени кандидата технических наук

Научный руководитель
Дикарев Вадим Анатольевич,
доктор физ.-мат. наук, профессор

Цей примірник дисертаційної роботи
ідентичнийзазмістомзіншими,що подані до спеціалізованої вченої ради.

Вчений секретар спецради Д 64.052.01

підпис
Гербова печатка

С.Ф. Чалий

Харьков 2009

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

5

РАЗДЕЛ 1. СОВРЕМЕННОЕ СОСТОЯНИЕ ПРЕДМЕТНОЙ ОБЛАСТИ

12

1.1. Обзор существующих топологий высокоскоростного соединения большого числа вычислительных модулей

12

1.1.1. Полносвязная топология

12

1.1.2. Шина

12

1.1.3. Многоступенчатые сети

13

1.2. Возникновение неравномерного трафика

14

1.3. Применение многоступенчатых сетей в многопроцессорных системах

15

1.4. Применение многоступенчатых сетей в ATM коммутаторах

19

1.5. Обзор литературы

20

1.6. Модификации многоступенчатых сетей

21

1.7. Производительность многоступенчатых сетей

25

1.7.1. Объединение

26

1.7.2. Переключение

26

1.7.3. Концентрация

27

1.8. Постановка цели и задач исследования

31

1.9. Выводы по разделу

32

РАЗДЕЛ2. ПРОИЗВОДИТЕЛЬНОСТЬ МНОГОСТУПЕНЧАТЫХ КОММУТИРУЮЩИХ СЕТЕЙ

34

2.1. Коммутация в многоступенчатых сетях

34

2.2. Синхронные многоступенчатые сети

38

2.3. Свойства многоступенчатых сетей

40

2.4. Метод оценки пропускной способности синхронных многоступенчатых сетей для неравномерного трафика

45

2.4.1. Конечный статус группы каналов

47

2.4.2. Общий статус группы каналов

53

2.4.3. Граничный статус группы каналов

57

2.4.4. Расчет пропускной способности синхронных многоступенчатых сетей

60

2.5. Асинхронные буферные многоступенчатые сети

61

2.6. Метод оценки производительности асинхронных многоступенчатых сетей при равномерном трафике пакетов переменной длинны

63

2.7. Обобщение метода оценки производительности асинхронных многоступенчатых сетей на случай произвольного числа приоритетных выходных каналов

66

2.8. Выводы по разделу

70

РАЗДЕЛ 3. МЕТОД УВЕЛИЧЕНИЯ ПРОПУСКНОЙ СПОСОБНОСТИ СИНХРОННЫХ МНОГОСТУПЕНЧАТЫХ СЕТЕЙ

72

3.1. Описание параллельной синхронной многоступенчатой сети

72

3.2. Дополнительные типы переключающих элементов

74

3.3. Алгоритмы разрешения пакетов относительно выходных каналов

75

3.4. Пропускная способность элемента ПЭ-2 4

80

3.5. Пропускная способность элемента ПЭ-4 4

88

3.6. Пропускная способность элемента ПЭ-4 2

100

3.7. Увеличение пропускной способности сетей методом распараллеливания ступеней

110

3.7. Выводы по разделу

111

РАЗДЕЛ 4. ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ МЕТОДОВ ОЦЕНКИ И ПОВЫШЕНИЯ ПРОПУСКНОЙ СПОСОБНОСТИ МНОГОСТУПЕНЧАТЫХ СЕТЕЙ

113

4.1. Повышение пропускной способности синхронной многоступенчатой сети размерности 256 256

113

4.2. Повышение пропускной способности синхронной многоступенчатой сети размерности 512 512

145

4.3. Повышение пропускной способности синхронной многоступенчатой сети размерности 4096 4096

152

4.4. Повышение пропускной способности синхронной многоступенчатой сети размерности 16384 16384

155

4.5. Повышение пропускной способности синхронной многоступенчатой сети размерности 65536 65536

157

4.6. Повышение пропускной способности синхронной многоступенчатой сети размерности 524288 524288

159

4.7. Повышение пропускной способности асинхронной буферной многоступенчатой сети размерности 1024 1024

161

4.8. Метод синтеза многоступенчатых коммутирующих сетей синхронного и асинхронного типов

166

4.9. Выводы по разделу

170

ЗАКЛЮЧЕНИЕ

173

Приложение А. Акты о внедрении полученных результатов

175

ПЕРЕЧЕНЬ ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

181

ВВЕДЕНИЕ

При разработке многопроцессорных систем, сетевых ATM коммутаторов и сетей на кристалле (NoC) необходимо обеспечить взаимодействие большого числа процессорных элементов, модулей памяти, контроллеров, портов ввода/вывода и прочих цифровых компонентов между собой. При этом, необходимо обеспечить высокий уровень надежности и скорости передачи информации. Среди всевозможных способов соединения большого числа цифровых компонентов на практике наиболее часто используются многоступенчатые коммутирующие сети. Они имеют ряд преимуществ по отношению к шинам и полносвязным топологиям: простая масштабируемость, способность работать на высоких частотах и умеренная стоимость реализации.
К недостаткам многоступенчатых коммутирующих сетей можно отнести их принадлежность к классу блокирующих сетей. Это означает, что в процессе передачи трафика возможны коллизии пакетов, при которых часть передаваемой информации блокируется и отбрасывается. Однако вероятность коллизий удается уменьшить благодаря применению буферов для временного хранения пакетов и специализированных сортировщиков.
Актуальность темы.
Производительность многоступенчатых сетей активно изучалась на протяжении последних двадцати лет. Были синтезированы математические модели, которые описывают производительность многоступенчатых сетей. Однако существующие модели используют идеализированную модель трафика, что ограничивает область их применения в реальных условиях. Многие существующие модели предполагают, равномерный характер трафика, при котором все компоненты-приемники используются с одинаковой вероятностью. Другие модели учитывают только один приоритетный компонент-приемник, который имеет большее по отношению к другим компонентам предпочтение.
При функционировании реальной системы в большинстве случаев возникают более сложные формы трафика, и адресная случайная величина принимает произвольное распределение. В этих случаях оценка пропускной способности сети, выполненная применением существующих математических методов, будет излишне оптимистична.
Оценка пропускной способности многоступенчатой сети для равномерного трафика разработана в работах [14], [6]. В работе [4] описаны условия возникновения неравномерного трафика, из которых следует, что он возникает в подавляющем большинстве приложений. В работах [2], [3] исследуется пропускная способность многоступенчатой сети в условиях трафика с единственным приоритетным компонентом-приемником. Однако данное ограничение делает невозможным применение метода в большинстве приложений. Крайне важно иметь метод позволяющий выполнять оценку пропускной способности и времени отклика многоступенчатых сетей в условиях трафика с произвольным распределением адресной случайной величины и подходящий в большинстве случаев.
Пропускная способность многоступенчатой коммутирующей сети, во многом, определяет быстродействие системы в целом. Поэтому важной проблемой, является задача увеличения пропускной способности сети. В литературе описаны различные подходы повышения пропускной способности. Прасант Мохапатра и Чита Дас [21] предложили не отбрасывать заблокированные пакеты, а временно хранить их в буферах. Однако предложенная ими модель производительности многоступенчатой сети применима для единственного приоритетного компонента-приемника и детерминированного времени коммутации пакетов. Применение сортировщиков пакетов и специализированных алгоритмов роутинга подразумевает группировку пакетов, что оказывает влияние на процесс коммутации пакетов. В данной работе предложен усовершенствованный метод, применимый для произвольного числа приоритетных компонентов-приемников и недетерминированным размерам пакетов.
Основной причиной снижения пропускной способности многоступенчатой сети при неравномерном трафике является возрастание вероятности блокировки. В данной диссертации предлагается уменьшить вероятность блокировки путем дублирования отдельных ступеней сети, что обеспечило прирост пропускной способности в 1,7 2,7 раз.
Связь работы с научными программами, планами, темами. Диссертационная работа выполнялась согласно плану научно-технических работ Харьковского Национального Университета радиоэлектроники в рамках госбюджетных тем:
1) 104-1 «Методы стабилизации и фокусировки распределений неоднородных марковских систем» (№ ГР 01004001344);
2) 151 «Разработка методов стабилизации синтеза неоднородных систем, обладающих марковским свойством» (№ ГР 0103U001574).
Цель и задачи исследования. Целью исследования является разработка и практическое применение методов оценки и увеличения способности и времени отклика многоступенчатых коммутирующих сетей для синтеза новых и модернизации существующих коммутирующих фабрик. Достижение этой цели требует решение таких задач:
1) разработать метод реконфигурации многоступенчатых коммутирующих сетей в условиях неравномерного трафика;
2) усовершенствовать метод оценки пропускной способности синхронных многоступенчатых коммутирующих сетей для условия произвольного распределения трафика;
3) разработать метод расчета производительности буферных асинхронных многоступенчатых коммутирующих сетей с учетом недетерминированного размера пакетов и неравномерного распределения трафика;
4) применить разработанные методы для оценки и увеличения быстродействия многоступенчатых коммутирующих сетей синхронного и асинхронного типов при произвольном распределении адресной случайной величины;
5) применить разработанные методы для синтеза коммутирующих фабрик;
Объектом исследования является процесс оценки производительности многоступенчатых коммутирующих сетей синхронного и асинхронного типов, функционирующих в условиях неравномерного трафика.
Предметом исследования являются методы оценки быстродействия многоступенчатых коммутирующих сетей синхронного и асинхронного типов в условиях трафика с произвольным распределением адресной случайной величины и недетерминированным размером пакетов.
Методы исследования. Для разработки методов оценки производительности в работе использовались методы математического анализа, теоретико-вероятностные методы, методы теории систем массового обслуживания, имитационное моделирование.
Научная новизна полученных результатов. В процессе работы над диссертацией получены следующие новые научные результаты:
1) впервые разработан метод реконфигурации многоступенчатых коммутирующих сетей в условиях неравномерного трафика, который в отличие от существующих методов, предусматривает применение параллельных ступеней и замену обыкновенных коммутирующих элементов на дополнительные типы коммутирующих элементов с удвоенным числом входов (выходов), с учетом целевой пропускной способности и предельного количества коммутирующих ступеней, что позволяет существенно повысить производительность таких сетей;
2) усовершенствован метод оценки пропускной способности синхронных многоступенчатых коммутирующих сетей, который, в отличии от существующих, учитывает произвольное распределение трафика с произвольным числом приоритетных адресов, что позволяет определить пропускную способность синхронных многоступенчатых коммутирующих сетей с неравномерным распределением адресной случайной величины;
3) получил дальнейшее развитие метод расчета производительности буферных асинхронных многоступенчатых коммутирующих сетей, который в отличие от существующих, учитывает недетерминированный размер пакетов и произвольное распределение трафика. Метод позволяет оценивать пропускную способность и время задержки пакетов недетерминированного размера в сетях с произвольным распределением адресной случайной величины
Практическое значение полученных результатов.
1) предложенные в диссертации методы оценки производительности асинхронных и синхронных многоступенчатых коммутирующих сетей с различной степенью репликации ступеней в условиях неравномерного трафика реализованы на языке программирования Java и оформлены в виде программной библиотеки;
2) методы и программные средства могут быть использованы проектировщиками многопроцессорных вычислительных систем, многокомпонентных систем на кристалле (SoC), сетей на кристалле (NoC), ATM коммутаторов и т.д. для синтеза коммутирующей фабрики и оценки ее пропускной способности при заданных параметрах трафика на этапе раннего проектирования;
3) метод распараллеливания ступеней может быть использован для повышения пропускной способности синхронных многоступенчатых сетей. Метод оценки пропускной способности сети с различными степенями дублирования позволяет выбрать необходимую степень распараллеливания сети с целью достижения оптимального соотношения цена/производительность;
4) метод оценки пропускной способности и времени отклика асинхронной многоступенчатой сети в условиях неравномерного трафика с распределенной согласно закону Эрланга длинной пакетов, может быть использован для оптимального выбора размеров буферной памяти и переключающих элементов с целью максимизации производительности асинхронной многоступенчатой сети.
Результаты диссертации в виде программных приложений используются в харьковском центре разработки ЗАО «Софтлайн» (акт внедрения от 27.02.2009), ООО «Zoral Labs» (акт внедрения от 25.03.2009), ВАТ «Коннектор» (акт внедрения от 16.01.2009), Харьковском национальном университете радиоэлектроники (акт внедрения от 06.04.2009).
Личный вклад диссертанта. Диссертационная работа является результатом самостоятельной работы автора. В работах выполненных в соавторстве, автору принадлежат следующие результаты: в работе [80] разработана имитационная модель маковского случайного процесса; в работе [79] разработана имитационная модель стохастического процесса с нормальной функцией распределения; в работе [77] исследованы свойства неравномерного трафика в многоступенчатых коммутирующих сетях; в работе [74] предложен метод оценки уровня потока данных для конечных каналов; в работе [78] предложен метод оценки уровня потока данных для общих и граничных каналов; в работе [73] предложен метод повышения пропускной способности сети путем распараллеливания ступеней; в работе [76] разработана математическая модель динамической буферной памяти и предложен метод реконфигурации буферов для достижения наиболее эффективного использования доступной буферной памяти; в работе [75] предложен метод оценки производительности асинхронной буферной многоступенчатой сети.
Апробация результатов диссертации. Основные результаты выполненных исследований были изложены и обговорены на следующих конференциях и форумах:
1) Четвертом Международном Молодежном Форуме «Электроника и молодежь в XXI веке» (Харьков, 2000 г.);
2) Восьмой Международной Конференции «Теория и техника передачи, приема и обработки информации» (Харьков, 2002 г.);
3) Седьмой Всеукраинской Студенческой Научной Конференции прикладной математики и информатики (Львов, 2004 г.);
4) Четвертой Международной научно-технической Конференции (Харьков, 2004 г.);
5) Восьмом Международном молодежном форуме «Электроника и молодежь в XXI веке» (Харьков, 2004 г.);
6) Десятой Международной научно-технической конференции «CADSM 2009» (Львов, 2009 г.)
7) Десятой Юбилейной Международной конференции «Теория и техника передачи, приема и обработки информации» (Харьков, 2004 г.);
8) East West Design & Test Workshop (Одесса, 2005 г, Сочи 2006 г.).
Публикации. Основные научные положения диссертации отражены в 16 работах, среди которых 8 статей в журналах, включенных в перечни, утвержденные ВАК Украины, и 9 публикаций в сборниках по материалам научных конференций.

bibliography

ЗАКЛЮЧЕНИЕ

Настоящая диссертация посвящена исследованию производительности синхронных и асинхронных многоступенчатых коммутирующих сетей в условиях неравномерного трафика. В результате выполненных исследований была решена научно-практическая задача оценки и увеличения производительности сетей синхронного и асинхронного типов для случая произвольного числа приоритетных компонентов-приемников.
Получены следующие научные результаты:
1. Впервые разработан метод реконфигурации многоступенчатых коммутирующих сетей путем распараллеливания каналов сети для увеличения ее пропускной способности. Разработаны новые типы коммутирующих элементов размерности 24, 44 и 42. Разработан итеративный метод оценки пропускной способности параллельных синхронных коммутирующих сетей при определенных параметрах входного трафика.
2. Предложен итеративный метод оценки пропускной способности синхронных многоступенчатых коммутирующих сетей при определенных параметрах входного трафика. Сравнение результатов использования метода при вычислении пропускной способности синхронной многоступенчатой коммутирующей сети с экспериментальными данными показало, что относительная погрешность метода составляет не более 3%. На примере синхронных сетей размеров 256256 и 512512 установлено, что максимальная пропускная способность наблюдается на каналах максимально отдаленных от приоритетных выходных каналов. При увеличении количества параллельных каналов структура выходного трафика не меняется. Максимальное увеличение пропускной способности наблюдается на каналах, отдаленных от приоритетных каналов.
3. Усовершенствован метод вычисления быстродействия буферных асинхронных многоступенчатых сетей, которые функционируют в условиях неравномерного трафика с произвольным числом приоритетных выходных каналов. Метод основан на разработанном ранее методе Читы Даса. В отличии от его метода, новый метод применим для недетерминированного размера пакетов. Метод вырождается в ранее разработанный метод Читы Даса в случае единственного приоритетного выходного канала и фиксированного размера пакетов. Относительная погрешность метода составляет 3%. Оценка быстродействия асинхронной многоступенчатой сети размером 10241024 показала, что размер буферной памяти и коммутирующих элементов определенным образом влияет на пропускную способность и время задержки пакетов. При увеличении размера буферной памяти, пропускная способность сети тоже увеличивается до некоторой точки насыщения. При увеличении размеров буферной памяти время задержки пакетов увеличивается быстрее при более интенсивном входном трафике. При больших значениях буферной памяти высокая интенсивность входного потока приводит к уменьшению быстродействия сети. Увеличение размеров коммутирующих элементов приводит к уменьшению времени задержки пакетов и увеличению быстродействия сети.
4. Для экспериментальной проверки разработанных методов оценки и увеличения пропускной быстродействия на платформе Java разработана имитационная модель.
5. Применение методов оценки и увеличения быстродействия сетей позволило увеличить пропускную способность сетей более чем в 1,5 раз.

6. Результаты диссертационной работы были доведены до уровня программных средств, которые были внедрены в ООО «Лабс Зорал», в ЗАО «Софт Лайн», в ООО «Коннектор», в Харьковском национальном университете радиоэлектроники, что подтверждается соответствующими актами внедрения.

Перечень использованных источников

1. Alverson R. The Tera Computer System / R. Alverson, D. Callahan, A. Porterfield, D. Cummings, B. Smith, B. Koblenz // Proceedings of the 4-th International Conference on Supercomputing. 1990. P. 16.
2. Atiquzzaman M. Effect of Non-uniform Traffic on the performance of Multistage Interconnection Networks / M Atiquzzaman, M.S. Akhtar. // IEEE Proc. Computers and Digital Techniques. 1994. Р. 141150.
3. Atiquzzaman M. Effect of hot spots on the performance of multistage interconnection networks / M. Atiquzzaman, MS. Akhtar // FRONTIERS 92: The Forth Symposium on the Frontiers of Massively Parallel Computations, October 19-21, 1992. Virginia, 1992. Р. 504505.
4. Atiquzzaman M. Effect of non-uniform memory request on the performance of buffered multiprocessor systems / M. Atiquzzaman, M. Sayeed // Computers and Electrical Engineering. 2001. Vol 27. P. 293308.
5. Bhuyan L.N. An Analysis o Processor-Memory Interconnection Networks / L.N.Bhuyan // IEEE Transactions on Computers. 1985. Vol. C-34, No. 3. Р.279 283.
6. Cassinelli A. Multistage Network With Globally Controlled Switching Stages and Its Implementation Using Optical Multi-Connection Modules / Alvaro Cassinelli, Makoto Naruse, Masatoshi Ishikawa // Journal of Lightwave Technology. 2004. Vol. 22, No. 2. Р. 315328.
7. Chen T. ATM Switching / T.M. Chen, S.S. Liu // Wiley Encyclopedia of Telecommunications and Signal Processing. 2002. P. 768778.
8. Dickey S.R. Performance differences among combining switch architectures / S.R. Dickey, O.E. Percus // Proc. I&Z: Conf. on Parallel Processing. 1992. Vol. 1. Р. 110117.
9. El-Paoumy. On Truncated Erlangian Queuing Systems with State-Dependent Service Rate, Balking and Reneging // El-Paoumy // Applied Mathematical Sciences. 2008. Vol. 2. Р. 11611167.
10. Gheith A. Modeling the communication performance of the IBM SP2 / A. Gheith, A. Davidson, E. Davidson // In Proceedings of the 10th International Parallel Processing Symposium (IPPS’96); Hawaii, IEEE Computer Society Press. 1996. P. 8793.
11. Han G. Performance Modeling of Hierarchical Cross-Bar Based Multicomputer Systems / G. Han, R.H. Klenke, J.H. Ayor // IEEE Transactions on Computers. 2001. Vol. 50, No. 9. Р. 877890.
12. Kim HS. Performance of buffered Banyan networks under non-uniform traffic patterns / HS. Kim, A.Leon-Garcia // IEEE Transactions on Computers. 1990. Vol. 38, No. 5. Р. 648658.
13. Kruskal C.P. The performance of Multistage Interconnection Networks for Multiprocessors, / C.P.Kruskal, Marc.Snir // IEEE Transactions on Computers. 1983. Vol. C-32, No. 12. Р. 10911098.
14. Liu YC. Analysis of prioritized crossbar multiprocessor systems / YC.Liu, C.Wang // Journal of Parallel and Distributed Computing. 1991. Vol. 7. Р. 321 334.
15. Nian-Feng T. Multistage-based switching fabrics for scalable routers // IEEE Transactions on parallel and distributed systems. 2004. Vol. 15, No. 4. P. 304 318.
16. Pfister G.F. Hot Spot Contention And Combining in Multistage Interconnection Network / G.F. Pfister, V.A.Norton // IEEE Transactions on Computers. 1985. Vol. C-34, No. 10. Р. 943948.
17. Pippenger N. Parallel communication with limited buffers / N. Pippenger // Proceedings of the 25th Annual Symposium on Foundation of Computer Science. October, 1984. IEEE Computer Society Press, 1984. Р. 127 136.
18. Nasser S. Fard. Multistage Interconnection Networks Reliability / S. Fard Nasser, Gunawan Indra // IEEE Transactions on Computers. 2001. Vol. 1, No. 2. Р.14.
19. PatelJ.H. Performance of Processor-Memory Interconnections for Multiprocessors / J.H. Patel // IEEE Transactions on Computers. 1981. Vol.C-30, No. 10. Р.771780.
20. Patrick G. Sobalvaro. Probablistic Analysis of Multistage Interconnection Network Performance / G. Sobalvaro Patrick // Journal of Electrical Engineering and Computer Scince at the Massachusetts Institute of Technology. 1995. №2. Р.4035.
21. Prasant Mohapatra. Performance analysis of Finite-Buffered Asynchronous Multistage Interconnection Networks / Mohapatra Prasant, R. Das Chita // IEEE Transactions on Parallel and Distributed Systems. 1996. Vol.7, No.1. Р.1825.
22. Ramesh Kumar Sitaraman. Communication and Fault Tolerance in Parallel Computers / Kumar Sitaraman Ramesh // Research Report CS-TR-93. February 1993. Р. 4652.
23. Renade A.G. How to emulate shared memory / A.G. Renade // Proceedings of the 28th Annual Symposium on Foundation of Computer Science. October 1987. IEEE Computer Society Press, 1987. Р. 185194.
24. Thistle M. A Processor Architecture For Horizon / M.R. Thistle, B.J. Smith // IEEE Supercomputing Proceedings. 1988. Vol. 1. P. 3541.
25. Tutsch D. Multilayer Multistage Interconnection Networks / D. Tutsch, G. Hommel. // Proc. 2003 Design, Analysis, and Simulation ofDistributed Systems (DASD’03), Orlando, USA. 2003 P. 155162.
26. Wilkinson B. Overlapping connectivity interconnection networks for shared memory multiprocessors systems / B.Wilkinson // J Parall Distrib Comput. 1992. Vol. 15, No. 1. Р. 4961.
27. Авен О.И. Оценка качества и оптимизация вычислительных систем/ О.И.Авен, Н.Н. Гурин, Я.А. Коган. М.: Наука, 1982. 464 с.
28. Авиженис А.А. Отказоустойчивость свойство, обеспечивающее постоянную работоспособность цифровых систем / А.А.Авиженис // Тр. ин-та инженеров по электротехнике и радиоэлектронике. 1978. Т.66. № 10. С. 515.
29. Алгоритмы, математическое обеспечение и архитектура многопроцессорных вычислительных систем / Под ред. А.П. Ершова. М.: Наука, 1982. 336 с.
30. Арлазаров В.Л. Математическая структура памяти многопроцессорной вычислительной системы / В.Л.Арлазаров, А.С.Варпаховский, Е.А.Диниц [и др.] // Многопроцессорные вычислительные системы. М., 1975. С.2637.
31. Арлазаров В.Л. Архитектура многопроцессорной вычислительной системы / В.Л.Арлазаров, А.Ф.Волков, В.Т.Лысиков [и др.] // Многопроцессорные вычислительные системы. М., 975. С. 1219.
32. Артамонов Г.Т. Топология сетей ЭВМ и многопроцессорных систем / Г.Т.Артамонов, В.Д.Тюрин. М.: Радио и связь, 1991. С. 3452
33. Бабаян Б.А. Система «Эльбрус» / Б.А.Бабаян, Ю.Х.Сахин// Программирование. 1980. № 6. С. 72 6.
34. Байцер Б. Архитектура вычислительных комплексов / Б. Байцер, пер. с англ. В 2-х т. М.: Мир, 1974. 453 с.
35. Байцер Б. Микроанализ производительности вычислительных систем / Б.Байцер, пер. с. англ. М.: Радио и связь, 1983. 360 с.
36. Бакенрот В.Ю. Организация вычислительного процесса в однородных вычислительных системах при решении пакета сложных задач / В.Ю.Бакенрот // Изв. АН СССР. Техническая кибернетика. 1983. № 4. С.112119.
37. Балашов Е.П. Микропроцессоры и микропроцессорные системы / Е.П.Балашов, Д.В. Пузанков. М.: Радио и связь, 1981. 328 с.
38. БарбанА.П. Распараллеливание структурированных программ / А.П.Барбан, В.В.Игнатущенко // Электронное моделирование. 1982. № 2. С. 28 5.
39. Барский А.Б. Многопрограммные высокопараллельные локально-асинхронные вычислительные структуры / А.Б.Барский // Вопросы кибернетики. Эффективные вычисления на супер-ЭВМ/НС по комплексной проблеме «Кибернетика» АН СССР. М., 1988. С. 148170.
40. Барский А.Б. О построении диспетчеров для вычислительных систем / А.Б.Барский // Изв. АН СССР. Техническая кибернетика. 1971. № 1. С.113118.
41. Барский А.Б. Параллельные процессы в вычислительных системах / А.Б.Барский // Планирование и организация. М.: Радио и связь, 1990. 256с.
42. Барский А.Б. Планирование параллельных вычислительных процессов / А.Б. Барский М.: Машиностроение, 1980. 192 с.
43. Барский А.Б.. Возможности достижения высокой скорости коммутации и внутрисистемного обмена в вычислительной системе, управляемой потоком данных / А.Б.Барский, А.Н.Русаков, Б.И.Хвоин // Вопросы кибернетики. Разработка и использование супер-ЭВМ/НС по комплексной проблеме «Кибернетика» АН СССР. М., 1987. С. 130144.
44. Басакер Р. Конечные графы и сети / Р.Басакер, Т.Саати, пер. с англ. М.: Наука, 1974. 366 с.
45. Башарин Г.П. Анализ конфликтов в общей памяти мультипроцессорных систем / Г.П.Башарин, Я.Б.Богуславский, В.И.Штейнберг В.И. // Автоматика и вычислительная техника. 1980. № 6. С. 2732.
46. Белецкий В.В. Теория и практические методы резервирования радиоэлектронной аппаратуры / В.В.Белецкий. М.: Энергия, 1977. 360с.
47. Березюк Н.Т. Живучесть микропроцессорных систем управления / Н.Т.Березюк, А.Я.Гапунин, Н.И.Подлесный Н.И. К.: Техника, 1988. 143 с.
48. Беркович С.Я. Организация обращения к динамическим массивам / С.Я.Беркович, Ю.Я.Кочин, А.В.Усков // Многопроцессорные вычислительные системы. М.: Наука, 1975. С. 110116.
49. Вайрадян А.С. Эффективное функционирование управляющих мультипроцессорных систем / А.С.Вайрадян, А.В.Коровин, В.Н.Удалов. М.: Радио и связь, 1984. 327 с.
50. Вальковский В.А. Параллельное выполнение циклов. Метод параллелепипедов / В.А.Вальковский // Кибернетика. 1982. № 2. С.5162.
51. Вальковский В.А. Распараллеливание алгоритмов и программ. Структурный подход / В.А.Вальковский. М.: Радио и связь, 1990. 176с.
52. Валях Е. Последовательно-параллельные вычисления / Е.Валях, пер. с. англ. М.: Мир, 1985. 456 с.
53. Варпаховский А.С. Об организации памяти многопроцессорной вычислительной системы / А.С.Варпаховский, А.Ф.Волков, В.Д.Зенкин, В.Т.Лысиков // Многопроцессорные вычислительные системы. М.: Наука, 1975. С. 3744.
54. Вейцман К. Распределение системы мини- и микроЭВМ / К.Вейцман, пер. с. англ. под ред. Г.П. Васильева. М.: Финансы и статистика, 1983. 382 с.
55. Гаскаров Д.В. Прогнозирование технического состояния и надежности радиоэлектронной аппаратуры / Д.В.Гаскаров, Т.А.Голинкевич, А.В.Мозгалевский. М.: Сов. радио, 1974. 224 с.
56. Гиллер Д.М. Способ расчета надежности структур вычислительных сетей / Д.М.Гиллер, А.Я.Ярмыш // Моделирование и управление в распределенных вычислительных сетях. К., 989. С. 4649.
57. Головкин Б.А. Параллельные вычислительные системы / Б.А.Головкин. М.: Наука, 1980. 520 с.
58. Головкин Б.А. Расчет характеристик и планирование параллельных вычислительных процессоров / Б.А.Головкин. М.: Радио и связь, 1983. 272 с.
59. Горский Ю.М. Подходы к количественной оценке живучести / Ю.М.Горский // Метод. вопр. исследования надежности больших систем энергетики. М., 1980. Вып. 20. С. 2431.
60. ГуляевВ.А. Организация живучих вычислительных структур / В.А.Гуляев, А.Г.Додонов, С.П.Пелехов. К.: Наук. думка, 1982. 140 с.
61. Гуляев В.А. Диагностика вычислительных машин / В.А.Гуляев, С.М.Макаров, В.С.Новиков. К.: Техніка, 1981. 167 с.
62. Дал У. Структурное программирование / У.Дал У, Є.Дийкстра, К.Хоор, пер. с англ. под ред. Э.З. Любимского и В.В. Мартынюка. М.: Мир, 1975. 247 с.
63. Дийкстра Э. Дисциплина программирования / Є.Дийкстра, пер. с англ. М.: Мир, 1978. 274 с.
64. Дмитриев Ю.К. Вычислительная система с программируемой структурой МИКРОС / Ю.К.Дмитриев, В.В.Корнеев, В.Г.Хорошевский // Вычислительные системы. Новосибирск, 1982. Вып. 94. С. 315.
65. Додонов А.Г. Вычислительные сети, модели и управление / А.Г.Додонов, В.Г.Клименко // Моделирование и управление в распределенных вычислительных сетях. К., 1989. С. 37.
66. Додонов А.Г. Проблемы и тенденции создания живучих вычислительных систем / А.Г.Додонов, М.Г.Кузнецова. К.: Наук. думка, 1981. 55 с.
67. Додонов А.Г. Реконфигурация как средство повышения живучести вычислительных систем / А.Г.Додонов, М.Г.Кузнецова // Моделирование и управление в распределенных вычислительных сетях. К., 1989. С.5361.
68. Доценко Б.И. Диагностика динамических систем / Б.И.Доценко. К.: Техніка, 1983. 159 с.
69. Дроздов Е.А. Многопрограммные цифровые вычислительные машины / Е.А.Дроздов, В.А.Комарницкий, А.П.Пятибратов. М.: Воениздат, 1974. 406 с.
70. Дроздов Е.А. Основы построения и функционирования вычислительных систем / Е.А.Дроздов, А.П.Пятибратов. М.: Энергия, 1973. 368 с.
71. Дружинин Г.В. Надежность автоматизированных систем / Г.В.Дружинин. М.: Энергия, 1977. 536 с.
72. Друнгилас В.А. Методика вычисления информационных графов микропрограмм / В.А.Друнгилас // Вычислительная техника. Вильнюс, 1978. Т. ХІ. С. 7679.
73. Евграфов В.Н. Повышение производительности безбуферных многоступенчатых сетей методом дублирования ступеней / В.Н.Евграфов // Вестник Национального Технического Университета «ХПИ». 2005. Вып. 56 С. 145 150.
74. Евграфов В.Н. Производительность непрямой многоступенчатой сети при наличии горячего трафика для конечных каналов / В.Н.Евграфов // Радиоэлектроника и информатика. 2005. №1. С. 119122.
75. Евграфов В.Н. Производительность буферных асинхронных многоступенчатых сетей с произвольным числом приоритетных модулей памяти / В.Н.Евграфов // Автоматизированные системы управления и приборы автоматики. 2008. № 145. С. 8086.
76. Евграфов В.Н. Реконфигурация динамических буферов модулей памяти в условиях горячего трафика / В.Н.Евграфов // Вестник национального технического университета «ХПИ». 2006. № 31. С. 4248.
77. Евграфов В.Н. Свойства безбуферных многоступенчатых сетей для произвольного числа горячих модулей памяти / В.Н.Евграфов // Вестник Национального Технического Университета «ХПИ». 2004. Вып. 46. С.153160.
78. Евграфов В.Н. Производительность безбуферных многоступенчатых сетей при наличии горячего трафика / В.Н.Евграфов, В.А.Дикарев // Вестник Национального Технического Университета «ХПИ». 2005. Вып. 46. С.5259.
79. Евграфов В.Н. Стабилизация распределений марковских процессов с континуальным множеством состояний для случая нормального распределения / В.Н. Евграфов, В.А. Дикарев, В.Н. Шершень // Радиоэлектроника и информатика. 2003. №4. С. 9093.
80. Евграфов В.Н. Реализация локальных фокусировок распределений марковских процессов по заданным статистикам в случаях, когда фазовое пространство принадлежит пространствам R2, S2, R3 / В.Н. Евграфов, В.А. Дикарев, К.В Кобылинский, А.В. Котелевцев, В.Н. Шершень // Радиоэлектроника и информатика. 2001. №1. С. 6264.
81. Евреинов Э.В. Однородные вычислительные структуры и среды / Э.В.Евреинов М.: Радио и связь, 1981. 208 с.
82. Евреинов Э.В. Однородные вычислительные системы / Э.В.Евреинов, В.Г.Хорошевский. Новосибирск: Наука, 1978. 320 с.
83. Ефимушкин В. Коммутация в сетях ATM / В.Ефимушкин, Т. Ледовских // Сети. 1999. Часть 1. №12. С. 3345.
84. Журавлев В.В. Организация базы данных для моделирования вычислительных систем и сетей / В.В.Журавлев, В.Г.Клименко // Моделирование и управление в распределенных вычислительных сетях. К., 1989. С. 2533.
85. Затуливетер Ю.С. Вопросы построения и многопроцессорной реализации структурно-параллельного программирования с управлением потока данных / Ю.С.Затуливетер, И.Л.Медведев // Вопросы кибернетики. Многопроцессорные вычислительные системы с перестраиваемой структурой: Архитектура. Структура. Применение: НС по комплексной проблеме «Кибернетика» АН СССР. М., 1981. С. 123 166.
86. Игнатущенко В.В. Конвейерная организация управления скалярными командами для многопроцессорных вычислительных систем / В.В.Игнатущенко // Автоматика и вычислительная техника. 1983. № 2. С. 5763.
87. ИгнатущенкоВ.В. Организация структур управляющих многопроцессорных вычислительных систем / В.В.Игнатущенко. М.: Энергоатомиздат, 1984. 184 с.
88. Каган Е.М. Модели конфликтов в памяти мультипроцессорных систем / Е.М.Каган, А.Я.Крейнин // Автоматика и вычислительная техника. 1982. № 2. С. 5965.
89. Казаринов Л.С. Планирование параллельных вычислений в управляющих МВС при дефиците ресурсов надежности / Л.С.Казаринов, М.Н.Мерензон // Управляющие системы и машины. 1988. № 2. С. 2226.
90. Каляев А.В. Организация многопроцессорных систем на принципах потока данных и программирования архитектуры / А.В.Каляев // Высокопроизводительные вычислительные системы: 2-е Всесоюз. Совещание, 1984 г.: тез. докл. Батуми, 1984. С. 1920.
91. Карцев М.А. Архитектура цифровых вычислительных машин / М.А.Карцев. М.: Наука, 1978. 296 с.
92. Карцев М.А. Вычислительные системы и синхронная арифметика / М.А.Карцев, В.А.Брик. М.: Радио и связь, 1981. 360 с.
93. Клейнрок Л. Вычислительные системы с очередями / Л.Клейнрок, пер. с англ. М.: Мир, 1979. 600 с.
94. Коваленко И.Н. Теория вероятностей и математическая статистика / И.Н.Коваленко, А.А.Филиппова М.: Высш. шк., 1973. 368 с.
95. Копылов М.А. Повышение эффективности вычислений на структурах со стыковой организацией / М.А.Копылов, Е.А.Казакевич // Автоматика и вычислительная техника. 1984. № 1. С. 3539.
96. Корнеев В.В. Архитектура вычислительных систем с программируемой структурой / В.В.Корнеев. Новосибирск: Наука, 1985. 166 с.
97. Королев Л.Н. Структуры ЭВМ и их математическое обеспечение / Л.Н.Королев, 2-е изд. М.: Наука, 1978. 351 с.
98. Крапивин В.Ф. О теории живучести сложных систем / В.Ф.Крапивин. М.: Сов. радио, 1978. 247 с.
99. Кузьмин И.В. Оценка эффективности и оптимизация автоматических систем контроля и управления / И.В.Кузьмин. М.: Сов. радио, 1972. 296с.
100. Левенталь Л. Введение в микропроцессоры: Программное обеспечение, аппаратные средства, программирование / Л.Левенталь, пер. с англ. М.: Энергоатомиздат, 1983. 464 с.
101. Липаев В.В. Распределение ресурсов в вычислительных системах / В.В.Липаев. М.: Статистика, 1979. 348 с.
102. Майерс Г. Архитектура современных ЭВМ / Г.Майерс, в 2-х кн., пер. с англ. М.: Мир, 1985.
103. Майерс Г. Надежность программного обеспечения / Г.Майерс. М.: Мир, 1980. 360 с.
104. Максименков А.В. Анализ алгоритмов диспетчеризации задач мультипроцессорной ЭВМ / А.В.Максименков // Управляющие системы и машины. 1978. № 3. С. 62 68.
105. Максименков А.В. Асинхронные параллельные вычисления в модульной многопроцессорной ЭВМ: В 2-х ч. / А.В.Максименков // Изв. АН СССР. Техническая кибернетика. 1980. № 2. С. 8895.
106. Максименков А.В. Асинхронные параллельные вычисления в модульной многопроцессорной ЭВМ: В 2-х ч. / А.В.Максименков // Изв. АН СССР. Техническая кибернетика. 1980. № 3. С. 117122.
107. Мано М. Архитектура вычислительных систем / М.Мано, пер. с англ. М.: Стройиздат, 1980. 448 с.
108. Мерензон М.Н. Алгоритм динамического программирования составления оптимального расписания для неоднородной вычислительной системы / М.Н.Мерензон // Изв. АН СССР. Техническая кибернетика. 1986. № 1. С. 1720.
109. Миренков Н.Н. Параллельное программирование для многомодульных вычислительных систем / Н.Н.Миренков. М.: Радио и связь, 1989. 320с.
110. МищенкоВ.А. Расчет производительности многопроцессорных вычислительных систем / В.А.Мищенко, Э.Г.Лазаревич, А.И.Аксенов. Минск: Высш. шк., 1985. 208 с.
111. Многопроцессорные вычислительные системы. Сб. науч. тр. АН СССР. М.: Наука, 1875. 143 с.
112. Моделирование и управление в распределенных вычислительных сетях. Сб. науч. тр. АН УССР. К.: Наук. думка, 1989. 132 с.
113. Мультипроцессорные системы и параллельные вычисления / Под ред. Ф. Энслоу, пер. с англ. М.: Мир, 1976. 326 с.
114. Мясников В.А. Архитектура модульной многомикропроцессорной вычислительной системы / В.А.Мясников, М.Б.Игнатьев, Ю.Е.Шейнин // Кибернетика. 1984. № 3. С. 4653.
115. Параллельные вычисления / Под ред. Г. Родрига, пер. с англ. под ред. Ю.Г.Дадаева. М.: Наука, 1986. 376 с.
116. Пашкеев С.Д. Основы мультипрограммирования для специализированных вычислительных систем / С.Д.Пашкеев. М.: Сов. радио, 1972. 183 с.
117. Подлесный Н.И. Об одном методе количественной оценки живучести сложных систем / Н.И.Подлесный, А.М.Маркелов, И.Э.Рассказов [и др.] // Системы управления летательных аппаратов. Х., 1981. Вып. 6. С. 2934.
118. Поспелов Д.А. Введение в теорию вычислительных систем / Д.А.Поспелов. М.: Сов. радио, 1972. 280 с.
119. Поспелов Д.А. Принципы ситуационного управления / Д.А.Поспелов // Изв. АН СССР. Техническая кибернетика. 1971. № 2. С. 511.
120. Потапова Ю.Н. Сопоставление способов распределения пакета задач по машинам вычислительной системы / Ю.Н.Потапова // Вычислительные системы. Новосибирск, СО АН СССР. 1982. Вып. 94. С. 5969.
121. Пугачев В.С. Теория вероятностей и математическая статистика / В.С.Пугачев. М.: Наука, 1979. 496 с.
122. Раков Г.К. Методы оптимизации структур вычислительных систем / Г.К.Раков. М.: Энергия, 1974. 145 с.
123. Розанов Ю.А. Теория вероятностей, случайные процессы и математическая статистика: учебник для вузов / Ю.А.Розанов. М.: Наука, 1985. 320 с.
124. Рыжков А.П. Правильная биологическая граф-модель параллельного вычислительного процесса и ее свойства / А.П.Рыжков // Изв. АН СССР. Техническая кибернетика. 1976. № 2. С. 96104.
125. Самофалов К.Г. Основы теории многоуровневых конвейерных вычислительных систем / К.Г.Самофалов, Г.М.Луцкий. М.: Радио и связь, 1989. 272 с.
126. Системы параллельной обработки / Под ред. Д. Ивенса, пер. с англ. под ред. Ю.Г. Дадаева. М.: Мир, 1985. 416 с.
127. СоболевскийМ.И. Анализ и оптимизация структур матричных вычислительных систем / М.И.Соболевский. М.: Энергия, 1979. 168 с.
128. Тербер К. Дж. Архитектура высокопроизводительных вычислительных систем / Тербер К. Дж., пер. с. англ. М.: Наука, 1985. 272 с.
129. Тербер К.Д. Архитектура высокопроизводительных вычислительных систем / К.Д.Тербер, пер. с англ. М.: Наука, 1985. 272 с.
130. Торгашев В.А. Управление вычислительным процессом и машины с динамической архитектурой / В.А.Торгашев // Вычислительные системы и методы автоматизации исследований и управления. М.: Наука, 1982. С. 172187.
131. Трахтенгерц Э.А. Введение в теорию анализа и распределения программ ЭВМ в процессе трансляции / Э.А.Трахтенгерц. М.: Наука, 1981. 2554с.
132. Турута Е.Н. Организация распределения задач в вычислительных сист