Физическая Топология¶
Локации¶
У LAN_DC будет 6 ДЦ:
- Россия (RU):
- Москва (msk)
- Казань (kzn)
- Испания (SP):
- Барселона (bcn)
- Малага (mlg)
- Китай (CN):
- Шанхай (sha)
- Сиань (sia)
Внутри ДЦ (Intra-DC)¶
Во всех ДЦ идентичные сети внутренней связности, основанные на топологии Клоза. Что за сети Клоза и почему именно они - в отдельной статье.
В каждом ДЦ по 10 стоек с машинами, они будут нумероваться как A, B, C итд. В каждой стойке по 30 машин. Они нас интересовать не будут. Также в каждой стойке стоит коммутатор, к которому подключены все машины - это Top of the Rack switch - ToR или иначе в терминах фабрики Клоза будем называть его Leaf.
Общая схема фабрики
Именовать их будем XXX-leafY, где XXX - трёхбуквенное сокращение ДЦ, а Y - порядковый номер. Например, kzn-leaf11.
Я в статьях позволю себе достаточно фривольно обращаться терминами Leaf и ToR, как синонимами. Однако нужно помнить, что это не так. ToR - это коммутатор, установленный в стойке, к которому подключаются машины. Leaf - это роль устройства в физической сети или свитч первого уровня в терминах топологии Клоза. То есть Leaf != ToR. Так Leaf’ом может быть End Of Raw-коммутатор, например. Однако в рамках этой статьи будем всё же обращаться ими как синонимами.
Каждый ToR-коммутатор в свою очередь соединён с четырьмя вышестоящими агрегирующими коммутаторами - Spine. Под Spine’ы выделено по одной стойке в ДЦ. Именовать будем аналогично: XXX-spineY.
В этой же стойке будет стоять сетевое оборудование для связности между ДЦ - 2 маршрутизатора с MPLS на борту. Но по большому счёту - это те же самые ToR’ы. То есть с точки зрения Spine-коммутаторов не имеет никакого значения обычный там ToR с подключенными машинами или маршрутизатор для DCI - один чёрт форвардить. Такие специальные ToR’ы называются Edge-leaf. Мы их будем именовать XXX-edgeY.
Выглядеть это будет так.
На схеме выше edge и leaf я действительно разместил на одном уровне. Классические трёхуровневые сети приучили нас рассматривать, аплинк (собственно отсюда и термин), как линки вверх. А тут получается «аплинк» DCI идёт обратно вниз, что некоторым немного ломает привычную логику. В случае крупных сетей, когда датацентры делятся ещё на более мелкие единицы - POD’ы (Point Of Delivery), выделяют отдельные Edge-POD’ы для DCI и выхода во внешние сети.
Для удобства восприятия в дальнейшем я буду всё же рисовать Edge над Spine, при этом мы будем держать в уме, что никакого интеллекта на Spine и отличий при работе с обычными Leaf и с Edge-leaf нет (хотя тут могут быть нюансы, но в целом это так).
Схема фабрики с Edge-leaf’ами.
Троица Leaf, Spine и Edge образуют Underlay-сеть или фабрику.
Задача сетевой фабрики (читай Underlay), как мы уже определились в прошлом выпуске, очень и очень простая - обеспечить IP-связность между машинами как в пределах одного ДЦ, так и между. Оттого-то сеть и называется фабрикой, так же, например, как фабрика коммутации внутри модульных сетевых коробок, о чём подробнее можно почитать в СДСМ14.
Фабрика полностью L3. Никаких VLAN, никаких Broadcast - вот такие у нас в LAN_DC замечательные программисты, умеют писать приложения, живущие в парадигме L3, а виртуальные машины не требуют Live Migration c сохранением IP-адреса.
И ещё раз: ответ на вопрос почему фабрика и почему L3 - в отдельной статье.
DCI - Data Center Interconnect (Inter-DC)¶
DCI будет организован с помощью Edge-Leaf, то есть они - наша точка выхода в магистраль. Для простоты предположим, что ДЦ связаны между собой прямыми линками. Исключим из рассмотрения внешнюю связность.
Я отдаю себе отчёт в том, что каждый раз, как я убираю какой-либо компонент, я значительно упрощаю сеть. И при автоматизации нашей абстрактной сети всё будет хорошо, а на реальной возникнут костыли. Это так. И всё же задача этой серии - подумать и поработать над подходами, а не героически решать выдуманные проблемы.
На Edge-Leaf’ах underlay помещается в VPN и передаётся через MPLS-магистраль (тот самый прямой линк).
Вот такая верхнеуровневая схема получается.