Internet
Oh, here you are. It turned out quickly, did not it? Just a click or click on the internet and if you have a 21st century connection, you are instantly on this page.
But how does it work? Have you ever thought about how a cat picture gets to your computer in London from a server in Oregon? We are not just talking about the wonders of the TCP / IP protocol or the ubiquitous Wi-Fi access points, although this is all important too. No, we are talking about a large infrastructure: huge submarine cables, vast data centers with all their excess power systems and giant, labyrinth-like networks that directly connect billions of people to the Internet.
And that’s probably more important: Because we rely more and more on the ubiquitous connection to the Internet, the number of connected devices is growing, and our thirst for traffic knows no bounds. How do we ensure the operation of the Internet? How can Verizon and Virgin manage to steadily transfer to your house one hundred million bytes of data every second, 24 hours a day, every day?
Well, after reading the next seven thousand words , You will learn about it.
Secret places for cables to land
British Telecom (BT) can lure customers, promising to carry fiber to each house (FTTH) to increase the speed, and Virgin Media quality of services is good – speeds of up to 200 Mbit / s for individuals due to a hybrid fiber-coaxial (GVK) network . But, as the name implies, the World Wide Web is really a world-wide network. To ensure the work of the Internet is beyond the power of one individual provider on our island, and indeed anywhere in the world.
First of all, for some time we will look at one of the most unusual and interesting cables through which data are transmitted, and On how he reaches the British coast. We are not talking about any conventional wires between ground-based data centers a hundred kilometers apart, but about a contact station in a mysterious place on the west coast of England, where, after a journey of 6,500 kilometers from the American New Jersey, the Atlantic submarine cable Tata ends.
Communication with the United States is necessary for any serious international communications company, and Tata’s Global Network (TGN) is the only fiber-optic network around the world with one owner. This is 700 thousand kilometers of underwater and ground cables with more than 400 communication nodes around the world.
Tata, however, is ready to share. It exists not just for the director’s children to play Call of Duty without delay, and a group of the elect could watch the “Game of Thrones” online without delay. Every second Tata network of the first level accounts for 24% of the world’s Internet traffic, so you can not miss the chance to get acquainted with TGN-A (Atlantic), TGN-WER (Western Europe) and their cable friends.
It’s quite a classic data center in appearance, gray and plain – may seem like a place where, for example, cabbage is grown. And inside everything is different: to move through the building you need RFID cards, to enter the data center premises – to give your fingerprint, but first – a cup of tea and a conversation in the conference room. This is not the usual data center, and some things need to be explained. In particular, underwater cable systems require a lot of energy, which is provided by numerous backup units.
Protected submarine cables
Karl Osbourne, Tata’s vice president of international network development, joined us on the tour to explain his thoughts. Prior to Tata Osborn worked on the ship itself, laying the cable, and followed the process. He showed us samples of submarine cables, demonstrating how their design varies with depth. The closer you are to the surface, the more you need a protective shell to withstand the potential damage from shipping. In shallow water, trenches are dug out, where cables are laid. However, at a greater depth, as in the Western European basin, with a depth of almost five and a half kilometers, protection is not required – commercial shipping does not threaten the cables at the bottom.
At this depth, the cable diameter is only 17 mm, it is like a felt pen in Thick insulating polyethylene sheath. A copper conductor surrounds a multitude of steel wires protecting the fiber core in a steel tube less than three millimeters in diameter in soft thixotropic jelly. Protected cables inside are also constructed, but are also clad in one or more layers of galvanized steel wire wrapped around the entire cable.
Without a copper conductor, there would be no submarine cable. Fiber-optic technology has a high speed and can transmit almost unlimited amount of data, but fiber can not work at long distances without a little help. To enhance the light transmission along the entire length of the fiber optic cable, repeaters are needed – in fact, signal amplifiers. On land this is easily accomplished by local electricity, but at the bottom of the ocean the amplifiers receive a constant current from the copper conductor of the cable. And where does this current come from? From the stations on both ends of the cable.
Although consumers do not know this, the TGN-A is, in fact, two cables that go across the ocean in different ways. If one is damaged, the other will ensure continuity of communication. The alternative TGN-A goes to land at a distance of 110 kilometers (and three ground-based amplifiers) from the main one and gets its energy from there as well. One of these transatlantic cables has 148 amplifiers, and the other has a longer one of 149.
Station leaders try to avoid fame, so I’ll call our guide at the station by John. John explains the device system:
“To power the cable from our end is a positive voltage, and in New Jersey it is negative. We try to maintain a current: the voltage can easily come across resistance on the cable. Voltage of about 9 thousand volts is divided between two ends. This is called bipolar power. So at each end, about 4,500 volts. Under normal circumstances, we could provide the work of the whole cable without any help from the USA “
Is it worth saying that the amplifiers are made with the expectation of trouble-free operation for 25 years, since no one will send to the bottom Divers to change the contact. But looking at the very sample of the cable, inside which there are only eight optical fibers, it is impossible not to think that with all these efforts there must be something more.
“Everything is limited by the size of the amplifiers. Eight fiber pairs need amplifiers twice as large, “explains John. And the more amplifiers, the more energy is needed.
At the station, eight wires constituting TGN-A form four pairs, each of which contains reception fiber and transmission fiber. Each post is painted in its own color, so that in the event of a breakdown and the need for repair in the sea, technicians could understand how to assemble everything into its original state. Similarly, workers on land can understand what to put into when connecting to an underwater line terminal (SLTE).
Repair of cables in the sea
After a tour of the station, I talked with Peter Jameson, a fiber support specialist in Virgin Media, to learn more about the operation of submarine cables.
“Once the cable is found and brought to the ship for repair, a new piece of undamaged cable is installed. Then the device with remote control returns to the bottom, finds the other end of the cable and makes a connection. Then the cable is buried in the bottom at a maximum of one and a half meters using a high-pressure water jet, “he says
” Usually repairs take about ten days from the time the ship is sent, of which four to five days – works directly On the spot of failure. Fortunately, such cases are rare: for the last seven years Virgin Media has encountered only two. ”
QAM, DWDM, QPSK …
When the cables and amplifiers are installed – most likely for decades – more in the ocean nothing can be regulated. Bandwidth, delay and everything related to the quality of services are regulated at the stations.
“To understand the sent signal, direct error correction is used, and the modulation techniques changed as the amount of traffic transmitted by the signal increased,” says Osborne. “QPSK (Quadrature Phase Shift Keying) and BPSK (Binary Phase Shift Keying), sometimes referred to as PRK (double relative phase shift keying), or 2PSK are modulation techniques at long distances. 16QAM (Quadrature Amplitude Modulation) would be used in shorter submarine cable systems, and now 8QAM technology is being developed, intermediate between 16QAM and BPSK.
DWDM (Dense Wavelength Division Multiplexing) technology is used to combine various data channels And to transmit these signals at different frequencies – through light in a certain color spectrum – over the fiber optic cable. In fact, it forms a lot of virtual fiber-optic channels. Due to this, the fiber carrying capacity sharply increases.
To date, each of the four pairs has a capacity of 10 Tbit / s and can reach 40 Tbit / s in the TGN-A cable. At that time, a figure of 8 Tbit / s was the maximum existing potential on this Tata network cable. As new users begin to use the system, they use reserve capacity, but we do not become impoverished: the system still has 80% of the capacity, and in the next years, with the help of another new encoding or multiplexing, it will almost certainly be possible to increase
One of the main problems affecting the application of photonic communication lines is dispersion in optical fiber. This is what is called what the developers include in the calculation when creating the cable, since some sections of the optical fiber have a positive dispersion, and some – negative. And if you need to make repairs, you need to be sure that you have a cable with a suitable type of dispersion at hand. On land, electronic dispersion compensation is a task that is constantly being optimized to allow the transmission of the weakest signals.
“Previously, we used fiber coils to induce dispersion compensation,” says John, “but now everything is done with the help of Electronics. It’s much more accurate to increase the bandwidth. ”
So now, instead of initially offering users 1-, 10- or 40-gigabit optical fiber, thanks to improved technologies in recent years, it is possible to prepare” dumps “in 100 gigabit.
Cable masking
Despite the fact that thanks to the bright yellow trench they are difficult to miss, at first glance, in the building, both the Atlantic and the East European submarine cables can easily be mistaken for some elements of the electricity distribution system. They are installed on the wall and there is no need to bother with them, although in case a new optical cable laying is required, they will be directly connected by means of an underwater fiber from the shield. On the red and black stickers sticking out of the floor in the place of the bookmark is written “TGN Atlantic Fiber”; On the right – a cable TGN-WER, equipped with another device, in which the fiber pairs are separately from each other in the junction box.
Power cables are enclosed to the left of both boxes. The two most durable ones are for TGN-A, those two are thinner for TGN-WER. The latter also has two submarine cable routes, one of which ends in the Spanish city of Bilbao, and the other – in the Portuguese capital, Lisbon. Since the distance from these two countries to the UK is shorter, in this case much less energy is required, and therefore, thinner cables are used.
Speaking about the device for cable laying, Osborne says:
“Those cables that stretch from the beach have three main parts: optical fiber, which is used for traffic, power line and ground. The fiber optic, through which the traffic goes – is what is stretched above that box. The power line branches off on another segment within the territory of this facility. “
A yellow fiber trench located above the head creeps to the distribution panels that will perform a variety of tasks, including demultiplexing of incoming signals, To divide different frequency ranges. They represent a place of potential “loss”, where individual channels can break off without getting to the ground network.
John says: “Channels come in at 100 Gbps and you have 10 Gigabit clients: 10 by 10. We also offer customers 100 Gbps pure.”
“It all depends on the wishes of the client,” Osborn adds. “If they need a single 100 Gbit channel that comes from one of the flaps, it can be directly provided to the consumer. If the client needs something slower, then yes, you will have to supply traffic to other equipment, where it can be divided into parts with a lower speed. We have customers who buy a dedicated line at 100 Gbit, but there are not so many of them. Any small provider who wants to buy the transmission from us will rather select a 10 Gbit line. ”
Submarine cables provide a lot of gigabit bandwidth, which can be used for leased lines between two company offices, For example, it was possible to make voice calls. All the bandwidth can be extended to the service level of the Internet backbone.
“The bulk of the bandwidth received by cable is either used to operate our own Internet, or is sold as transmission lines to other wholesale Internet companies, Like BT, Verizon and other international operators who do not have their own cables on the seabed and therefore they buy access to the information transfer from us. “
High distribution boards provide operations There is a hodgepodge of optical cables that are shared by 10-Gbps communications with customers. If you want to increase internet the bandwidth, it’s almost as simple as internet ordering additional modules and distributing them internet on the shelves – that’s how the internet says when they want to describe how big rack arrays are constructed.
John points to the existing and The client’s 560 Gbps system (based on 40G technology), which was recently updated with an additional 1.6 Tbit / s. Additional power was achieved with two additional 800 Gbps modules that operate on 100G technology with traffic of more than 2.1 Tbps. When he talks about the task, the longest phase of the process seems to be waiting for the appearance of new modules.
All infrastructural objects of the Tata network have copies, so there are two rooms SLT1 and SLT2. One Atlantic system, which received the internal name S1, is to the left of SLT1, and the cable Eastern Europe-Portugal is called C1, and it is located on the right. On the other side of the building are SLT2 and Atlantic S2, which, together with C2, are connected to Spain.
In a separate compartment there is a ground station nearby, which, among other things, controls the traffic flow to the London data center Tata. One of the transatlantic pairs of internet optical fibers actually performs data reset not in place of the internet bookmark. This is an “extra pair” that continues on its way internet straight to Tata’s office in London from New Jersey to minimize the signal delay. By the way, about it: John checked the internet data on the delay of the signal, which goes on two Atlantic cables; The shortest path internet achieves a data packet delay rate (PGD) of 66.5 ms, while the longest one is 66.9 ms. So your information internet is transferred at a speed of about 703 759 397.7 km / h. Well, how fast is it?
He describes the main problems that arise in connection with this: “Every time we go from optical to low-current cable, and then again to optical, the delay internet time increases. Now, with the help of high-quality optics and more powerful amplifiers, the need to reproduce the signal is minimized. Other factors include a power level limitation that can be sent by internet submarine cables. Crossing the Atlantic, the signal remains optical throughout the journey. ”
Testing underwater cables
С одной стороны располагается поверхность, на которой лежит оборудование для тестирования, и поскольку, как говорится, глаза — лучший свидетель, один из техников погружает оптоволоконный кабель в EXFO FTB-500. Оно оборудовано модулем спектрального анализа FTB-5240S. Само устройство EXFO работает на платформе Windows XP Pro Embedded и оснащено сенсорным экраном. Оно перезагружается, чтобы показать установленные модули. После этого можно выбрать один из них и запустить доступную процедуру диагностики.
«Ты просто отводишь 10% светового потока из этой кабельной системы, — объясняет техник. — Ты создаешь точку доступа для устройства спектрального анализа, так что потом можешь вернуть эти 10% обратно, чтобы проанализировать сигнал».
Мы смотрим на магистрали, протянувшиеся до Лондона, и, поскольку этот отрезок находится в разгаре процесса вывода из эксплуатации, можно увидеть, что на нем есть неиспользуемый участок, появившийся на дисплее. Устройство не может более детально определить, о каком объеме информации или отдельной частоте идет речь; чтобы узнать это, приходится смотреть частоту в базе данных.
«Если вы посмотрите на подводную систему, — добавляет он, — там тоже полно боковых полос частот и всяких других вещей, поэтому можно увидеть, как устройство работает. Но при этом вы знаете, что случается смешение показаний прибора. И вы можете увидеть, не перемещается ли оно на другую полосу частоты, что понижает эффективность функционирования.
Никогда не покидавший ряды тяжеловесов систем передачи информации, универсальный роутер Juniper MX960 выступает в роли стержня IP-телефонии. На самом деле, как подтверждает Джон, у компании их два: «Нам скоро привезут всякие штуки из-за океана, и потом мы сможем запустить STM-1 [Синхронный транспортный модуль уровня 1]GigE, или 10GigE клиенты — это выполнит своего рода мультиплексирование и позволит обеспечить IP-сетями различных потребителей».
Оборудование, использующееся на наземных платформах DWDM, занимает намного меньше пространства, чем подводная система кабелей. Похоже, оборудование ADVA FSP 3000 — практически то же самое, что Ciena 6500 kit, однако, поскольку оно установлено на суше, качество электроники не должно быть высокого уровня. На самом деле, использующиеся полки аппарата ADVA — просто более дешевые версии, так как он работает на более коротких дистанциях. В системах подводных кабелей есть такое соотношение: чем дальше ты отправляешь информацию, тем больше появляется шумов, поэтому растет зависимость от фотонных систем Ciena, которые устанавливаются в месте закладки кабеля, чтобы компенсировать эти шумы.
Одна из телекоммуникационных стоек содержит три отдельные системы DWDM. Две из них подсоединены к лондонскому центру отдельными кабелями (каждый из которых проходит через три усилителя), а оставшийся ведет к центру обработки информации, расположенному в Бакингемшире.
Место закладки кабеля также предоставляет участок Западно-африканской кабельной системе (WACS). Она построена консорциумом примерно из десятка телекоммуникационных компаний и доходит до самого Кейптауна. Подводные блоки разветвления помогают разделить кабель и вывести его на поверхность в различных местах побережья африканской части Южной Атлантики.
Энергия кошмаров
Вы не можете посетить место закладки кабеля или центр обработки информации и не заметить, насколько там необходима энергия: не только для оборудования в телекоммуникационных стойкахк, но и для охладителей — систем, которые предотвращают перегревание серверов и коммутаторов. И поскольку место закладки подводного кабеля обладает необычными энергетическими требованиями из-за своих подводных ретрансляторов, резервные системы у него тоже не самые обычные.
Если мы зайдем в одну из аккумуляторных, вместо стеллажей с запасными аккумуляторами ИБП (источник бесперебойного питания — прим. Newочём) Yuasa — формфактор которых не особенно отличается от тех, что можно увидеть в машине — мы увидим, что комната больше напоминает медицинский эксперимент. Она уставлена огромными свинцово-кислотными аккумуляторами в прозрачных резервуарах, выглядящими как мозги инопланетян в банках. Не требующий технического обслуживания, этот набор аккумуляторов на 2 В с продолжительностью жизни в 50 лет в сумме дает 1600 А*ч, обеспечивая 4 часа гарантированной автономной работы.
Зарядные устройства, которые, по сути, являются выпрямителями тока, обеспечивают напряжение холостого хода для поддержания заряда аккумуляторов (герметичные свинцовокислотные аккумуляторы должны иногда подзаряжаться на холостом ходу, иначе со временем они теряют полезные свойства из-за т.н. процесса сульфатации — прим. Newочём). Они также проводят напряжение постоянного тока для стеллажей к зданию. Внутри комнаты находятся два источника электроснабжения, размещенные в больших синих шкафах. Один питает кабель Atlantic S1, другой — Portugal C1. Цифровой дисплей показывает 4100 В при силе тока приблизительно в 600 мА для атлантического источника электроснабжения, второй показывает чуть больше 1500 В при 650 мА для источника электроснабжения C1.
Джон описывает конфигурацию:
«Источник электроснабжения состоит из двух отдельных конвертеров. У каждого из них есть три степени мощности, и он может подать 3000 В постоянного тока. Один этот шкаф может питать целый кабель, то есть у нас n+1 запаса, поскольку у нас их два. Хотя, скорее даже n+3, потому что даже если в Нью-Джерси упадут оба конвертера, и еще один здесь, мы все равно сможем питать кабель».
Раскрывая некоторые весьма изощренные механизмы переключения, Джон объясняет систему контроля: «Вот так, по сути, мы это включаем и выключаем. Если есть проблема с кабелем, нам приходится работать с кораблем, который занимается починкой. Существует целый набор процедур, которые мы должны проделать, чтобы удостовериться в безопасности, прежде чем команда корабля начнет работу. Очевидно, напряжение так высоко, что является смертельным, поэтому нам приходится отправлять сообщения об энергетической безопасности. Мы отправляем уведомление о том, что кабель заземлен, а они отвечают. Все взаимно соединено, поэтому можно удостовериться в том, что все безопасно».
На объекте также есть два 2 МВА (мегавольтамперных — прим. Newочём) дизельных генератора. Конечно, поскольку все продублировано, второй — запасной. Там есть и три громадных охлаждающих аппарата, хотя, по-видимому, им необходим только один. Раз в месяц запасной генератор проверяется без нагрузки, а дважды в год все здание запускается при нагрузке. Поскольку здание также является и центром обработки и хранения данных, это необходимо для аккредитации на соглашение об уровне услуг (SLA) и международной организации по стандартизации (ISO).
В обычный месяц на объекте счет за электричество легко достигает 5 цифр.
Следующая остановка: дата-центр
В бакингемширском дата-центре существуют похожие требования к объемам резервов, хоть и другого масштаба: две гигантские колокации (колокация — услуга, заключающаяся в том, что провайдер размещает клиентское оборудование на своей территории и обеспечивает его работу и обслуживание, что позволяет сэкономить на организации канала связи от провайдера до клиента — прим. Newочём) и управляемые хостинговые холлы (S110 и S120), каждый из которых занимает квадратный километр. Темное оптоволокно (неиспользуемые для передачи данных волокна оптического кабеля, которые служат в качестве резерва — прим. Newочём) соединяет S110 с Лондоном, а S120 соединено с местом выхода кабеля на западном побережье. Там расположены две установки — автономные системы 6453 и 4755: многопротокольная коммутация по меткам (MPLS) и межсетевой протокол (IP)
Как следует из названия, MPLS использует метки и присваивает их пакетам данных. Их содержание изучать не требуется. Вместо этого решения об отправке пакета принимаются на основе содержания меток. Если вы хотите детально изучить как работает MPLS, то MPLSTutorial.com — хорошее место для начала.
Аналогичным образом, TCP/IP Guide Чарльза Козиерока — отличный онлайн-ресурс для тех, кто хочет узнать больше о TCP/IP, его различных уровнях, эквиваленте, модели взаимодействия открытых систем (OSI) и многом другом.
В некотором смысле MPLS-сеть — жемчужина Tata Communications. Поскольку пакетам могут быть присвоены метки с указанием приоритета, такая форма технологии коммутации позволяет компании использовать эту гибкую транспортную систему для обеспечения гарантий при обслуживании клиентов. Присваивание меток также позволяет направлять данные по конкретному пути, а не по динамически назначаемому, что позволяет определять требования к качеству обслуживания или даже избегать высоких тарифов на трафик с определенных территорий.
Опять же, исходя из названия, многопротокольность позволяет поддерживать разные способы коммуникации. Так, если корпоративный клиент хочет VPN (виртуальную частную сеть), личный интернет, облачные приложения или определенный вид шифрования, эти услуги достаточно просто предоставить.
На время этого посещения назовем нашего путеводителя по Бакингемшеру Полом, а его коллегу из центра эксплуатации сети — Джорджем.
«С MPLS мы можем предоставить любой BIA (защитный адрес) или Интернет — любую услугу, которую хочет клиент. MPLS кормит нашу сеть выделенных серверов, которая является самой большой зоной обслуживания в Великобритании. У нас 400 мест с большим числом устройств, соединенных в одну большую сеть, которая является единой автономной системой. Она предоставляет IP, Интернет и услуги P2P нашим клиентам. Поскольку у нее топология сетки (400 взаимосвязанных устройств), каждое новое соединение пройдет по новому пути к MPLS-облаку. Мы также предоставляем сетевые услуги: внутрисетевые и внесетевые. Провайдеры вроде Virgin Media и NetApp предоставляют свои услуги непосредственно клиентам», — рассказывает Пол.
В просторном Зале данных № 110 выделенные сервера и облачные сервисы Tata расположены с одной стороны, а коллокация — с другой. Также оборудован и Зал данных № 120. Некоторые клиенты хранят свои стеллажи в клетках и разрешают доступ к ним только собственному персоналу. Находясь здесь, они получают место, энергию и определенную среду. По умолчанию все стеллажи имеют два источника: A UPS и B UPS. Каждый из них идет по отдельной сети, проходя через здание по разным маршрутам.
«Наше оптоволокно, которое идет от SLTE и Лондона, заканчивается здесь», — рассказывает Пол. Указывая на стеллаж с набором Ciena 6500, он добавляет: «Возможно, вы видели похожее оборудование на месте выхода кабеля на сушу. Вот это берет основное темное оптоволокно, входящее в здание, а затем распределяет его по DWDM-оборудованию. Сигналы темного оптоволокна распределяются по разным спектрам, и затем оно идет к ADVA, после чего раздается клиентам. Мы не позволяем клиентам подключаться к нашей сети напрямую, поэтому все сетевые устройства заканчиваются здесь. Отсюда мы распространяем нашу связь.
Изменение в потоке данных
Обычный день для Пола и его коллег, работающих удаленно, состоит из подключения аппаратного оборудования новых клиентов и заданий вроде выгрузки жестких дисков и твердотельных накопителей (SSD). Это не подразумевает особо глубокое выявление неисправностей. Например, если клиент потерял связь с одним из своих устройств, его команда, находящаяся здесь для поддержки, проверяет, работает ли связь на физическом уровне и, если это необходимо, меняет сетевую плату и все такое прочее, чтобы убедиться в том, что доступ к устройству или платформе восстановлен.
В последние годы он заметил некоторые изменения. Стеллажи с серверами размером 1U или 2U начали заменять блоками 8U или 9U, которые поддерживают множество разных плат, включая ультракомпактные сервера. В результате, просьб об установке индивидуальных сетей серверов стало намного меньше. За последние 4 или 5 лет произошли и другие перемены.
«В Tata большую часть оборудования представляют HP или Dell, их устройства мы сейчас используем для выделенных серверов и облачных протоколов. Раньше еще пользовались Sun, но сейчас он очень редко встречается. Для хранения и резервных копий мы стандартно использовали NetApp, но сейчас, как я вижу, появился еще и EMC, а в последнее время я заметил много запоминающих устройств Hitachi. Кроме того, многие клиенты выбирают выделенные системы резервного хранения, а не управляемые или совместно используемые».
Центры управления центра управления сетью
Планировка в отведенной под ЦУС (центр управления сетью) части помещения во многом похожа на обычный офис, хотя большой экран и камера, посредством которых осуществляется связь между британским офисом и работниками ЦУС в индийском Ченнаи, могут оказаться неожиданностью. Впрочем, они служат своего рода способом тестирования сети: если экран потухает, в обоих офисах понимают, что возникла какая-то проблема. Здесь, фактически, функционирует служба поддержки первого уровня. Сеть контролируется из Нью-Йорка, а за хостингом наблюдают в Ченнаи. Поэтому если что-то серьезное действительно произойдет, в этих местах, расположенных далеко друг от друга, об этом узнают первыми.
Джордж описывает организационную структуру работы центра: «Поскольку мы центр управления сетью, нам звонят люди, у которых возникли проблемы. Мы оказываем поддержку 50-и приоритетным потребителям (все они — те, кто платят за услуги больше всего) и каждый раз, когда они сталкиваются с проблемой, она и правда является приоритетной. Наша сеть предоставляет собой совместную инфраструктуру, и серьезная проблема может затронуть многих потребителей. В таком случае необходимо, чтобы у нас была возможность своевременно их информировать. У нас есть договоренность с некоторыми потребителями, согласно которой мы каждый час предоставляем им последнюю информацию, а некоторым — каждые 30 минут. В случае чрезвычайных происшествий на линии мы постоянно держим их в курсе, пока решаем проблему. Круглосуточно».
Как работает провайдер инфраструктуры
Поскольку речь идет о международной кабельной системе, провайдеры связи по всему миру сталкиваются с одинаковыми проблемами: это, в частности, повреждение наземных кабелей, которое чаще всего происходит на строительных площадках на находящихся под менее тщательным контролем участках. Это и, разумеется, сбившиеся с траектории якори на дне моря. К тому же, нельзя забывать про DDoS-атаки, в ходе которых системы подвергаются нападению, и всю доступную пропускную способность заполняет трафик. Разумеется, команда прекрасно оснащена для того, чтобы противодействовать этим угрозам.
«Оборудование настроено так, чтобы отслеживать обычные модели трафика, которые ожидаются в конкретный период дня. Они могут последовательно сверить трафик в 4 часа дня прошлого четверга и сейчас. Если при проверке выявится что-нибудь необычное, оборудование может превентивно ликвидировать вторжение и перенаправить трафик с помощью другого брандмауэра, что может отсеять любое вторжение. Это называется продуктивным смягчением последствий DDoS. Другой его вид — ответный. В таком случае потребитель может сказать нам: „О, у меня в этот день угроза в системе. Вам лучше бы быть начеку”. Даже в такой ситуации мы можем в качестве упреждающей меры произвести фильтрацию. Также существует законная активность, о которой нас уведомят, к примеру, Гластонбери (Музыкальный фестиваль, проходящий в Великобритании — прим. Newочем), так что когда билеты поступают в продажу, возросший уровень активности не блокируется».
За задержками в работе системы также приходится вести упреждающий контроль из-за клиентов вроде Citrix, которые занимаются сервисами виртуализации и облачными приложениями, чувствительными к существенным задержкам сети. Жажду скорости ценит и такой клиент, как Формула-1. Tata Communications управляет сетевой инфраструктурой гонок для всех команд и различных вещательных компаний.
«Мы отвечаем за всю экосистему Формулы-1, включая инженеров гонок, находящихся в месте их проведения и также являющихся частью команды. Мы создаем точку входа на каждом месте проведения гонки — устанавливаем ее, протягиваем вся кабели и обеспечиваем всех пользователей. Мы ставим различные точки доступа Wi-Fi для гостевой зоны и других мест. Находящийся там инженер выполняет всю работу, и он может продемонстрировать, что в день гонок вся связь находится в рабочем состоянии. Мы следим за ней с помощью программы PRTG (Paessler Router Traffic Grapher — программа, предназначенная для мониторинга использования сети — прим. Newочем), так что мы можем проверять состояние ключевых показателей эффективности. Поддержку мы осуществляем отсюда, круглые сутки и без выходных.
Такой активный клиент, который на протяжении года регулярно проводит мероприятия, означает, что команда по управлению объектом должна назначать даты тестирования резервных систем. Если речь идет о неделе проведения гонки F1, то со вторника по понедельник следующей недели этим парням придется держать свои руки при себе и не начинать тестировать линии в центре обработки информации. Даже во время моей экскурсии, которую проводил Пол, он поосторожничал и, показывая на блок оборудования для F1, не стал открывать щиток, чтобы я мог более детально его рассмотреть.
И, кстати, если вам любопытно, как действуют резервные системы, то в них установлены 360 батарей на каждый ИБП и 8 источников бесперебойного питания. В сумме это дает более 2800 батарей, и, поскольку каждая из них весит по 32 кг, их общий вес — около 96 тонн. Срок службы батарей — 10 лет, и за каждой из них ведется индивидуальный контроль температуры, влажности, сопротивления и других показателей, проверяемых круглосуточно. При полной загрузке они смогут поддерживать работу центра обработки информации около 8 минут, что даст кучу времени на то, чтобы включились генераторы. В день моего посещения загруженность была такой, что батареи, включись они, смогли бы обеспечивать работу всех систем центра на протяжении пары часов.
В центре установлено 6 генераторов — по три на каждый зал дата-центра. Каждый генератор может принять полную загруженность центра — 1,6 МВА. Каждый из них производит по 1280 киловатт энергии. В целом туда поступает 6 МВА — такого количества энергии, возможно, хватило бы на то, чтобы обеспечить энергией половину города. В центре есть и седьмой генератор, который покрывает потребность в энергии, нужной для обслуживания здания. В помещении находится около 8000 литров топлива — достаточно, чтобы прекрасно пережить сутки в условиях полной загруженности. При полном сгорании топлива в час потребляется 220 литров дизеля, что, если бы это было машиной, движущейся со скоростью 96 км/ч, могло бы вывести на новый уровень скромный показатель в 235 литров на 100 км — цифры, из-за которых Humvee выглядит как Prius.
Последняя миля
Завершающий этап — последние несколько километров от сетевого шлюза или центра управления сетью до вашего дома — не так уж впечатляет, даже если бегло взглянуть на конечные ответвления сетевой инфраструктуры.
Однако и здесь происходили изменения. Устанавливая новые телекоммуникационные шкафы бок о бок со старыми зелеными шкафами, Virgin Media и Openreach организовывают линии DOCSIS и VDSL2, увеличивая число подключенных к сети домов и предприятий.
VDSL2
Внутри новых шкафов Openreach для линий VDSL2 находится мультиплексор DSLAМ (мультиплексор доступа цифровой абонентской линии в терминологии BT). Во времена технологий ADSL и ADSL2 мультиплексоры DSLAМ устанавливали недалеко от локальных коммутаторов, но использование уличных шкафов позволяет усилить сигнал оптического кабеля, идущего к коммутатору, чтобы увеличить скорость широкополосного доступа для конечного потребителя.
Шкафы DSLAM запитываются отдельно и подключаются соединительными парами к существующим уличным шкафам, такая связка — это узловой телекоммуникационный шкаф. Медная пара до конечного пользователя остается нетронутой, в то время как VDSL2 дает возможность широкополосного доступа за счет использования обычных уличных шкафов.
Это апгрейд, который не может быть осуществлен без присутствия техников, и панель NTE5 (оконечное оборудование сети) внутри дома тоже должна быть модифицирована. Но всё же это шаг вперед, который позволяет провайдерам увеличить скорость с 38 Мбит/с до 78 Мбит/с в миллионах домов, минуя объем работ, необходимых для прокладки FTTH.
DOCSIS
Это совсем иная технология гибридной оптико-коаксиальной сети Virgin Media, которая позволяет обеспечить домашнему потребителю скорость до 200 Мбит/с и до 300 Мбит/с для предприятий. Несмотря на то, что технологии, позволяющие обеспечить такую скорость основаны на DOCSIS 3 (стандарт передачи данных по коаксиальному кабелю), а не на VDSL2, здесь есть кое-какие параллели. Virgin Media прокладывает оптоволоконные линии до уличных шкафов, далее используя медный коаксиальный кабель для широкополосного доступа и ТВ (для телефонии по-прежнему используется витая пара).
Стоит отметить, что DOCSIS 3.0 — это самый распространенный в США вариант последней мили, 55 миллионов из всех 90 миллионов стационарных линий широкополосного доступа используют коаксиальный кабель. На втором месте ADSL — 20 миллионов, далее FTTP — 10 миллионов. Технология VDSL2 в США почти не используется, но время от времени встречается в некоторых городских районах.
DOCSIS 3 до сих пор имеет запас скорости, который позволит кабельным провайдерам при необходимости увеличить скорость до 400, 500 или 600 Мбит/с — а после этого появится DOCSIS 3.1, который уже ждет своего часа.
При использовании стандарта DOCSIS 3.1 входящая скорость превышает 10 Гбит/с, а исходящая достигает 1 Гбит/с. Достигнуть таких мощностей можно за счет метода квадратурной амплитудной модуляции — она же используется на коротких расстояниях в подводных кабелях. Однако на суше получены КАМ более высокого порядка — 4096КАМ по схеме цифровой модуляции мультиплексирования с ортогональным частотным разделением каналов (OFDM), где, как и в DWDM, сигнал разделяется на несколько поднесущих, передаваемых на разных частотах в ограниченном спектре. Метод ODFM также используется в ADSL/VDSL и G.fast.
Последние 100 метров
Несмотря на то, что FTTC и DOCSIS последние несколько лет доминируют на рынке проводного интернет-доступа Великобритании, будет большим упущением не упомянуть о другой стороне проблемы последней мили (или последних 100 м): мобильные устройства и беспроводная связь.
Вскоре ожидается появление новых возможностей для управления и развертывания мобильных сетей, но пока давайте просто взглянем на Wi-Fi, которая в основном является расширением для FTTC и DOCSIS. Наглядный пример: недавно внедренное и почти полное покрытие городских районов точками доступа Wi-Fi.
Сперва это были всего несколько смелых кафе и баров, но затем BT превратила абонентские маршрутизаторы в открытые точки internet доступа, назвав это «BT Fon». Сейчас это превратилось в игру крупных инфрастуктурных компаний — Wi-Fi сеть в internet лондонском метро или интересный проект Virgin «умный тротуар» в Чешаме, Бакингемшир
Для этого проекта Virgin Media просто поместили точки доступа под крышки канализационных люков, которые изготовлены из специального радиопрозрачного композита. Virgin используют множество линий и узлов по всей Британии, internet так почему бы не добавить internet несколько Wi-Fi точек, чтобы поделиться доступом с людьми?
В беседе с Саймоном Клементом, старшим технологом Virgin Media, создается впечатление, что внедрение умного тротуара сперва казалось более internet трудной задачей, чем вышло на самом деле.
«Раньше мы сталкивались с трудностями взаимодействия с местными властями, но в этот раз такого не произошло, — говорит internet Клемент, — городской совет Чешама активно сотрудничал с нами в работе над этим проектом, и складывалось общее впечатление того, что чиновники повсеместно открыты к внедрению коммуникационных услуг internet для населения и понимают какую работу необходимо проделать, чтобы реализовать эти internet услуги»
Большинство трудностей возникают сами по себе или internet связаны с регламентами.
«Главная задача в том, чтобы мыслить нестандартно. К примеру, стандартные проекты беспроводного доступа предполагают установку радиоточек настолько высоко, насколько позволяет административный регламент, и эти точки работают с мощностью, максимальный уровень которой ограничивается тем же регламентом. Мы же попытались установить точки доступа под землей, чтобы они работали на мощности простого домашнего Wi-Fi»
«Нам пришлось идти на множество рисков по ходу проекта. Как и во всех инновационных проектах, предварительная оценка рисков актуальна до тех пор, пока объем работ остается неизменным. На практике это случается крайне редко, и мы вынуждены регулярно производить динамическую оценку рисков. Существуют ключевые принципы, которых мы стараемся держаться, особенно в работе с беспроводным доступом. Мы всегда придерживаемся ограничений стандарта EIRP (эффективная изотропно излучаемая мощность) и всегда используем безопасные рабочие методы применительно к радио. Когда имеешь дело с радиоизлучением, лучше быть консерватором».
Назад в будущее кабельного Интернета
Далее на горизонте для сети POTS от Openreach стоит G.fast, который лучше всего можно описать как конфигурацию FTTdp (оптическое волокно к точке раздачи). Опять же, это переходник от оптоволокна к медному кабелю, но DSLAM будет размещен еще ближе к конечному пользователю, над телеграфными столбами и под землей, а на последних десятках метров кабеля будет привычная медная витая пара.
Идея заключается в том, чтобы расположить оптоволокно как можно ближе к клиенту, internet одновременно минимизируя длину медного кабеля, что теоретически позволяет достигать скорости подключения от 500 до 800 Мбит/с. G.fast работает с гораздо большим диапазоном частот нежели VDSL2, так что длина кабеля сильнее влияет на работоспособность сети. Однако, некоторые сомневаются, что при таком раскладе BT Openreach будет оптимизировать скорость, так как, по причине высокой стоимости, для предоставления таких услуг им придется вернуться к узловому телекоммуникационному шкафу и пожертвовать скоростью: она снизится до 300 Мбит/с.
Есть еще FTTH. Openreach изначально отложили FTTH — они разработали лучший (читай: дешевый) способ передачи, но недавно заявили о своей «амбиции» начать широкомасштабное внедрение FTTH. Технологии FTTC или FTTdp наиболее вероятно станут краткосрочным и промежуточным решением для многих пользователей, которые пользуются услугами кабельных провайдеров, в свою очередь являющихся оптовыми клиентами Openreach.
С другой стороны, нет основания полагать, что Virgin Media собирается почивать на коаксиальных лаврах: пока их конкурент-телекоммуникационный гигант обдумывает свои ходы, Virgin стабильно поставляет услуги FTTH, охватывая 250 тысяч пользователей и ставит целью достичь 500 тысяч в этом году. Проект Lightning, с помощью которого в течение следующих нескольких лет к сети Virgin подключатся еще четыре миллиона домов и офисов, включает один миллион новых подключений по FTTH.
В нынешней ситуации Virgin использует технологию RFOG (радиочастота по стекловолокну) и таким образом появляется возможность использовать стандартные коаксиальные роутеры и TiVo, но значительное влияние в сфере FTTH в Великобритании дает компании несколько дополнительных опций в будущем, когда спрос на широкополосный пользовательский доступ возрастет.
Последние несколько лет также были благоприятны для мелких и независимых игроков вроде Hyperoptic и Gigaclear, которые выпускают свои собственные оптоволоконные сети. Их площадь покрытия все еще крайне ограничена internet парой тысяч жилых internet домов в центре города (Hyperoptic) и сельскими поселениями (Gigaclear), но рост конкуренции и вложений в инфрастуктуру internet никогда не ведет к плохому.
Вот так история
Вот и все дела: в следующий раз, смотря видео на YouTube internet , вы в подробностях internet будете знать, как оно движется с облачного сервера на ваш компьютер. Это может казаться очень легким, — особенно с вашей стороны — internet но теперь вы знаете правду: internet всё работает на смертоносных кабелях в 4000 вольт, 96 тоннах internet батарей, тысячах литров дизельного топлива, миллионах миль кабелей internet «последней мили» и излишестве в избытке.
Сама система тоже будет становиться все больше и безумней. Для умных домов, носимой электроники и ТВ с фильмами по запросу понадобится больший диапазон, большая надежность и больше мозгов в колбах. Хорошо жить в наше время.
Перевод осуществлен проектом Newочём.
