Het doel van het beschreven protocol is om de flexibele integratie van 5G-experimenteerinfrastructuren in een multi-site NFV-ecosysteem te ondersteunen, via een VPN-gebaseerde overlay-netwerkarchitectuur. Bovendien definieert het protocol hoe de effectiviteit van de integratie kan worden gevalideerd, inclusief een verticale service-implementatie op meerdere locaties met kleine luchtvaartuigen die geschikt zijn voor NFV.
Network Function Virtualization (NFV) wordt beschouwd als een van de belangrijkste enablers voor de5e generatie mobiele netwerken, of 5G. Dit paradigma maakt het mogelijk om de afhankelijkheid van gespecialiseerde hardware voor het inzetten van telecommunicatie en verticale diensten te verminderen. Voor dit doel vertrouwt het op virtualisatietechnieken om netwerkfuncties te softwariseren, hun ontwikkeling te vereenvoudigen en de implementatietijd en -kosten te verminderen. In deze context hebben Universidad Carlos III de Madrid, Telefónica en IMDEA Networks Institute een NFV-ecosysteem ontwikkeld binnen 5TONIC, een open netwerkinnovatiecentrum gericht op 5G-technologieën, waardoor complexe, dicht bij de realiteit experimentele scenario’s kunnen worden gecreëerd over een gedistribueerde set NFV-infrastructuren, die beschikbaar kunnen worden gesteld door belanghebbenden op verschillende geografische locaties. Dit artikel presenteert het protocol dat is gedefinieerd om nieuwe externe NFV-sites op te nemen in het multi-site NFV-ecosysteem op basis van 5TONIC, en beschrijft de vereisten voor zowel de bestaande als de nieuw opgenomen infrastructuren, hun connectiviteit via een overlay-netwerkarchitectuur en de stappen die nodig zijn voor het opnemen van nieuwe sites. Het protocol wordt geïllustreerd door de integratie van een externe site in het 5TONIC NFV-ecosysteem. Daarna beschrijft het protocol de verificatiestappen die nodig zijn om een succesvolle site-integratie te valideren. Deze omvatten de inzet van een verticale service op meerdere locaties met behulp van een externe NFV-infrastructuur met kleine onbemande luchtvaartuigen (SUAVs). Dit dient om het potentieel van het protocol te laten zien om gedistribueerde experimenteerscenario’s mogelijk te maken.
De introductie van de vijfde generatie mobiele netwerken (5G) heeft sinds het begin van het decennium een revolutie teweeggebracht in de telecommunicatie-industrie, waardoor telecommunicatie-exploitanten moeten voldoen aan de veel veeleisendere specificaties van de nieuwe netwerkdiensten en -toepassingen die zijn ontwikkeld onder de paraplu van 5G1,2 . Deze nieuwe specificaties omvatten, maar zijn niet beperkt tot, verhogingen van de gegevenssnelheid, verbeteringen van de latentie van draadloze transmissie en verlaging van de operationele kosten. Onder de technologieën die de basis vormen van de verbeteringen voor deze nieuwe generatie, is Network Functions Virtualization3 (NFV) een van de belangrijkste enablers geworden. NFV biedt de capaciteit om netwerkfuncties te softwariseren, traditioneel door te geven op gespecialiseerde hardware, door in plaats daarvan generieke fysieke apparatuur te gebruiken, zoals servercomputers in een datacenter. Met dit nieuwe paradigma kunnen telecommunicatie-exploitanten en verticale industrieën netwerkfuncties en -diensten inzetten als een set softwarecomponenten en kosten besparen bij zowel service-implementatie als onderhoud, evenals een veel hogere elasticiteit van de netwerkinfrastructuur faciliteren. Deze aanpak verlicht of elimineert de noodzaak om speciale (en meestal complexere en minder herbruikbare) apparaten te gebruiken voor de meeste netwerk- en verticaal-specifieke functies, en ondersteunt een veel hogere en dichtere mate van operationele automatisering, waardoor de implementatie- en onderhoudskosten worden verlaagd.
Rekening houdend met alle voordelen die een NFV-omgeving kan bieden, is het logisch dat een groot aantal relevante belanghebbenden uit de telecommunicatiesector in toenemende mate betrokken zijn bij het testen van nieuwe service-ideeën op NFV-omgevingen. In deze context hebben Telefónica en IMDEA Networks Institute 5TONIC4opgericht, een open onderzoeks- en innovatielaboratorium gericht op 5G-technologieën. Dit laboratorium is gevestigd in Madrid (Spanje) en heeft een breed scala aan technologieën beschikbaar voor onderzoekers en partners om de ontwikkeling en validatie van 5G-diensten te stimuleren. In het bijzonder heeft dit laboratorium een experimenteel NFV-platform waar ontwikkelaars hun nieuwe NFV-gebaseerde applicaties en services kunnen implementeren en testen op een ETSI-compatibel NFV-ecosysteem5. Zo kunnen experimentele conclusies over ontwerpkeuzes en technologievoorstellen worden afgeleid in een realistische, veel flexibelere omgeving dan productienetwerken. Dit platform is ontworpen om experimenteeractiviteiten op meerdere externe locaties te ondersteunen, die flexibel kunnen worden gekoppeld aan 5TONIC met behulp van een goed gedefinieerd protocol.
De technische oplossing die is aangenomen voor het 5TONIC NFV-ecosysteem houdt rekening met het gebruik van een enkele NFV-orchestrator, geïmplementeerd met behulp van de ETSI-gehoste Open Source MANO (OSM) -software6. Dit is het element dat verantwoordelijk is voor het beheer en de coördinatie van de levenscyclus van Network Services (NS). Deze services kunnen worden gebouwd als een samenstelling van gevirtualiseerde netwerk / verticale functies (VNF), die kunnen worden geïmplementeerd op elk van de locaties die zijn geïntegreerd op het NFV-platform. Het ontwerp van het 5TONIC NFV-ecosysteem is gedaan in de context van het H2020 5GINFIRE-project7,8, waar het platform werd gebruikt om de uitvoering van meer dan 25 experimenten te ondersteunen, geselecteerd via een concurrerend open-call-proces, over acht verticaal-specifieke experimentele infrastructuren in Europa en één in Brazilië, de laatste verbonden via een transoceanische verbinding. Daarnaast werd het platform gebruikt om een gedistribueerd NFV-testbed op nationale schaal te bouwen, in Spanje, ter ondersteuning van experimenteeractiviteiten binnen het Spaanse 5GCity-project9,10. Meer recentelijk is een extra Braziliaanse site in het platform geïntegreerd om gezamenlijke demonstratieactiviteiten te ondersteunen in het kader van een onderzoeks- en innovatiesamenwerking tussen Brazilië en Europa (d.w.z. het 5GRANGE-project11,12). Last but not least is de infrastructuur gebruikt om experimenten van derden te ondersteunen in het kader van het 5G-VINNI-project13,14. De geografische spreiding van het NFV-platform is te zien in figuur 1.
Geïnteresseerde organisaties die hun eigen NFV-infrastructuur hosten, kunnen flexibel verbinding maken met het 5TONIC NFV-ecosysteem, onder voorbehoud van goedkeuring door de 5TONIC Steering Board, testbedproviders worden binnen het gedistribueerde ecosysteem en betrokken zijn bij gezamenlijke experimenten en demonstratieactiviteiten. Daartoe moeten ze beschikken over een VIM (Virtual Infrastructure Manager) die voldoet aan de OSM-softwarestack. De 5TONIC NFV-orchestrator is in staat om te communiceren met de VIMs op de locaties die betrokken zijn bij een bepaalde service-implementatie, de toewijzing en installatie van de computer-, opslag- en netwerkbronnen te coördineren die nodig zijn voor de instantiatie en interconnectie van de VNF’s die een netwerkservice samenstellen, en de levenscyclus ervan te beheersen, van de onboarding tot de definitieve ontmanteling.
Om de uitwisseling van controle en dataverkeer binnen alle onderling verbonden sites te beheren, maakt het 5TONIC NFV-ecosysteem gebruik van een overlay-netwerkarchitectuur op basis van Virtual Private Networks (VPN). Deze aanpak biedt veilige PKI-gebaseerde toegang tot de externe sites die zijn geïntegreerd in het 5TONIC-ecosysteem, waardoor de uitwisseling van NFV-besturingsinformatie tussen de OSM-softwarestack en de verschillende VIMs verspreid over de testbedden mogelijk is, evenals de uitwisseling van informatie die nodig is om alle VNF’s te beheren en te configureren. Bovendien ondersteunt dit overlay-netwerk de verspreiding van dataverkeer onder VNF’s die op verschillende locaties worden ingezet.
In deze context beschrijft dit artikel het protocol dat is ontworpen om een externe site op te nemen in een NFV-ecosysteem. Het protocol gaat ervan uit dat het ecosysteem wordt beheerd door een enkele NFV-orchestrator, geïnstalleerd op een centrale locatie, en externe sites beschikken over een VIM-oplossing die compatibel is met de orchestrator-softwarestack. Het voorgestelde protocol maakt het mogelijk om het portfolio van middelen van het experimentele ecosysteem te vergroten, met de flexibele integratie van NFV-locaties en verticaal-specifieke infrastructuren. Dit maakt het mogelijk om een gedistribueerd MANO-platform te creëren dat in staat is om nieuwe netwerk- en verticale services op meerdere locaties te testen en te valideren, onder de controle van een enkele NFV-orchestrator. Om de interne werking van het protocol te illustreren, zal het proces worden geïllustreerd door een externe NFV-site toe te voegen aan het huidige 5TONIC NFV-ecosysteem, waarbij de benodigde componenten op de externe site en 5TONIC worden beschreven, evenals alle stappen die tijdens het integratieproces moeten worden genomen. Figuur 2 geeft een overzicht van het doel van de integratie, waarbij het nieuwe NFV-gebaseerde testbed is gekoppeld aan het 5TONIC-platform van waaruit netwerkdiensten kunnen worden ingezet, door middel van VPN-verbindingen tussen de centrale site en de rest van de externe infrastructuren.
Om de effectiviteit van het protocol te demonstreren, zal bovendien de inzet van een eenvoudige verticale service worden getoond, met behulp van het 5TONIC-ecosysteem en een externe site met NFV-compatibele kleine onbemande luchtvaartuigen (SUAVs). Het ontwerp van de verticale dienst is geïnspireerd op een experiment gepresenteerd in Vidal et al.9, dat is vereenvoudigd voor de illustratieve doeleinden van dit artikel. Figuur 3 schetst de dienst, die gericht is op het ondersteunen van slimme landbouwactiviteiten op een afgelegen gebied. De dienst beschouwt een slimme landbouwdienstverlener die SUAVs gebruikt om de gegevens te verzamelen en te verspreiden die worden geproduceerd door meteorologische sensoren verspreid over een gewasveld. Voor de eenvoud beschouwt het experiment dat in het artikel wordt gepresenteerd een enkele SUAV en een sensor, die in staat zijn om temperatuur-, vochtigheids- en drukmetingen te leveren. In het experiment host de externe NFV-site een Wi-Fi-toegangspunt dat als VNF via de SUAV wordt geïmplementeerd. Deze VNF biedt netwerktoegangsconnectiviteit tot de sensor, waardoor de gedetecteerde gegevens worden doorgestuurd naar een gatewayfunctie. Deze laatste wordt ingezet als VNF op grondapparatuur (een mini-ITX-computer). De verspreiding van gegevens van de sensor naar de gatewayfunctie volgt een Publish/Subscribe-benadering op basis van het Message Queuing Telemetry Transport (MQTT)-protocol15. De gatewayfunctie verwerkt en verspreidt de gegevens vervolgens naar een Internet-of-things (IoT) server, die als VNF beschikbaar wordt gesteld op de centrale locatie van het NFV ecosysteem, gebaseerd op het Mainflux16 open-source platform. Ten slotte gaat het scenario uit van een extern gebied waar de internetverbinding wordt geleverd door een mobiel niet-3GPP-toegangsnetwerk. Daarom bevat de service twee extra VNF’s: 1) een toegangsrouter VNF, die de user-plane protocolstack implementeert van een 3GPP-gebruikersapparatuur die is aangesloten op een niet-3GPP-toegangsnetwerk17; en 2) een basisimplementatie van een 5G-kernnetwerk, ter ondersteuning van het doorsturen van informatie tussen de toegangsrouter en de VNF’s van de IoT-server. Hiertoe biedt de 5G-kern VNF een vereenvoudigde implementatie van het gebruikersvlak van een niet-3GPP-interworkingfunctie en een gebruikersvlakfunctie, zoals gedefinieerd door 3GPP17.
Ten slotte geeft figuur 4 de meest relevante processen weer die betrokken zijn bij de ontwikkeling van het protocol, met de nadruk op hun logische interconnecties en de entiteiten die verantwoordelijk zijn voor de uitvoering ervan.
Een van de belangrijkste aspecten van het eerder beschreven protocol is de uitstekende flexibiliteit om nieuwe computationele infrastructuren op te nemen in een NFV-ecosysteem, ongeacht hun distributie in termen van geografische locatie (zolang bandbreedte en latentie van de netwerkcommunicatie met externe sites dit ondersteunen). Dit is mogelijk via een VPN-gebaseerde overlay-netwerkarchitectuur, waarmee een virtuele koppeling kan worden gemaakt om externe sites te verbinden met de centrale gebouwen van het NFV-ecosysteem. Deze aanpak maakt het mogelijk om een effectief en veilig kanaal te bieden ter ondersteuning van de NFV- en datacommunicatie tussen sites van een NFV-ecosysteem, waardoor de kans wordt verkleind dat externe partijen toegang krijgen tot gevoelige informatie over NFV-orkestratieprocessen en gegevens van geïmplementeerde services en deze wijzigen. In deze context beschrijft het protocol ook een specifieke methodologie om de VPN-inloggegevens veilig te delen met de externe sites die de integratie van nieuwe infrastructuren mogelijk maken. Het protocol is geïllustreerd met behulp van het NFV-ecosysteem dat beschikbaar is gesteld op 5TONIC door Universidad Carlos III de Madrid, Telefónica en IMDEA Networks Institute, hoewel het generiek is om te worden gebruikt in andere NFV-omgevingen die voldoen aan de voorafgaande vereisten die worden vermeld in stap 1 van dit protocol.
Bovendien is het de moeite waard om het exclusieve gebruik van open-source tools en software voor de protocolimplementatie te benadrukken. Ondanks de potentieel voordelige functionaliteiten die kunnen worden geboden door verschillende propriëtaire oplossingen (bijv. Fortinet35),heeft het gebruik van open-source ontwikkelingen de integratie van alle elementen die door het protocol worden omvat vergemakkelijkt vanwege hun inherente kenmerken zoals kosteneffectiviteit, een uitgebreide softwareondersteuning door de open-sourcegemeenschap en een hoge mate van betrouwbaarheid, om er maar een paar te noemen. Bovendien kan het gebruik van open-sourcetechnologieën ook synergieën tussen componenten van vergelijkbare aard bevorderen. Om bijvoorbeeld de VPN-verbindingsstatus voor de clients die het platform gebruiken te controleren, kan de VPN-service die in het hele protocol is geïmplementeerd, vertrouwen op de open-vpn-monitortool36 (een op python gebaseerde monitoringtool die kan samenwerken met OpenVPN-servers).
Aan de andere kant houdt de protocolspecificatie rekening met het instantiëren van netwerkservices op verschillende sites voor validatiedoeleinden. In dit verband is het belangrijk om te benadrukken dat de implementatie van services op een bepaalde site afhankelijk is van de beschikbaarheid van reken-, opslag- en netwerkbronnen op de site, evenals van gespecialiseerde apparatuur die nodig kan zijn om de implementatie uit te voeren (bijvoorbeeld NFV-compatibele SUAVs). Dit is geen beperking van het protocol en moet in aanmerking worden genomen door belanghebbenden die geïnteresseerd zijn in het reproduceren van het experiment dat in dit artikel wordt beschreven.
Bovendien moet worden opgemerkt dat de tijd die nodig is om de implementatie van netwerkdiensten uit te voeren, sterk afhankelijk is van verschillende factoren, zoals het netwerkpad tussen de orchestrator en de verschillende VIMs, de prestaties van datacommunicatie tussen het VIM en zijn beheerde computationele knooppunten, en ook in de intrinsieke aard van deze computationele knooppunten (niet alleen vanwege hun beschikbare computerbronnen, maar ook de technologieën die zijn opgenomen om de virtualisatie van netwerkfuncties uit te voeren).
Ten slotte, en gezien de uitstekende prestaties die dit platform en zijn VPN-service hadden op de Europese projecten en samenwerkingswerken waar het tot nu toe is gebruikt (bijv. 5GINFIRE, 5GRANGE of 5GCity, genoemd in de inleiding van dit document), zal het worden beschouwd als een belangrijk element in opkomende Europese projecten waar Universidad Carlos III de Madrid, Telefónica en IMDEA Networks Institute nemen deel, zoals het Horizon 2020 LABYRINTH, of nationale projecten, zoals TRUE-5G.
The authors have nothing to disclose.
Dit werk werd gedeeltelijk ondersteund door het Europese H2020 LABYRINTH-project (subsidieovereenkomst H2020-MG-2019-TwoStages-861696) en door het TRUE5G-project (PID2019-108713RB-C52PID2019-108713RB-C52 / AEI / 10.13039/501100011033) gefinancierd door het Spaanse Nationale Onderzoeksagentschap. Daarnaast is het werk van Borja Nogales, Ivan Vidal en Diego R. Lopez gedeeltelijk ondersteund door het Europese H2020 5G-VINNI project (subsidieovereenkomst nummer 815279). Tot slot bedanken de auteurs Alejandro Rodríguez García voor zijn steun tijdens de realisatie van dit werk.
Bebop 2 | Parrot | UAV used in the experiment to transport the RPis and thus, provide mobility to the compute units of external site. | |
BME280 Sensor | Bosch | Sensor capable of providing readings of the environmental conditions regarding temperature, barometric pressure, and humidity. | |
Commercial Intel Core Mini-ITX Computer | Logic Suppy | Computer server which hosts the OpenStack controller node (being executed as a VM) of the experiment's extternal aite. In addition, another unit of this equipment (along with the RPis) conforms the computational resources of the NFV insfrastrucure included in that site. | |
Iptables | Netfilter – Open source tool | (Software) An open source command line utility for configuring Linux kernel firewall rulset. Source-code available online: https://www.netfilter.org/projects/iptables/ | |
Lithium Battery Pack Expansion Board. Model KY68C-UK | Kuman | Battery-power supply HAT (Hardware Attached on Top) for the UAV computation units composing the NFV infrastructure of the external site. | |
MacBook Pro | Apple | Commodity laptop utilized during the experiment to obtain and gather the results as described in the manuscript. | |
Mainflux | Mainflux Labs – Open source platform | (Software) Open source Internet of Things (IoT) platform used in the experiment for implementing the virtual network function called as IoT Server VNF. In addition, this platform includes an open-source software based on Grafana which allows the visualization and formatting of the metric data. Source code available online: https://www.mainflux.com/ | |
Open Source MANO (OSM) – Release FOUR | ETSI OSM – Open source community | (Software) Management and Orchestration (MANO) software stack of the NFV system configured in the experiment. Source-code available online: https://osm.etsi.org/docs/user-guide/ | |
OpenStack – Release Ocata | OpenStack – Open source community | (Software) Open source software used for setting up both the NFV infrastrucure of the central site and the NFV infrastructure of external site within the experiment. Source-code available online: https://docs.openstack.org/ocata/install-guide-ubuntu | |
OpenVPN – Version 2.3.10 | OpenVPN – Open source community | Open source software implementing the VPN service presented in the experiment for the creation of the overlay network that will enable the operations of the NFV ecosystem (providing connectivity among all the sites comprising the ecosystem). Source-code available online: https://openvpn.net/ | |
Openvpn-monitor | Python – Open source software | (Software) Open source program based on Python code that allows the visualization of the state of the VPN service, as well as the representation of the sites that are connected at every instant. For this purpose, the program check priodically the information provided by the VPN server implemented with OpenVPN. Source-code available online: https://github.com/furlongm/openvpn-monitor | |
Paho-mqtt 1.5.0 | Python – Open source library | (Software) Open source library developed in Python code that enables the trasmission of the data read by the sensor through the use of MQTT standard Source-code available online: https://pypi.org/project/paho-mqtt/ | |
Ping | Debian – Open source tool | (Software) An open source test tool, which verifies the connectivity between two devices connected through a communications network. In addition, this tool allows to assess the network performance since it calculates the Round Trip Time (i.e., the time taken to send and received a data packet from the network). Source-code available online: https://packages.debian.org/es/sid/iputils-ping | |
Power Edge R430 | Dell | High-profile computer server which provides the computational capacity within the central site presented in the experiment. | |
Power Edge R430 | Dell | High-profile computer server in charge of hosting the virtual private network (VPN) service. Note that the computing requirements for provisioning this service are high due to the resource consumption of the encryption operations present in the service. | |
Power Edge R630 | Dell | Equipment used for hosting the virtual machine (VM) on charge of executing the MANO stack. In addition, the OpenStack controller node of the central site is also executed as a VM in this device. Note that the use of this device is not strictly needed. The operations carried out by this device could be done by a lower performance equipment due to the non-high resource specifications of the before mentioned VMs. | |
Raspberry PI. Model 3b | Raspberry Pi Foundation | Selected model of Single Board Computer (SBC ) used for providing the computational capacity to the experiment's external site. In addition, this SBC model is used during the deployment of the included realistic service for interpreting and sending the data collected by a sensor. | |
RPi.bme280 0.2.3 | Python – Open source library | (Software) Open source library developed in Python code that allows to interface the sensor Bosch BME280, and interpret the readings offered by that sensor. Source-code available online: https://pypi.org/project/RPi.bme280/ |