将5G实验基础设施集成到多站点NFV生态系统中

1. 提供NFV生态系统的中心站点（实验的先决条件） 分配中央站点要使用的 IP 地址空间。出于此协议的目的，将使用专用地址空间 10.4.0.0/16。 在中央站点中安装管理和编排 （MANO） 软件堆栈。特别是，在整个协议中进行的实验使用开源MANO（OSM）版本SEVEN18，它需要以下资源：Ubuntu 18.04作为操作系统，2个中央处理器（CPU），8 GB随机存取存储器（RAM），40 GB硬盘和至少一个具有Internet访问权限的网络接口。对于安装，请按照 OSM 第七版文档18中提供的说明进行操作。 在中央站点中设置与 OSM 兼容的虚拟基础架构管理器 （VIM）。具体来说，该实验使用OpenStack版本Ocata20，运行在具有Ubuntu 16.04的虚拟机（VM）上，4个CPU，16 GB的RAM和200 GB的硬盘驱动器。此 VIM 处理的 NFV 基础结构 （NFVI） 由三台服务器计算机组成，每台计算机都带有 Ubuntu 16.04、8 个 CPU、32 GB RAM 和 2 TB 存储。对于安装，请遵循 Ocata 发布文档21。 在 OpenStack 云平台中部署虚拟网络，使用步骤 1.1 中分配的地址空间的 IP 地址范围。此网络（以下简称管理网络）将用于支持 OSM 与在中央站点实例化的虚拟网络功能 （VNF） 之间的 NFV 编排信息交换。 配置虚拟网络（以下称为数据网络）以支持中央站点的 VNF 与外部站点执行的其他 VNF 之间的站点间数据通信。为此，请使用步骤 1.1 的地址空间中的 IP 地址范围。注意：步骤 1.3.1 和 1.3.2 中提到的网络的实现是使用 OpenStack 的提供商网络完成的。提供商网络必须连接到中央站点的物理网络基础结构，以确保适当的操作。 将虚拟专用网络（即管理和数据网络）以及 VIM 和 OSM 机器连接到提供边缘路由功能的设备。该路由器将作为NFV生态系统中央站点的入口点。 提供公共实验存储库，以提供执行实验所需的所有内容。特别是，此协议使用22处的公共存储库。 2. 虚拟专用网络服务的配置 分配IP地址空间，支持多站点生态系统的适当运行，以便在多个站点之间有效地建立网络通信。注意：要在多个站点之间实现有效的网络通信，需要仔细设计 NFV 生态系统以及需要连接到它的外部站点使用的 IP 地址空间。特别是，分配给站点间通信的地址空间不应与已在所有其他站点用于其他目的的地址空间发生冲突。 分配要由外部站点使用的 IP 地址空间。此块中的地址将分配给外部站点的 NFV 实体（例如 VIM）和 VNF。为了举例说明此协议，将使用专用地址空间 10.154.0.0/16。 为外部站点和 NFV 生态系统之间的虚拟链路分配 IP 地址空间。这些虚拟链接将由 VPN 服务支持。为了举例说明此协议，这些虚拟链路将使用地址范围 10.154.254.0/24。 设置设备以提供虚拟专用网络 （VPN） 服务（即 VPN 服务器）。特别是，该实验使用具有Ubuntu 16.04（64位变体映像），六个独立CPU，16 GB RAM，1 TB存储磁盘和两个网络接口的服务器计算机。 配置 VPN 服务器的一个网络接口，以允许通过 Internet 接收来自外部站点的连接请求。为此，有必要使用配置有公共 IP 地址的服务器接口。 配置 VPN 服务器与中央站点边缘路由器之间的链路。在实验中，此链接被分配了地址范围 10.4.255.0/24。在 VPN 服务器上配置适当的网络路由，以便可以从连接到 VPN 服务的外部站点访问 NFV 生态系统。 将 OpenVPN23 项目提供的VPN开源软件安装到VPN服务器中。具体来说，这个实验使用 OpenVPN 版本2.3.10，它的部署是用bash脚本”openvpn-install.sh”完成的，http://github.com/Nyr/openvpn-install（其他安装选项在OpenVPN 文档24中描述）。bash 脚本提供了将导致 VPN 服务配置的替代参数。 选择要侦听 VPN 连接请求的 IP 地址（即公共 IP 地址）。 确定应使用哪种协议（UDP 或 TCP）来驱动通过 VPN 进行通信。在本例中，实验利用了推荐的协议 UDP。 指定将组成将用于接收服务连接请求的 duple（以及公共 IP 地址）的端口。默认情况下，分配的值为 1194。 选择由助手提示的列表中的 DNS 服务器之一，该服务器将处理由 VPN 服务的客户端执行的名称解析请求。 按任意键以启用 VPN 服务安装过程的自动启动。 编辑位于”/etc/openvpn/server/”目录下的配置文件”server.conf”，并包括”客户端到客户端”指令，旨在扩展步骤2.3提供的基本设置。因此，连接到VPN服务的不同客户端将能够相互访问。 在 VPN 设置中启用单个客户端配置，以便能够独立管理每个客户端的路由分配。 添加 “client-config-dir ccd” 指令，编辑与步骤 2.4 中相同的配置文件。 使用命令”mkdir /etc/openvpn/ccd/”创建目录”ccd”。此目录将在协议的下一节中提供，以放置包含与要集成到平台中的客户端关联的路由指令的文件。 设置允许与服务连接所需的防火墙规则，同时保护 VPN 服务器免受恶意攻击。为此，此实验利用 了 iptables25，这是一个为配置 Linux 内核防火墙而开发的命令行实用程序。 首先，使用命令”iptables -P INPUT DROP”阻止传入 VPN 服务器的流量。 允许使用命令”iptables -A INPUT -i -m state –state NEW -p udp –dport 1194 -j ACCEPT”（是具有公共IP地址的VPN服务器接口的名称）和”iptables -A INPUT -i tun+ -j ACCEPT”来接收VPN连接请求。 允许在VPN服务器接口（即公共接口和由称为 tun0的VPN服务创建的虚拟接口）之间转发流量，以使VPN服务器能够处理服务连接请求。为此，请执行命令”iptables -A FORWARD -i tun+ -o -m state RELATED，built-j ACCEPT && iptables -A FORWARD -i -o tun+ -m state –state RELATED，built -j ACCEPT”。 使 VPN 服务器能够提供网络地址转换 （NAT） 功能，目的是为中央站点提供 Internet 访问，执行：”iptables -t nat -A POSTrouting -s 10.4.0.0/16 -o -j MASQUERADE && iptables -A OUTPUT -o tun+ -j ACCEPT”。 3. 外部NFV站点的集成 获取适当的 IP 地址范围，以将站点集成到 NFV 生态系统中。此地址范围将由NFV生态系统的网络运营中心提供。根据该协议的步骤 2.1.1，实验将使用 10.154.0.0/16 范围内外部站点的 IP 地址范围。 创建并提供安全凭据以连接到 NFV 生态系统。 生成 VPN 凭据，该凭据将允许新基础结构与 VPN 服务器建立安全连接。为此，请在VPN服务器中执行命令”bash openvpn-install.sh”，选择提示列表中的选项”1）添加新客户端”，并提供要与该凭据关联的名称，例如，uc3m_infrastructure。此步骤将生成一个包含 VPN 凭据的文件（在示例中名为”uc3m_infrastructure.ovpn”）。 在 VPN 服务器的”/etc/openvpn/ccd/”目录中创建一个文本文件，包括每次使用 VPN 凭据建立与 VPN 服务的连接时，VPN 服务器必须推送的路由指令（如 OpenVPN 文档24中所指定）。注意：文本文件的名称必须与创建 VPN 凭据（例如，uc3m_infrastructure）期间指定的名称匹配，以便为每个 VPN 客户端提供自定义配置。 将 VPN 凭据文件提供给外部站点的技术人员。这必须通过安全可靠的渠道来完成。在此实验中，使用手动加密过程。要加密 VPN 凭据，请执行命令”7za a -tzip ‘-p’ -mem=AES256 “，将设置为所需的加密密钥，作为加密文件的选定名称，将设置为 VPN 凭据文件的文件名（例如， uc3m_infrastructure.ovpn）. 通过安全通信通道向新站点的技术人员提供加密凭据以及允许解密过程的密钥。注意：在此实验中，加密的凭据通过电子电子邮件提供，而解密密钥则使用短消息服务 （SMS） 通过单独的通道发送，并具有电话号码的脱机协议。 在新站点设置环境，以便与 NFV 生态系统建立连接，并允许将远程 NFVI 连接到中央站点的 OSM 堆栈。在计算机中安装 OpenVPN24 提供的VPN软件，以启用外部站点和NFV生态系统中央站点之间的虚拟链接。装有 OpenVPN 软件的计算机将用作外部站点的VPN客户端或VPN端点。虚拟链路将通过VPN端点和VPN服务器之间的受保护VPN隧道来实现。在实验中，VPN 终结点在具有 Ubuntu 18.04、8 CPU、8 GB RAM、128 GB 存储磁盘和 3 GbE 接口（一个用于通过 Internet 连接到 VPN 服务）的服务器计算机中运行。 在 VPN 终结点中激活 IP 转发以支持网络路由功能。为此，请在位于”/etc/sysctl.conf”路径中的系统配置文件中包含行”net.ipv4.ip_forward=1″，并使用命令”sudo sysctl -p”加载更新的配置。 使用命令”7za e “，使用步骤 3.2.4 中收到的信息解密 VPN 凭据文件，其中是加密 VPN 凭据的文件名。在命令提示时指定解密密钥。 使用命令”sudo openvpn –config “（是VPN凭据的文件名）使用解密的凭据文件启动 OpenVPN 软件。这样，VPN 终结点将向 VPN 服务器进行身份验证，并将自动接收相应的 VPN 配置参数和网络路由。这样，VPN 端点将充当边缘路由器，具有到 NFV 生态系统中央站点的虚拟链路。 验证 VPN 端点的正确操作，使用 ping 命令验证与中央站点的某个节点（例如，OSM 堆栈设备）的连接的可用性。 在新站点中，选择符合 OSM 标准的 VIM 以允许使用 MANO 平台进行操作。对于此实验，使用了OpenStack版本Ocata。注意：OSM Release SEVEN 支持以下虚拟基础架构管理器：OpenStack、OpenVIM26、VMware的 vCloud Director27、AmazonWeb Service28、MicrosoftAzure29和 Eclipse fog0530（有关特定配置的详细信息，请参阅 OSM 文档18）。 安装 OpenStack 版本 Ocata20（ 请参阅发布文档21中的详细过程）。 在外部站点中部署 NFV 基础结构并将其附加到 VIM。特别是，此实验使用NFV基础架构，包括三台单板计算机（SBC），每台计算机的计算容量为1 GB RAM，4 CPU和32 GB存储磁盘;以及一台具有8个CPU，8 GB RAM和128 GB存储的mini-ITX计算机。注意：本协议中举例说明的外部站点基于支持NFV的小型无人机（SUAV）的NFV基础设施。Nogales等人31提供了实现这种基础设施的后续细节。步骤 3.3.6 到 3.3.8 是可选的，因为外部站点上可能已存在 NFV 基础结构。 创建一个 OpenStack 项目，以指定将集成到 NFV 生态系统中的外部站点的计算资源集。为此，请访问 OpenStack 提供的图形用户界面 （GUI），使用管理员凭据登录到系统，单击”标识->项目”选项卡的”+创建项目”按钮，然后创建一个项目，使用请求的信息完成显示的表单。 创建一个有效的用户，该用户将管理在上一步中创建的项目。为此，请使用与上一步相同的登录名访问” 标识->用户 “选项卡，单击 “+ 创建用户”， 然后填写所显示表单的必填字段（用户名和密码），选择新创建的项目作为主项目，然后选择 管理员 角色。 修改安全规则以允许新站点中的 VNF 通信权限（特别是，启用 SSH 和 ICMP 流量）。为此，请使用在上一步中创建的用户的凭据访问 OpenStack GUI，按照以下顺序操作：项目 -> 网络 -> 安全组 -> + 添加规则，然后选择规则下拉列表的SSH选项。重复该过程，但选择下拉菜单中包含的所有 ICMP选项。 从公共实验存储库下载 OSM 社区提供的试用服务 、Ping Pong 网络服务（”Fedora-x86_64-20-20131211.1-sda-ping”和”Fedora-x86_64-20131211.1-sda-pong”）的映像，并将其上传到外部站点的 VIM。为此，请按照 “项目 ->计算 -> 图像 -> + 创建图像”序列进行操作，然后使用显示的窗体创建图像并选择每个图像。 在外部站点的地址空间内分配两个 IP 地址范围（在步骤 3.1 中分配）。这些范围将分别用于支持外部站点的 VNF 的管理，并分别实现 VNF 之间的站点间数据通信。 使用 VIM 创建提供程序网络（控制提供程序）。出于管理目的，该网络将支持中央站点的 OSM 堆栈与新站点上部署的 VNF 之间的 NFV 通信。这种类型的通信还将使 OSM 堆栈能够在部署后配置 VNF。要在 OpenStack 中创建提供商网络，请按照 “管理 ->系统 ->网络 -> + 创建网络” 序列，并使用上一步中选定的 IP 地址范围填写新网络的详细信息。 使用 VIM 创建第二个提供程序网络（数据提供程序）。该网络将支持站点的VNF和NFV生态系统的其他VNF之间的数据通信。要在 OpenStack 中创建此提供商网络，请按照 “管理员 ->系统 ->网络 -> + 创建网络”序列，并使用分配的地址范围填写新网络的详细信息。注意：有关如何创建虚拟网络的说明因 VIM 软件而异。有关详细信息，请查看其各自的软件文档。 与中央站点的技术人员共享与 VIM 相关的信息（特别是用户名/密码以及在步骤 3.3.9 和 3.3.10 中创建的项目），以便将 VIM 连接到 OSM 软件堆栈。 使用从步骤 3.3.16 获得的信息，将外部 NFV 基础结构附加到中央站点的 OSM 软件堆栈。 使用 ping 工具验证中央站点的 OSM 堆栈与新站点的 VIM 之间的连接。 如果之前的连接测试成功，请将外部 VIM 附加到中央站点的 OSM 堆栈。为此，请在 OSM 计算机中使用以下命令：”osm vim-create –name –user –password –auth_url –tenant –account_type “。在此命令中：是选择用于标识 OSM 堆栈中 VIM 的名称，是有权处理外部站点资源的用户的名称（请参阅步骤 3.3.10），是指定用户的密码，是 VIM 提供的用于启用来自 OSM 堆栈的请求的 API 的链接， 是在步骤 3.3.9 中定义的项目名称，是使用的 VIM 软件（在本实验中为 OpenStack）。 验证新 VIM 是否正确连接到 NFV 生态系统的 OSM 堆栈。 执行命令”ro_id=$（docker ps |格雷普osm_ro |cut -d ‘ ‘ -f 1）” 以标识在 OSM 系统中实现资源协调器 （RO） 模块的容器的 id。此模块负责与 VIM 交互，以便在部署后续网络服务时协调和分配所需的资源。 使用命令”docker exec -it $ro_id bash”访问 RO 容器。此命令利用在执行上一步时获得的标识符。 使用命令”openmano datacenter-list”检查新 VIM 是否包含在可用数据中心列表中。新站点应以与步骤 3.4.2 中先前引入的名称相同的名称显示在列表中，并具有参数。 使用命令”openmano vim-image-list–datacenter “列出已上传到外部站点的VIM的图像。参数表示选择用于标识 OSM 堆栈中 VIM 的名称。如果此命令的执行成功，则表示已成功建立与外部 VIM 的连接。检查列表中是否包含 乒乓球 图像。 使用命令”openmano vim-net-list –datacenter “列出新站点上可用的网络。检查 控制提供程序 和 数据提供程序 是否存在。 使用 OSM 社区提供的试用服务对新站点的正确集成执行初步验证（这方面的所有内容都包含在实验存储库中）。为此，以下步骤中包含的命令将在托管 OSM 堆栈的设备中执行。 将 VNF 描述符 （VNFD） 载入 OSM 堆栈，为组成试用服务的每个 VNF 运行命令”osm vnfd-create “（对应于 VNFD 包的文件名）。 在试用版服务的 NS 描述符 （NSD） 上，并显示命令”osm nsd-create “，其中 指示 NSD 包的文件名（在本实验中，ping_pong_ns.tar.gz）。”。 使用命令”osm ns-create –ns_name –nsd_name ping_pong_ns –vim_account –config ‘{vnf： [{member-vnf-index： ‘2’， vim_account： }]}”，在外部和中央站点上启动 Ping Pong Network Service （NS） 的实例化。参数标识 OSM 堆栈中外部站点的 VIM。”–config”选项指示组成服务的所有 VNF 都必须部署在由该 VIM 处理的外部站点上，但 NS 中的索引 2 标识的 VNF 除外，该 VNF 将部署在中央站点中（中央站点的 VIM 在参数中指定）。 使用命令”osm ns-list”检查 NS 是否已部署及其状态。如果实例化成功，则状态将更改为”就绪”。 使用”osm vnf-list”检查两个 VNF 中每个 VNF 的 IP 地址（之后登录计算机所必需的）。 使用命令”ssh fedora@”（表示要连接到的 VNF 的 IP 地址，在上一步中获取），通过 SSH 连接到每个 VNF。在 SSH 提示时引入密码”fedora”。登录到两台计算机后，使用命令”ip 地址显示”检查其接口，并获取连接到 数据提供程序 网络的接口上的 IP 地址（两个 VNF 中的接口 eth1）。从其中一个 VNF，使用 数据提供程序 网络中的远程 IP 地址对另一个 VNF 执行 ping 操作。如果存在连接，则初步验证测试将被视为成功。 4. 通过逼真的垂直服务验证NFV多站点平台 按照步骤3.3.12中详述的过程，从公共存储库下载 VNF 映像并将其上传到其相应站点的 VIM 中（参见图 3）。特别是，外部站点将托管接入点 VNF、路由器 VNF、MQTT 网关 VNF 和接入路由器 VNF。中央站点将托管5G核心VNF和物联网服务器VNF。 将智能农业服务的 VNFD 和 NSD 载入 OSM 堆栈（所有描述符都可以从实验存储库下载）。 将 VNFD 载入 OSM 堆栈，为网络服务的每个 VNF 执行命令”osm vnfd-create “。在这种情况下，参数对应于 VNFD 包的文件名。 使用命令”osm nsd-create “将 NSD 载入 OSM 堆栈，其中 指示 NSD 包的文件名（在本实验中，jove_uavs_scenario_nsd.tar.gz）。 部署智能农网服务。为此，请从 OSM 命令行界面运行以下命令：osm ns-create –ns_name –nsd_name jove_uavs_scenario_nsd –vim_account –config ‘{vnf： [ {member-vnf-index： “5”， vim_account： }， {member-vnf-index： “6”， vim_account： } ]， wim_account： False }’.注意：如步骤 3.6.3 中所示，和参数指示要部署 VNF 的站点。特别是，构成智能农业服务的所有VNF将被放置在新的外部站点中，除了那些索引为5和6的 VNF（5G核心 和 物联网服务器VNF）将被分配给中央站点。 请按照步骤 3.6.4 中的相同过程检查是否已部署 NS。 使用命令”ssh mosquittosubscriber@”访问 物联网服务器VNF， 并通过命令”ip地址显示dev eth1″检查其配置为与 MQTT网关VNF 通信的接口。在 OSM 命令行中执行”osm vnf-list”可以获得 VNF （） 的 IP 地址。 按照类似的过程，访问MQTT 网关 VNF，并运行命令 “sudo python3 publisher_MQTT_GW.py -ma -ba “，其中 是在上一步中获得的，执行MQTT 网关 VNF中的”IP 地址显示 dev eth1″命令。此步骤初始化MQTT网关VNF，它将使用MQTT标准15接收传感器生成的数据，使用相同的标准将这些数据传输到物联网服务器VNF。 准备一台单板计算机（SBC），连接气象传感器，并具有收发器容量，可将传感器读数传输到MQTT网关VNF。注意：为了举例说明此协议，特别使用了SBC模型。因此，在使用不同的SBC平台的情况下，可能需要调整以下步骤。 按照 图5的配置方案，将传感器的电路板引脚连接到SBC的通用输入/输出（GPIO）引脚（例如，使用锡焊铜线）。 启用 SBC 中的 I2C 内核模块，以便能够验证是否检测到传感器。为此，请运行命令”sudo raspi-config”，按照显示菜单中的 “接口选项 -> I2C -> 是 “序列进行操作，然后重新启动 SBC 以使更改生效。 验证是否检测到传感器 在 SBC 中安装软件 i2c 工具 ，然后执行命令”sudo i2cdetect -y 1″。如果是这样，应出现一个网格，指示检测到传感器的位置。 安装相应的软件库，以允许 SBC 读取和发送传感器提供的数据。特别是，这个实验利用了 RPi.bme28032 和 paho-mqtt33 Python库。 使用SUAV的移动应用程序，取下承载 接入点VNF的飞行器，并将其定位以通过传感器为SBC提供无线覆盖。注意：支持NFV的SUV的飞行独立于网络服务的操作行为，无论SUV是在飞行还是在休息状态下都能运行，以减轻电池消耗。因此，步骤 4.8 是可选的。 将负责读取传感器收集的数据的 SBC 连接到 接入点 VNF提供的 Wi-Fi 无线接入点。成功连接后，将启用从传感器到 MQTT 网关 VNF的无线网络路径。 开始传输感测到的数据，运行命令”python3 /home/ubuntu/sensorDataTransmission.py -a “，其中包含传感器（是在步骤 4.6 中获取的 IP 地址）。 访问物联网服务器VNF提供的Web GUI，以检查检测数据的正确实时接收。为此，请使用命令”osm vnf-list”检查 IoT 服务器 VNF 的 IP 地址，然后在 Web 浏览器中键入以下统一资源定位器 （URL）：http://：3001，其中 是IoT 服务器 VNF的 IP 地址。然后，单击”主页”选项卡的”传感器数据收集”按钮，并在收到数据时验证仪表板中包含的图形的实时更新。注意：为了能够访问步骤 4.12 中提到的 URL，具有尝试访问该资源的 Web 浏览器的设备必须连接到 NFV 生态系统，并与 IoT 服务器 VNF建立 IP 连接。VPN服务也可用于此目的。 等待适当的时间段，以获得智能农业服务执行的代表性结果。然后，收集存储在 IoT 服务器 VNF 中的数据以进行进一步分析。考虑到该实验中包含的传感器每5秒提供一次温度、湿度和压力读数，实验中的服务运行时间为10分钟，产生180个感测数据样本（每种气象值类型为60个）。 访问 物联网服务器VNF 的数据库以检索感知到的数据以进行进一步分析。为此，请执行命令”id_database=$（sudo docker ps |grep ‘influxdb：’ |在 IoT Server VNF 上剪切 -d ‘ ‘ -f 1）”，然后”sudo docker exec -it $id_database bash” 将数据导出到逗号分隔值 （CSV） 文件，运行命令”influx -database ‘mainflux’ -execute “SELECT * FROM MESSAGES WHERE \”name\” = ” ” -format csv > /tmp/.csv”。修改参数以选择要导出的检测数据类型以及”温度”、”湿度”或”压力”，并设置参数为将保留结果的输出文件选择名称。 保存在上一步中生成的数据文件，以便以后表示（请参阅代表性结果部分）并验证智能农业服务的正常运行。