智能流量分拣机器人
引导式阅读
Python
智能流量分拣机器人
作者
HDC.Cloud
上架时间
2020-02-21 18:55:07

智能流量分拣“机器人”

您在体验过程中有任何疑问,都可以在此留言反馈>>问题反馈

1. 背景

智简数据中心网络中,部署多种应用,不同应用有不同的网络性能需求,有些应用,比如银行app查询,属于时延敏感型应用;有些应用,比如视频app,属于吞吐敏感型应用。然而,在智简数据中心网络中,不同的业务数据流混跑在一个网络中。

不同需求的业务数据流差异化提供网络服务,成为网络演进的重要目标。因此,在交换机上实现业务流量类型识别,分拣出时延型业务流和吞吐型业务流,分别进入不同的队列转发,为不同需求的业务流提供差异化的目标满足网络服务,是提供智简数据中心网络系统效率的一个非常有价值的解决方案。

本课程,就是利用AI交换机的AI能力,实现流量分拣“机器人”,实现业务流量类型分类识别。

image001

什么是流量分拣?

智简数据中心网络中同时承载着多种业务,常见的业务有大数据业务、分布式存储业务、高性能计算业务、GPU集群等。

流量分拣就是数据中心的交换机实现对流经的流量报文进行识别分类,确定每个数据流或者数据报文属于哪种业务。

您将开发什么?

在本次课程中,您将基于AI Fabric交换机嵌入式AI(EAI)平台API(兼容tensorflow和Caffe),实现一个流量分类的AI算法。

整个项目代码,包括数据读取、数据处理、分类算法、模型训练、模型推理测试、结果输出,整体项目代码除分类算法外,其他部分已经完成。

您将学到什么?

  • 了解华为AI Fabric交换机的AI平台API
  • 体验华为AI Fabric交换机开发的便捷性
  • 了解智简数据中心网络中业务流量识别分类算法

2. 如何开发

2.1 使用华为云账号,登录NAIE开发平台

使用华为云账号,登录NAIE开发平台

0.3登录

2.2配置数据集服务

提交**”数据集服务“**申请

数据集服务

单击**”进入服务“**

初次进入服务

同意协议(首次操作需执行此步骤

3.1.5同意使用

等待数据集服务开通(首次操作需执行此步骤

3.1.6等待开通数据集服务

开通成功后,单击**”进入服务“**,进入数据集订阅(首次操作需执行此步骤

3.1.7进入数据集服务

选择**”华为NAIE研究数据集>DCN网络数据>流量智能分拣机器人数据集"**,并同时订阅训练数据集和测试数据集。

3.1.8订阅两个数据集

订阅后,批量下载两个数据集

3.1.9前往下载

3.1.10批量下载

3.1.11批量下载2

3.1.12选择root路径

3.1.13查看是否下载成功

等待数据集下载成功

3.1.14下载成功

当数据集状态显示下载成功后,返回NAIE首页,开始体验模型训练任务

2.3配置模型训练服务

NAIE首页,体验**”模型训练服务“**

1.0开始使用模型训练服务

单击**“免费试用”**

选择云接入区域,推荐**“华为-北京四”**,勾选同意协议,单击立即使用(首次操作需执行此步骤

1.1选择接入云区域

单击**“进入服务”**,进入模型训练任务界面(首次操作需执行此步骤

1.4进入模型训练任务

2.4创建体验项目

单击**“创建项目”**,开始创建体验项目

2.0创建项目

项目命名

2.1项目命名

创建项目成功后自动进入项目界面

2.2项目界面

2.5导入数据集

单击数据集下的**“创建”**,创建数据集服务

3.0导入数据集

导入训练数据集,数据类型选择**“其他”,数据来源选择“数据目录”**,实例名称必须输入”appflow_training“,否则后续代码中读数据会报错

3.1.0导入训练数据集

单击数据目录栏

3.1.1前往订阅数据

导入训练数据集

4.2绑定训练数据集

继续导入测试数据集

4.3继续导入测试数据

导入测试数据集,数据类型选择**“其他”,数据来源选择“数据目录”**,实例名称必须输入"appflow_testing",否则后续代码中读数据会报错

4.4实例化测试数据集

4.5绑定测试数据集

2.6开始模型训练

单击模型训练,开始创建模型训练任务

5开始模型训练

创建虚拟机训练环境

5.1单击创建

确定模型训练名称

5.2新建一个环境

环境实例化成功

5.2环境创建完

刷新界面,开发环境显示绿色,表示IDE实例化成功

刷新界面

单击编辑图标,进入集成开发环境(IDE)

编辑进入IDE

2.7根据示例代码完成体验

使用notebook环境,单击.ipynb

6使用notebook环境

单击traffic_classifier.py,将示例代码traffic_classifier.py中的代码复制,粘贴过来

6.3复制代码

2.7.1设计实现模型

在代码中找到“体验者主要工作“部分,根据已经定义好的输入输出,自行或参考示例代码设计、实现分类模型,如CNN、MLP、SVM等。

image11

2.7.2编译训练模型

  • 编译运行,训练模型

单击运行

  • 等待模型运行,显示最终效果,根据模型精度,按需调整模型,再训练。

image13

2.7提交最终的测试结果

  • 模型测试准确率:99.99%

  • 流量占比:82%AI+18%分布式存储

3. 恭喜您

通过此AI交换机功能体验赛题,可实现:

  • 智能识别每个业务报文属于哪个业务类型流量,为差异化流量调度提供调度依据

  • 智能分析出业务流量中,各业务类型流量占比,服务网络监控可视化

4. 参与互动赢好礼

请保存完成截图参与互动,精美礼品等您来拿!。 闯关有礼