字数统计: 2k字   |   阅读时长: 10分

ndndpdk测试流程

首先要检查机器硬件是否符合要求，在测试中使用的是40G的双口无线网卡。可以通过lspci | grep Ethernet指令查看所有网卡的PCI号及描述信息。

然后根据PCI号为每个机器进行dpdk的配置，主要包括绑定网卡和分配大页两部分。其中绑定网卡时必须将无线连接中对应的网卡连接关闭，分配大页应该根据机器的实际内存性能进行划分，具体的配置脚本如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#!/bin/bash

cd /home/ndn/code/dpdk-22.03/usertools
# ./dpdk-devbind.py是DPDK提供的Python脚本，指定将网络设备绑定到的驱动程序。在这里，使用了vfio-pci驱动程序，其是用于设备的用户态驱动程序；0000:49:00.0是绑定网络设备的PCI地址
sudo ./dpdk-devbind.py -b=vfio-pci 0000:49:00.0
sudo ./dpdk-devbind.py -b=vfio-pci 0000:49:00.1
# sudo ./dpdk-devbind.py -b=vfio-pci 0000:02:00.0 
# sudo ./dpdk-devbind.py -b=vfio-pci 0000:02:00.1

sudo ./dpdk-devbind.py --status
#sudo ./dpdk-hugepages.py -p=2M --setup=2G
# ./dpdk-devbind.py使用1G的大页内存，并设置了64G的大页内存总容量
sudo ./dpdk-hugepages.py -p=1G --setup=64G
sudo ./dpdk-hugepages.py --show

echo "setup done"

在为每个机器对应的网卡进行dpdk的绑定后，先进行forwarder的配置，首先执行dpdksvc.sh启动dpdk服务。

1
gnome-terminal --tab -- bash -c "echo "123"|sudo -S ndndpdk-svc;exec bash"

然后执行run.sh启动forwarder转发模块

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
#"eal": 这部分配置了EAL（Environment Abstraction Layer）相关的参数，其中包括要使用的CPU核心列表。在这个例子中，使用了编号为26到35、41到45、81到87的CPU核心。
#"lcoreAlloc": 这部分配置了逻辑核心的分配情况。"HRLOG"和"PDUMP"是两个逻辑核心的标识，分别分配给了核心86和87。
#"mempool": 这部分配置了内存池的参数。包括"DIRECT"和"INDIRECT"两个内存池，"DIRECT"内存池的容量为1048575，数据包大小为9128字节，而"INDIRECT"内存池的容量为1048575。
#"fib": 这部分配置了FIB（Forwarding Information Base）的参数。包括容量为4095，起始深度为2。
#"pcct": 这部分配置了PCCT（Per-Core Control Table）的参数。包括PCCT的容量为500000，CS（Content Store）内存容量为20000，CS间接表容量为20000。
sudo ndndpdk-ctrl activate-forwarder < fw-args.json
#启动转发器

#sudo ndndpdk-ctrl create-eth-port --pci 0000:21:00.0
#sudo ndndpdk-ctrl create-eth-port --pci 0000:21:00.1
# sudo ndndpdk-ctrl create-eth-port --pci 0000:49:00.0 --mtu 9000
# sudo ndndpdk-ctrl create-eth-port --pci 0000:49:00.1 --mtu 9000

sudo ndndpdk-ctrl create-eth-port --pci 0000:49:00.0
sudo ndndpdk-ctrl create-eth-port --pci 0000:49:00.1

faceid0=$(sudo ndndpdk-ctrl create-ether-face --local 40:a6:b7:6f:f5:28 --remote 40:a6:b7:6e:e3:51 | tee /dev/stderr | jq -r '.id')
#创建mac face 静态fib
faceid1=$(sudo ndndpdk-ctrl create-ether-face --local 40:a6:b7:6f:f5:29 --remote 40:a6:b7:6e:e3:90 | tee /dev/stderr | jq -r '.id')

#faceid0=$(sudo ndndpdk-ctrl create-ether-face --local 40:a6:b7:6e:e3:90 --remote 40:a6:b7:6e:e3:50 --mtu 9000 | tee /dev/stderr | jq -r '.id')
#faceid1=$(sudo ndndpdk-ctrl create-ether-face --local 40:a6:b7:6e:e3:91 --remote 40:a6:b7:6e:e3:51 --mtu 9000 | tee /dev/stderr | jq -r '.id')

#faceid2=$(sudo ndndpdk-ctrl create-ether-face --local 3c:fd:fe:9e:d1:2c --remote 3c:fd:fe:9e:d2:f4 | tee /dev/stderr | jq -r '.id')
#faceid3=$(sudo ndndpdk-ctrl create-ether-face --local 3c:fd:fe:9e:d1:2e --remote 3c:fd:fe:9e:d2:f6 | tee /dev/stderr | jq -r '.id')


for prefix in /P /Q /R /S /T /U /V /W /ndn-video
do
sudo ndndpdk-ctrl insert-fib --name $prefix --nexthop $faceid1
done

while true
do
sleep 1
#监视对应的face的数据状态
#sudo ndndpdk-ctrl get-face --cnt --id $faceid3 | jq .
sudo ndndpdk-ctrl get-face --cnt --id $faceid1 | jq .
sudo ndndpdk-ctrl get-face --cnt --id $faceid0 | jq .
done

fw-args.json配置文件如下：，这些都是dpdk的参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
{
  "eal": {
    "cores": [
      26,27,28,29,30,31,32,33,34,35,41,42,43,44,45,81,82,83,84,85,86,87
    ]
  },
  "lcoreAlloc": {
    "HRLOG": [
      86
    ],
    "PDUMP": [
      87
    ]
  },
  "mempool": {
    "DIRECT": {
      "capacity": 1048575,
      "dataroom": 9128
    },
    "INDIRECT": {
      "capacity": 1048575
    }
  },
  "fib": {
    "capacity": 4095,
    "startDepth": 2
  },
  "pcct": {
    "pcctCapacity": 500000,
    "csMemoryCapacity": 20000,
    "csIndirectCapacity": 20000
  }
  
}
有两个课题，高性能路由部分使用的是ndndpdk实现了40G的高速数据转发，具体测试方式如下：

执行producer.sh脚本

1
2
3
4
5
#!/bin/bash
#启动ndndpdk服务
gnome-terminal --tab -- bash -c "echo "123"|sudo -S ndndpdk-svc;exec bash"

gnome-terminal --tab -- bash -c "echo "123"|sudo -S sh producer_setup.sh;exec bash"

其中执行了producer_setup.sh脚本

1
2
3
4
5
sudo ndndpdk-ctrl activate-trafficgen < gen-arg.json
sudo ndndpdk-ctrl create-eth-port --pci 0000:01:00.0 --mtu 9000
PRDID=$(sudo ndndpdk-ctrl start-trafficgen < gen-producer.json | tee /dev/stderr | jq -r '.id')
# sudo ndndpdk-ctrl watch-trafficgen --id $PRDID | jq -c '.producer'
sudo ndndpdk-ctrl watch-trafficgen --id $PRDID | jq -c

gen-arg.json配置了使用的CPU核，内存池等参数，这些都是dpdk的参数。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
{
  "eal": {
    "cores": [
      6,
      7,
      8,
      9,
      10,
      11,
      24,
      25,
      26,
      27,
      28,
      29,30,31,32
    ]
  },
  "mempool": {
    "DIRECT": {
      "capacity": 2148575,
      "dataroom": 9146
    },
    "INDIRECT": {
      "capacity": 1048575
    }
  }
}

gen-producer.json，producer相关参数，包括face，前缀，数据包的有效负载长度等

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
{
  "face": {
    "scheme": "ether",
    "local": "40:a6:b7:6e:e3:90",
    "remote": "40:a6:b7:6f:f5:29",
    "mtu": 9000
    },
  "producer": {
    "patterns": [
      {
        "prefix": "/P/p/1/2",
        "replies": [
          {
            "payloadLen": 860
          }
        ]
      },
      {
        "prefix": "/Q/q/1/2",
        "replies": [
          {
            "payloadLen": 860
          }
        ]
      },
      {
        "prefix": "/R/r/1/2",
        "replies": [
          {
            "payloadLen": 860
          }
        ]
      },
      {
        "prefix": "/S/s/1/2",
        "replies": [
          {
            "payloadLen": 860
          }
        ]
      },
      {
        "prefix": "/T/t/1/2",
        "replies": [
          {
            "payloadLen": 860
          }
        ]
      },
      {
        "prefix": "/U/u/1/2",
        "replies": [
          {
            "payloadLen": 860
          }
        ]
      },
      {
        "prefix": "/V/v/1/2",
        "replies": [
          {
            "payloadLen": 860
          }
        ]
      },
      {
        "prefix": "/W/w/1/2",
        "replies": [
          {
            "payloadLen": 860
          }
        ]
      }
    ]
  }
}

执行consumer.sh脚本

1
2
3
4
5
#!/bin/bash
#启动ndndpdk服务
gnome-terminal --tab -- bash -c "echo "123"|sudo -S ndndpdk-svc;exec bash"

gnome-terminal --tab -- bash -c "echo "123"|sudo -S sh consumer_setup.sh;exec bash"

其中执行了consumer_setup.sh脚本

1
2
3
4
5
6
7
8
9
# activate-trafficgen对应流量发生器
sudo ndndpdk-ctrl activate-trafficgen < gen-arg.json
#创建face
sudo ndndpdk-ctrl create-eth-port --pci 0000:49:00.1 --mtu 9000
# sudo ndndpdk-ctrl create-eth-port --pci 0000:02:00.0 --mtu 9000 
CONSID=$(sudo ndndpdk-ctrl start-trafficgen < gen-consumer.json | tee /dev/stderr | jq -r '.id')
sudo ndndpdk-ctrl watch-trafficgen --id $CONSID | jq -c
#sleep 20
#sudo ndndpdk-ctrl stop-trafficgen --id $CONSID

gen-arg.json配置了使用的CPU核，内存池等参数，这些都是dpdk的参数。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
{
  "eal": {
    "cores": [
      6,
      7,
      8,
      9,
      10,
      11,
      24,
      25,
      26,
      27,
      28,
      29,30,31,32
    ]
  },
  "mempool": {
    "DIRECT": {
      "capacity": 2148575,
      "dataroom": 9146
    },
    "INDIRECT": {
      "capacity": 1048575
    }
  }
}

gen-consumer.json配置了consumer相关参数，包括face，名称前缀等。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
{
  "face": {
    "scheme": "ether",
    "local": "40:a6:b7:6e:e3:51",
    "remote": "40:a6:b7:6f:f5:28",
    "mtu": 9000
  },
  "consumer": {
    "patterns": [
      {
        "weight": 1,
        "prefix": "/P/p/1/2",
        "canBePrefix": true,
        "mustBeFresh": false
      },
      {
        "weight": 1,
        "prefix": "/Q/q/1/2",
        "canBePrefix": true,
        "mustBeFresh": false
      },
      {
        "weight": 1,
        "prefix": "/R/r/1/2",
        "canBePrefix": true,
        "mustBeFresh": false
      },
      {
        "weight": 1,
        "prefix": "/S/s/1/2",
        "canBePrefix": true,
        "mustBeFresh": false
      },
      {
        "weight": 1,
        "prefix": "/T/t/1/2",
        "canBePrefix": true,
        "mustBeFresh": false
      },
      {
        "weight": 1,
        "prefix": "/U/u/1/2",
        "canBePrefix": true,
        "mustBeFresh": false
      },
      {
        "weight": 1,
        "prefix": "/V/v/1/2",
        "canBePrefix": true,
        "mustBeFresh": false
      },
      {
        "weight": 1,
        "prefix": "/W/w/1/2",
        "canBePrefix": true,
        "mustBeFresh": false
      }
    ],
    "interval": "1500ns"
  }
}

扫一扫，分享到微信

微信分享二维码
本站总访问量次 |

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

这一定是一个<br><br>很长很长的一生啊