皮皮网

1.技术干货！DPDK新手入门到网络功能深入理解
2.MATLAB仿真时间是怎么确定的啊？
3.一文分析DPDK跟踪库tracepoint源码
4.无锁队列是否不适用于大容量应用场景？
5.autosar E2E 源码解析
6.DPDK 无锁环形队列(Ring)详解--段子解法

技术干货！DPDK新手入门到网络功能深入理解

       DPDK新手入门

       一、安装

       1. 下载源码

       DPDK源文件由几个目录组成。

       2. 编译

       二、配置

       1. 预留大页

       2. 加载 UIO 驱动

       三、果蔬商城源码整站源码运行 Demo

       DPDK在examples文件下预置了一系列示例代码，这里以Helloworld为例进行编译。

       编译完成后会在build目录下生成一个可执行文件，通过附加一些EAL参数可以运行起来。

       以下参数都是比较常用的

       四、核心组件

       DPDK整套架构是基于以下四个核心组件设计而成的

       1. 环形缓冲区管理(librte_ring)

       一个无锁的多生产者，多消费者的FIFO表处理接口，可用于不同核之间或是逻辑核上处理单元之间的通信。

       2. 内存池管理(librte_mempool)

       主要职责是在内存中分配用来存储对象的pool。 每个pool以名称来唯一标识，并且使用一个ring来存储空闲的对象节点。 它还提供了一些其他的服务，如针对每个处理器核心的缓存或者一个能通过添加padding来使对象均匀分散在所有内存通道的对齐辅助工具。

       3. 网络报文缓冲区管理(librte_mbuf)

       它提供了创建、释放报文缓存的能力，DPDK应用程序可能使用这些报文缓存来存储数据包。这个缓存通常在程序开始时通过DPDK的mempool库创建。这个库提供了创建和释放mbuf的API，能用来暂存数据包。

       4. 定时器管理(librte_timer)

       这个模块为DPDK的执行单元提供了异步执行函数的能力，也能够周期性的触发函数。它是通过环境抽象层EAL提供的能力来获取的精准时间。

       五、环境抽象层（EAL）

       EAL是用于为DPDK程序提供底层驱动能力抽象的，它使DPDK程序不需要关注下层具体的网卡或者操作系统，而只需要利用EAL提供的抽象接口即可，EAL会负责将其转换为对应的API。

       六、通用流rte_flow

       rte_flow提供了一种通用的方式来配置硬件以匹配特定的Ingress或Egress流量，根据用户的任何配置规则对其进行操作或查询相关计数器。

       这种通用的方式细化后就是一系列的流规则，每条流规则由多种匹配模式和动作列表组成。

       一个流规则可以具有几个不同的动作(如在将数据重定向到特定队列之前执行计数，封装，解封装等操作)，而不是依靠几个规则来实现这些动作，应用程序操作具体的硬件实现细节来顺序执行。

       1. 属性rte_flow_attr

       a. 组group

       流规则可以通过为其分配一个公共的组号来分组，通过jump的流量将执行这一组的操作。较低的值具有较高的优先级。组0具有最高优先级，浮点形式的源码且只有组0的规则会被默认匹配到。

       b. 优先级priority

       可以将优先级分配给流规则。像Group一样，较低的值表示较高的优先级，0为最大值。

       组和优先级是任意的，取决于应用程序，它们不需要是连续的，也不需要从0开始，但是最大数量因设备而异，并且可能受到现有流规则的影响。

       c. 流量方向ingress or egress

       流量规则可以应用于入站和/或出站流量(Ingress/Egress)。

       2. 模式条目rte_flow_item

       模式条目类似于一套正则匹配规则，用来匹配目标数据包，其结构如代码所示。

       首先模式条目rte_flow_item_type可以分成两类：

       同时每个条目可以最多设置三个相同类型的结构：

       a. ANY可以匹配任何协议，还可以一个条目匹配多层协议。

       b. ETH

       c. IPv4

       d. TCP

       3. 操作rte_flow_action

       操作用于对已经匹配到的数据包进行处理，同时多个操作也可以进行组合以实现一个流水线处理。

       首先操作类别可以分成三类：

       a. MARK对流量进行标记，会设置PKT_RX_FDIR和PKT_RX_FDIR_ID两个FLAG，具体的值可以通过hash.fdir.hi获得。

       b. QUEUE将流量上送到某个队列中

       c. DROP将数据包丢弃

       d. COUNT对数据包进行计数，如果同一个flow里有多个count操作，则每个都需要指定一个独立的id，shared标记的计数器可以用于统一端口的不同的flow一同进行计数。

       e. RAW_DECAP用来对匹配到的数据包进行拆包，一般用于隧道流量的剥离。在action定义的时候需要传入一个data用来指定匹配规则和需要移除的内容。

       f. RSS对流量进行负载均衡的操作，他将根据提供的数据包进行哈希操作，并将其移动到对应的队列中。

       其中的level属性用来指定使用第几层协议进行哈希：

       g. 拆包Decap

       h. One\Two Port Hairpin

       七、常用API

       1. 程序初始化

       2. 端口初始化

       3. 队列初始化

       DPDK-网络协议栈-vpp-ovs-DDoS-虚拟化技术

       DPDK技术路线视频教程地址立即学习

       一、DPDK网络

       1. 网络协议栈项目

       2.dpdk组件项目

       3.dpdk经典项目

       二、DPDK框架

       1. 可扩展的矢量数据包处理框架vpp(c/c++)

       2.DPDK的虚拟交换机框架OvS

       3.golang的网络开发框架nff-go(golang)

       4. 轻量级的switch框架snabb(lua)

       5. 高效磁盘io读写spdk(c)

       三、DPDK源码

       1. 内核驱动

       2. 内存

       3. 协议

       4. 虚拟化

       5. cpu

       6. 安全

       四、性能测试

       1. 性能指标

       2. 测试方法

       3. 测试工具DPDK相关学习资料分享：点击领取，备注DPDK

       DPDK新手入门原文链接：DPDK上手

MATLAB仿真时间是怎么确定的啊？

       首先、仿真时间要设置好，时间太长了就会一直等着。

       第二、变步长解法器也要设置

       第三、变步长的最大值也要设置当然越小越好，但是太小了会仿真的时间很长，就会一直在等着。手机浙江麻将源码

       仿真的时间很重要，有一次做斜坡函数如果仿真时间不够长，都无法到达自己想要的值，只能仿真一部分。

       用户在Type后面的第一个下拉选项框中指定仿真的步长选取方式，可供选择的有Variable-step（变步长）和Fixed-step（固定步长）方式。变步长模式可以在仿真的过程中改变步长，提供误差控制和过零检测。固定步长模式在仿真过程中提供固定的步长，不提供误差控制和过零检测。用户还可以在第二个下拉选项框中选择对应模式下仿真所采用的算法。

       变步长模式解法器有：ode，ode，ode，odes，odes，odet，odetb和discrete。

       ode：缺省值，四/五阶龙格－库塔法，适用于大多数连续或离散系统，但不适用于刚性（stiff）系统。它是单步解法器，也就是，在计算y(tn)时，它仅需要最近处理时刻的结果y(tn-1)。一般来说，面对一个仿真问题最好是首先试试ode。

       ode：二/三阶龙格－库塔法，它在误差限要求不高和求解的问题不太难的情况下，可能会比ode更有效。也是一个单步解法器。

       ode：是一种阶数可变的解法器，它在误差容许要求严格的情况下通常比ode有效。ode是一种多步解法器，也就是在计算当前时刻输出时，它需要以前多个时刻的解。

       odes：是一种基于数字微分公式的解法器（NDFs）。也是一种多步解法器。适用于刚性系统，当用户估计要解决的问题是比较困难的，或者不能使用ode，或者即使使用效果也不好，就可以用odes。

       odes：它是一种单步解法器，专门应用于刚性系统，网站归类页面源码在弱误差允许下的效果好于odes。它能解决某些odes所不能有效解决的stiff问题。

       odet：是梯形规则的一种自由插值实现。这种解法器适用于求解适度stiff的问题而用户又需要一个无数字振荡的解法器的情况。

       odetb：是TR-BDF2的一种实现， TR-BDF2 是具有两个阶段的隐式龙格－库塔公式。

       discrtet：当Simulink检查到模型没有连续状态时使用它。

       步长参数：对于变步长模式，用户可以设置最大的和推荐的初始步长参数，缺省情况下，步长自动地确定，它由值auto表示。

       Maximum step size（最大步长参数）：它决定了解法器能够使用的最大时间步长，它的缺省值为“仿真时间/”，即整个仿真过程中至少取个取样点，但这样的取法对于仿真时间较长的系统则可能带来取样点过于稀疏，而使仿真结果失真。一般建议对于仿真时间不超过s的采用默认值即可，对于超过s的每秒至少保证5个采样点，对于超过s的，每秒至少保证3个采样点。

       Initial step size（初始步长参数）：一般建议使用“auto”默认值即可。

       仿真精度的定义（对于变步长模式）

       Relative tolerance（相对误差）：它是指误差相对于状态的值，是一个百分比，缺省值为1e-3，表示状态的计算值要精确到0.1%。

       Absolute tolerance（绝对误差）：表示误差值的门限，或者是说在状态值为零的情况下，可以接受的误差。如果它被设成了auto，那么simulink为每一个状态设置初始绝对误差为1e-6。

       Mode（固定步长模式选择）

       Multitasking：选择这种模式时，当simulink检测到模块间非法的采样速率转换，它会给出错误提示。所谓的非法采样速率转换指两个工作在不同采样速率的模块之间的直接连接。在实时多任务系统中，如果任务之间存在非法采样速率转换，那么就有可能出现一个模块的输出在另一个模块需要时却无法利用的情况。通过检查这种转换，Multitasking将有助于用户建立一个符合现实的多任务系统的有效模型。

       使用速率转换模块可以减少模型中的非法速率转换。Simulink提供了两个这样的模块：unit delay模块和zero-order hold模块。对于从慢速率到快速率的非法转换，可以在慢输出端口和快输入端口插入一个单位延时unit delay模块。而对于快速率到慢速率的转换，则可以插入一个零阶采样保持器zero-order hold。静态页面源码加密

       Singletasking：这种模式不检查模块间的速率转换，它在建立单任务系统模型时非常有用，在这种系统就不存在任务同步问题。

       Auto：这种模式，simulink会根据模型中模块的采样速率是否一致，自动决定切换到multitasking和singletasking。

       输出选项

       Refine output：这个选项可以理解成精细输出，其意义是在仿真输出太稀松时，simulink会产生额外的精细输出，这一点就像插值处理一样。用户可以在refine factor设置仿真时间步间插入的输出点数。

       产生更光滑的输出曲线，改变精细因子比减小仿真步长更有效。精细输出只能在变步长模式中才能使用，并且在ode效果最好。

       Produce additional output：它允许用户直接指定产生输出的时间点。一旦选择了该项，则在它的右边出现一个output times编辑框，在这里用户指定额外的仿真输出点，它既可以是一个时间向量，也可以是表达式。与精细因子相比，这个选项会改变仿真的步长。

       Produce specified output only：它的意思是让simulink只在指定的时间点上产生输出。为此解法器要调整仿真步长以使之和指定的时间点重合。这个选项在比较不同的仿真时可以确保它们在相同的时间输出。

一文分析DPDK跟踪库tracepoint源码

       在DPDK跟踪库tracepoint的源码分析中，关键流程包括rte_eal_trace_thread_remote_launch以及初始化过程。初始化流程由`eal_trace_init`执行，挂载`tracepoint`，其核心在于`RTE_TRACE_POINT_DEFINE`宏与`RTE_TRACE_POINT_REGISTER`定义的转换。rte_eal_trace_thread_remote_launch函数定义于`lib\librte_eal\include\rte_eal_trace.h`文件，是远程线程操作的函数。

       接着观察`__rte_trace_point_emit_header_generic`函数，通过分析其流程可以看出其主要分为两部分：获取内存区域与填充函数指针、arg指针等数据。在调用这个宏时，内存区域将用于存储时间戳及标志位等信息，然后填入由宏提供的数据类型，包括函数指针、arg指针、bits的slave_id和int型rc变量。这些操作在`rte_eal_remote_launch`函数中执行时完成，DPDK的tracepoint功能最终实现。

       为了深入理解这些细节，建议参考相关资源，如《全网讲的最好的DPDK，由简到精，系统学习，资深老师带你聊透DPDK 为什么说实现CM的挑战不在硬件而在软件》等材料，并且实际操作学习DPDK的tracepoint实现方法，通过实践深化对源码的理解。

       参考资料链接：t.csdn.cn/NhKEJ

无锁队列是否不适用于大容量应用场景？

       在处理海量数据的挑战中，许多公司倾向于通过构建分布式集群来提升服务器性能。然而，传统的多核服务器中，锁的管理往往成为瓶颈。这时，无锁数据结构如DPDK的rte_ring就显得尤为重要，它提供了无锁、支持多/单生产者/消费者操作的高效FIFO解决方案，尤其是在内存密集型应用中，其速度优势显著。rte_ring虽有固定大小可能导致内存浪费的局限，但它在DPDK应用间通信和内存池管理中展现出强大实用性，尤其是通过prod_head/tail和cons_head/tail指针以及"name"字段的巧妙设计。

       理解rte_ring的单生产者/消费者模式并非易事，入队操作涉及head/tail的更新，代码实现复杂且需要深入理解。要直观掌握其工作原理，结合实际代码和深入剖析是必不可少的。即使是文字描述和代码注释，也可能让人感到晦涩难懂。

       在多生产者/多消费者模式中，rte_ring的应用更为复杂。入队操作涉及两个或更多的CPU，通过Compare-And-Swap(CAS)指令确保并发操作的线程安全。首先，每个核会保存队列的状态；接着，CPU1执行并更新队列信息；然后，多个核同步更新prod_head；最后，操作完成，各核协同作业。

       而对于多消费者-出队操作，虽然官方文档并未详细阐述，但开发者可以通过查阅源代码学习其实际实现。《程序员指南》等参考资料是深入探究的宝贵资源。这表明，无锁队列在大规模应用场景中并非不适用，而是需要更深入的技术理解和实践经验来优化其性能和使用。

       总结来说，无锁队列如rte_ring在处理大容量场景中确实面临着挑战，特别是对于复杂多线程环境。然而，通过深入理解其工作原理、利用适当的并发控制机制，以及借助相关文档和源代码，我们能够巧妙地将其融入实际应用，实现高效的数据处理和通信。

autosar E2E 源码解析

       在多年的实践应用中，我们曾利用E2E技术来确保车速和转速信息的准确性，通过在报文里加入Check和RollingCounter信号，监测信号的完整性和一致性。虽然起初可能觉得这种额外的使用是资源浪费，但其实是对总线负载的有效管理。E2E的核心其实并不复杂，本质上是CRC校验和滚动计数器的结合，不同厂商可能在位序和配置上有所差异，但原理相通。

       具体到源码操作，发送E2E报文的过程如下：首先从SWC获取E2E信号值，然后通过vector库进行处理，校验AppData的指针，配置报文，组织msg，更新E2E buffer，并进行CRC和滚动计数器的更新。最后，通过RTE接口发送信号。

       接收E2E报文则与发送过程相反，包括准备接收缓冲区，调用库函数读取数据，验证数据和计数器，将接收到的数据结构赋值，检查接收和本地滚动计数器的匹配，以及校验CRC结果。整个过程旨在确保数据的完整性和正确性。

DPDK 无锁环形队列(Ring)详解--段子解法

       在大数据处理需求日益增长的背景下，公司通常通过分布式集群来扩展服务器资源。然而，在多核服务器中，传统的锁机制并不理想。DPDK提供了一种无锁数据结构，即环形队列（Ring），尽管理解起来有些困难，尤其通过文字描述和代码实现。

       为便于理解，我尝试以幽默的段子形式来解析DPDK中的环形队列。首先，环形队列在DPDK中常用于队列管理，它具有固定大小，不同于链表的动态性。与链表队列相比，环形队列的优点包括高效性和无锁操作，但同时也存在空间固定和并发访问时可能出现的环形溢出问题。

       环形队列的应用场景包括数据传输和多线程协作。在源码中，环形队列由prod_head, prod_tail, cons_head, cons_tail四个指针标识，利用unsigned int的溢出特性，head和tail的范围为0~2^。通过rte_ring_create创建的队列以"name"标识，保证其唯一性。

       接下来，我们以单生产者/单消费者模式为例，描述了入队和出队操作。生产者负责更新prod_head和prod_tail，消费者则操作cons_head和cons_tail。生产者入队时，类似于预定房间并添加对象，出队则类似退房并移动指针。在多生产者/多消费者模式中，无锁操作通过CAS指令实现，多个CPU间的同步依赖于内存屏障。

       虽然故事化讲解有助于理解，但源码仍然是理解环形队列的最佳途径。关于多消费者出队，官方文档未详细说明，但源码提供了解答。通过这种直观的解释，DPDK的无锁环形队列概念应该更容易把握了。

关于vpp中dpdk接口注册流程解析

       vpp 是一个高效的包处理转发框架，支持多种接口类型，其中应用最广泛的便是 dpdk。dpdk 通过接管网卡驱动实现内核旁路，提供报文收发加速机制。在 vpp 中，dpdk 作为插件实现，通过 make install-ext-deps 构建过程中自动集成 dpdk。

       dpdk 初始化在 /src/plugins/dpdk/device/init.c 文件中，dpdk 的 eal 环境通过调用 rte_eal_init 函数实现。dpdk_config 函数负责参数解析，dpdk_config 函数通过宏 VLIB_CONFIG_FUNCTION 注入，vpp 启动时自动调用，将参数传递给 rte_eal_init 进行初始化。

       vpp 的接口层分为硬件层和软件层，硬件层通过 device class 描述硬件驱动，软件层通过 interface class 描述链路层。硬件设备用 vnet_hw_interface_t 结构体描述，软件层接口用 vnet_sw_interface_t 描述。接口统一管理在 vnet_interface_main_t 结构体中，该结构体定义了硬件接口和软件接口的数组。

       接口初始化在 vnet_interface_init 函数中进行，此函数除了初始化接口参数，还会将 dpdk 设备的 tx_function 赋值给 device class，决定后续的发包执行函数。

       dpdk 接口初始化在 dpdk_lib_init 函数中完成，主要步骤包括初始化 dpdk_device_t 结构体，调用 ethernet_register_interface 注册接口，配置网卡参数，并为接口分配收包线程。

       dpdk 收包通过 input node dpdk_input_node 实现，dpdk_device_input 函数完成实际的收包操作，通常将报文传递给下一个 node，如 ethernet_input node。

       dpdk 发包逻辑相对复杂，dpdk 的发包并未直接在插件中实现专门的 output node，而是通过接口 tx_function 赋值，最终在 vpp 的发送流程中实现。在发送报文时，接口的 output node 和 tx node 会在 vnet_register_interface 注册接口时一同注册，其中 output node 的执行函数是 vnet_interface_output_node，tx node 的函数则由 vnet_device_class_t 定义。

       发送流程以 ip4 报文为例，处理完 ip4 报文后，通常下一个节点为 ip4-lookup 进行路由查找。在 interface-output node 中，通过 buffer->sw_if_index[VNET_TX] 的值确定发送接口，并执行对应的 output node。

       在 interface output node 的执行函数中，接口的 output node index 通过调用 vnet_per_buffer_interface_output_hw_interface_add_del 函数获得，该函数在 vpp 初始化过程中将接口的 output node 放置在 interface output node 后面，从而在执行函数中获取到接口 output node 的索引。

       vpp 的设计遵循分层架构，逻辑清晰，但宏定义的大量使用增加了阅读难度。 版本源码调整了 node 注册方式，通过 VLIB_NODE_FN 宏实现不同优先级的 function 设置，但这一改动也给源码阅读带来不便。接口发送节点通过 vlib_register_node 函数定义，允许不同驱动共享一个函数，方便了接口的动态添加。

       vpp 启动过程中的宏定义执行顺序影响代码结构，后续深入阅读源码时会进一步分析。如有需要，可参考相关学习资料、教学视频和交流群资源进行深入学习和交流。

hugepage

       大页内存管理和使用是提高系统内存性能的关键。首先，确认CPU对大页的支持，如2M或4M大页，通过检查/proc/cpu/flags中的相应标识。在编译内核时，打开CONFIG_HUGETLB_PAGE和CONFIG_HUGETLBFS以启用大页功能。启动时，可通过修改grub.cfg预留大页，如2M大页用hugepages=，其他类型则需同时指定hugepagesz和hugepages。启动后，可以使用echo命令调整预留的页数。

       挂载大页内存时，非2M大页需指定pagesize。对于2M大页，直接使用hugetlbfs即可。大页在应用程序中通过DPDK或libhugetlbfs进行利用，例如，链接libhugetlb库以优化内存操作性能。

       查看大页信息可通过kernel.org文档，了解内核中大页类型、大小、挂载位置和使用情况。在DPDK源码中，如eal_hugepage_info_init函数，记录了每种大页的详细配置，如大小、挂载点、页数等。在rte_eal_hugepage_init中，通过创建rtemap_xx文件并mmap映射，确保虚拟地址与物理地址一致。

       最后，通过create_shared_memory和copy_hugepages_to_shared_mem，大页信息被整合到共享内存中，形成结构化的内存段，便于管理和优化各个NUMA节点上的内存分布。