Site updated: 2024-03-10 11:53:17

2024/03/05/文献阅读-The-BSD-Packet-Filter-A-New-Architecture-for-User-level-Packet-Capture/index.html

@@ -27,7 +27,7 @@
 <meta property="og:image" content="http://miaohao-oops.github.io/img/Filter-Function-Representations.png">
 <meta property="og:image" content="http://miaohao-oops.github.io/img/BPF-CSPF-Fileter-Performance.png">
 <meta property="article:published_time" content="2024-03-05T05:31:35.000Z">
-<meta property="article:modified_time" content="2024-03-06T12:19:19.557Z">
+<meta property="article:modified_time" content="2024-03-10T03:53:06.261Z">
 <meta property="article:author" content="MiaoHao-oops">
 <meta property="article:tag" content="paper">
 <meta name="twitter:card" content="summary_large_image">
@@ -388,6 +388,13 @@ <h2 id="conclusion">5 Conclusion</h2>
             <div>
               <div class="post-metas mb-3">
 
+                  <div class="post-meta mr-3">
+                    <i class="iconfont icon-category"></i>
+
+                      <a class="hover-with-bg" href="/categories/note/">note</a>
+
+                  </div>
+
 
                   <div class="post-meta">
                     <i class="iconfont icon-tags"></i>

atom.xml

@@ -42,7 +42,7 @@
     <link href="http://miaohao-oops.github.io/2024/03/05/%E6%96%87%E7%8C%AE%E9%98%85%E8%AF%BB-The-BSD-Packet-Filter-A-New-Architecture-for-User-level-Packet-Capture/"/>
     <id>http://miaohao-oops.github.io/2024/03/05/%E6%96%87%E7%8C%AE%E9%98%85%E8%AF%BB-The-BSD-Packet-Filter-A-New-Architecture-for-User-level-Packet-Capture/</id>
     <published>2024-03-05T05:31:35.000Z</published>
-    <updated>2024-03-06T12:19:19.557Z</updated>
+    <updated>2024-03-10T03:53:06.261Z</updated>
 
     <content type="html"><![CDATA[<h1id="the-bsd-packet-filter-a-new-architecture-for-user-level-packet-capture">TheBSD Packet Filter: A New Architecture for User-level Packet Capture</h1><blockquote><p>论文作者：Steven Ray McCanne, Van L Jacobson</p><p>发表会议：USENIX'93</p><p>发表时间：January 1993</p></blockquote><h2 id="导览">0 导览</h2><p>1992 年的这篇文章首次提出了 BPF，即 “BSD Packet Filter”。最初 Unix中的数据包过滤器是基于 stack 设计的，在 RISC CPU 中运行效率不高。BPF基于 register 设计，比原来的设计快了 10 倍，整体性能比相同环境下的 NIT快 100 倍。</p><p>本文主要介绍了 BPF 的设计思路，包括 BPF的整体架构、理论模型（CFG）、伪语言翻译器、BPF 指令集，并给出了一些 BPF过滤器的例子，最终通过测试验证了 BPF的高效性。在文章主要内容的最后，给出了一些 BPF 已有的应用，从侧面说明了BPF 设计的合理性，是真正能够运用到生产环境中的工具。</p><h2 id="introduction">1 Introduction</h2><p>BPF 的架构设计特点：</p><ul><li>register-based：在 RISC CPU 中能够得到更有效的实现，stack-based面临存储墙问题</li><li>non-shared buffer model：得益于更大的地址空间</li></ul><h2 id="the-network-tap">2 The Network Tap</h2><p>BPF 的 2 个主要部件：</p><ol type="1"><li>the network tap：从网络驱动收集包并复制给侦听程序</li><li>the packet filter：决定是否接受包，以及复制多少</li></ol><p><img src="/img/bpf-overview.png" /></p><p>当网络数据包到达时：</p><ol type="1"><li>link-level driver <strong>调用 BPF</strong></li><li>数据包经过 <strong>user-defined filter</strong></li><li>filter 决定哪些包可以被<strong>复制到 buffer</strong></li></ol><h3 id="packet-filtering">2.1 Packet Filtering</h3><p>BPF 相比于 NIT 性能提升的区别是 <strong>BPF 在 filter之后才进行数据包的拷贝</strong>，而 NIT 是先进行拷贝再进行过滤，因此 NIT浪费了许多 CPU 周期。</p><h3 id="tap-performance-measurements">2.2 Tap PerformanceMeasurements</h3><p>针对 BPF 和 NIT 的 packet-to-buffer 时间进行两组测试：</p><ul><li><strong>accept all</strong> <imgsrc="/img/NIT-vs-BPF-accept-all.png" /> BPF 相比 NIT有更缓慢的增长，y-截距是每个数据包处理的固定开销，BPF：6us，NIT：89us</li><li><strong>reject all</strong> <imgsrc="/img/NIT-vs-BPF-reject-all.png" /> BPF 无增长，NIT持续增长，最终甚至差了 2 个数量级。</li></ul><p>上面的测试结果体现了将 filter 和 tap 2个单独的模块集成到一个单元中带来的巨大性能优势。</p><h2 id="the-filter-model">3 The Filter Model</h2><blockquote><p>Assuming one uses reasonable care inthe design ofthe buffering model,it will be the dominant cost of packets you accept while <strong>thepacket filter computation will be the dominant cost of packets youreject</strong>.</p></blockquote><p>大部分应用拒绝的包数远远大于接受的包数，因此 filter的性能至关重要。filter 本质上是一个布尔函数，因此有 2 种表示方法：</p><ul><li>boolean expression tree/CSPF 描述表达式本身，契合于 stack-basedmachine（对于一个表达式，我们可以利用栈来递归地进行求值）</li><li>CFG（控制流图） 描述表达式的执行流，更契合于 register-basedmachine</li></ul><p><img src="/img/Filter-Function-Representations.png" /></p><h3 id="the-cspftree-model">3.1 The CSPF(Tree) Model</h3><p>表达式求值实现上的弊端：</p><ul><li>需要模拟栈：额外的 add/sub指令来控制栈指针寄存器，以维护一个栈，且频繁的栈访问成为性能瓶颈</li><li>通常包含冗余计算：如 <code>a | b</code>，我们无需将 <code>a</code>和 <code>b</code>的值都计算出来。这对于网络包过滤是很关键的，因为某些子表达式需要经过多层网络栈才能求值</li></ul><p>另一方面，CSPF 处理的数据有长度限制。</p><p>尽管 CSPF 有诸多限制，但是它提出了很新颖的思路：</p><ul><li>在内核中加入一个<strong>伪语言翻译器</strong>，以实现过滤器</li><li>将过滤的包视为字节数组，从而独立于网络协议</li></ul><h3 id="the-bpf-model">3.2 The BPF Model</h3><p>基于 CFG 的 BPF的伪机器（也就是虚拟机/翻译器）设计基于以下设计约束：</p><ol type="1"><li>协议无关：将包视为字节数组</li><li>通用（指令）</li><li>包数据引用最小</li><li>通过 C 语言的 <code>switch</code>语句译码：为了保证译码效率，采用单地址格式编码</li><li>抽象机器的寄存器需要在物理寄存器中驻留</li></ol><p>这些约束导致采用<strong>累加器型</strong>机器是最为合适的。</p><h3 id="the-bpf-pseudo-machine">3.3 The BPF Pseudo-Machine</h3><h3 id="examples">3.4 Examples</h3><h3 id="parsing-packet-headers">3.5 Parsing Packet Headers</h3><p>这三节介绍了 BPF 的指令集设计，给出了一些例子，并解释了<code>4 * ([k] &amp; 0xf)</code> 这一寻址方式的设计意图。</p><p>BPF虚拟机的操作对象包括：一个累加器、一个寄存器、一个存储器、数据包和一个隐式的PC。</p><p>BPF 的指令类型：</p><ul><li>访存指令在累加器/寄存器和存储器/数据包间移动数据</li><li>运算指令将累加器中的值和立即数进行运算</li><li>分支指令根据寄存器中的值是否满足条件改变 PC</li><li>返回指令返回过滤器的最终判断结果，为 TRUE 则接受数据包</li><li>若干杂项指令</li></ul><h3 id="filter-performance-measurements">3.6 Filter PerformanceMeasurements</h3><p>通过比较 BPF 和 CSPF 过滤器模型的执行指令数，可以发现 BPF存在显著的性能优势。</p><p><img src="/img/BPF-CSPF-Fileter-Performance.png" /></p><ul><li>Filter 1：BPF 快了 50%</li><li>Filter 2：BPF 快了 240%，这主要是由于 CSPF 一次只能处理 16位的数据，处理一个 32 位数据需要两次运算</li><li>Filter 3：更大的性能差距，这是因为 CSPF 中有许多重复运算</li></ul><h2 id="applications">4 Applications</h2><p>BPF 的主要应用：tcpdump、arpwatch 等。</p><h2 id="conclusion">5 Conclusion</h2><p>BPF是一个高效的、可伸缩的、可移植的网络监控模型，已经可以运行在大部分的 BSD发行版上。</p>]]></content>
 
@@ -51,6 +51,8 @@
 
 
 
+    <category term="note" scheme="http://miaohao-oops.github.io/categories/note/"/>
+
 
     <category term="paper" scheme="http://miaohao-oops.github.io/tags/paper/"/>
 

categories/index.html

@@ -202,7 +202,7 @@
       </a>
       <a href="/categories/note/" class="category-count col-2 col-md-1">
         <i class="iconfont icon-articles"></i>
-        <span>6</span>
+        <span>7</span>
       </a>
       <div class="category-collapse collapse" id="collapse-aad653ca3ee669635f2938b73098b6d7" role="tabpanel" aria-labelledby="heading-aad653ca3ee669635f2938b73098b6d7">
 
@@ -219,6 +219,13 @@
 
 
 
+        <a href="/2024/03/05/%E6%96%87%E7%8C%AE%E9%98%85%E8%AF%BB-The-BSD-Packet-Filter-A-New-Architecture-for-User-level-Packet-Capture/" class="list-group-item list-group-item-action">
+          <span class="category-post">文献阅读: The BSD Packet Filter: A New Architecture for User-level Packet Capture</span>
+        </a>
+
+
+
+
         <a href="/2023/11/05/%E6%96%87%E7%8C%AE%E9%98%85%E8%AF%BB%E4%B8%93%E9%A2%98-%E7%B3%BB%E7%BB%9F%E8%B0%83%E7%94%A8%E5%8A%A0%E9%80%9F/" class="list-group-item list-group-item-action">
           <span class="category-post">文献阅读专题:系统调用加速</span>
         </a>

categories/note/index.html

@@ -182,7 +182,7 @@
 
 
 <div class="list-group">
-  <p class="h4">共计 6 篇文章</p>
+  <p class="h4">共计 7 篇文章</p>
   <hr>
 
 
@@ -196,6 +196,12 @@
     </a>
 
 
+    <a href="/2024/03/05/%E6%96%87%E7%8C%AE%E9%98%85%E8%AF%BB-The-BSD-Packet-Filter-A-New-Architecture-for-User-level-Packet-Capture/" class="list-group-item list-group-item-action">
+      <span class="archive-post-title">文献阅读: The BSD Packet Filter: A New Architecture for User-level Packet Capture</span>
+      <time style="float: right;">03-05</time>
+    </a>
+
+
 
       <p class="h5">2023</p>
 

index.html

@@ -261,6 +261,13 @@ <h1 class="index-header">
           </div>
 
 
+          <div class="post-meta mr-3">
+            <i class="iconfont icon-category"></i>
+
+              <a href="/categories/note/">note</a>
+
+          </div>
+
 
           <div class="post-meta">
             <i class="iconfont icon-tags"></i>

local-search.xml

@@ -36,6 +36,12 @@
     <content type="html"><![CDATA[<h1id="the-bsd-packet-filter-a-new-architecture-for-user-level-packet-capture">TheBSD Packet Filter: A New Architecture for User-level Packet Capture</h1><blockquote><p>论文作者：Steven Ray McCanne, Van L Jacobson</p><p>发表会议：USENIX'93</p><p>发表时间：January 1993</p></blockquote><h2 id="导览">0 导览</h2><p>1992 年的这篇文章首次提出了 BPF，即 “BSD Packet Filter”。最初 Unix中的数据包过滤器是基于 stack 设计的，在 RISC CPU 中运行效率不高。BPF基于 register 设计，比原来的设计快了 10 倍，整体性能比相同环境下的 NIT快 100 倍。</p><p>本文主要介绍了 BPF 的设计思路，包括 BPF的整体架构、理论模型（CFG）、伪语言翻译器、BPF 指令集，并给出了一些 BPF过滤器的例子，最终通过测试验证了 BPF的高效性。在文章主要内容的最后，给出了一些 BPF 已有的应用，从侧面说明了BPF 设计的合理性，是真正能够运用到生产环境中的工具。</p><h2 id="introduction">1 Introduction</h2><p>BPF 的架构设计特点：</p><ul><li>register-based：在 RISC CPU 中能够得到更有效的实现，stack-based面临存储墙问题</li><li>non-shared buffer model：得益于更大的地址空间</li></ul><h2 id="the-network-tap">2 The Network Tap</h2><p>BPF 的 2 个主要部件：</p><ol type="1"><li>the network tap：从网络驱动收集包并复制给侦听程序</li><li>the packet filter：决定是否接受包，以及复制多少</li></ol><p><img src="/img/bpf-overview.png" /></p><p>当网络数据包到达时：</p><ol type="1"><li>link-level driver <strong>调用 BPF</strong></li><li>数据包经过 <strong>user-defined filter</strong></li><li>filter 决定哪些包可以被<strong>复制到 buffer</strong></li></ol><h3 id="packet-filtering">2.1 Packet Filtering</h3><p>BPF 相比于 NIT 性能提升的区别是 <strong>BPF 在 filter之后才进行数据包的拷贝</strong>，而 NIT 是先进行拷贝再进行过滤，因此 NIT浪费了许多 CPU 周期。</p><h3 id="tap-performance-measurements">2.2 Tap PerformanceMeasurements</h3><p>针对 BPF 和 NIT 的 packet-to-buffer 时间进行两组测试：</p><ul><li><strong>accept all</strong> <imgsrc="/img/NIT-vs-BPF-accept-all.png" /> BPF 相比 NIT有更缓慢的增长，y-截距是每个数据包处理的固定开销，BPF：6us，NIT：89us</li><li><strong>reject all</strong> <imgsrc="/img/NIT-vs-BPF-reject-all.png" /> BPF 无增长，NIT持续增长，最终甚至差了 2 个数量级。</li></ul><p>上面的测试结果体现了将 filter 和 tap 2个单独的模块集成到一个单元中带来的巨大性能优势。</p><h2 id="the-filter-model">3 The Filter Model</h2><blockquote><p>Assuming one uses reasonable care inthe design ofthe buffering model,it will be the dominant cost of packets you accept while <strong>thepacket filter computation will be the dominant cost of packets youreject</strong>.</p></blockquote><p>大部分应用拒绝的包数远远大于接受的包数，因此 filter的性能至关重要。filter 本质上是一个布尔函数，因此有 2 种表示方法：</p><ul><li>boolean expression tree/CSPF 描述表达式本身，契合于 stack-basedmachine（对于一个表达式，我们可以利用栈来递归地进行求值）</li><li>CFG（控制流图） 描述表达式的执行流，更契合于 register-basedmachine</li></ul><p><img src="/img/Filter-Function-Representations.png" /></p><h3 id="the-cspftree-model">3.1 The CSPF(Tree) Model</h3><p>表达式求值实现上的弊端：</p><ul><li>需要模拟栈：额外的 add/sub指令来控制栈指针寄存器，以维护一个栈，且频繁的栈访问成为性能瓶颈</li><li>通常包含冗余计算：如 <code>a | b</code>，我们无需将 <code>a</code>和 <code>b</code>的值都计算出来。这对于网络包过滤是很关键的，因为某些子表达式需要经过多层网络栈才能求值</li></ul><p>另一方面，CSPF 处理的数据有长度限制。</p><p>尽管 CSPF 有诸多限制，但是它提出了很新颖的思路：</p><ul><li>在内核中加入一个<strong>伪语言翻译器</strong>，以实现过滤器</li><li>将过滤的包视为字节数组，从而独立于网络协议</li></ul><h3 id="the-bpf-model">3.2 The BPF Model</h3><p>基于 CFG 的 BPF的伪机器（也就是虚拟机/翻译器）设计基于以下设计约束：</p><ol type="1"><li>协议无关：将包视为字节数组</li><li>通用（指令）</li><li>包数据引用最小</li><li>通过 C 语言的 <code>switch</code>语句译码：为了保证译码效率，采用单地址格式编码</li><li>抽象机器的寄存器需要在物理寄存器中驻留</li></ol><p>这些约束导致采用<strong>累加器型</strong>机器是最为合适的。</p><h3 id="the-bpf-pseudo-machine">3.3 The BPF Pseudo-Machine</h3><h3 id="examples">3.4 Examples</h3><h3 id="parsing-packet-headers">3.5 Parsing Packet Headers</h3><p>这三节介绍了 BPF 的指令集设计，给出了一些例子，并解释了<code>4 * ([k] &amp; 0xf)</code> 这一寻址方式的设计意图。</p><p>BPF虚拟机的操作对象包括：一个累加器、一个寄存器、一个存储器、数据包和一个隐式的PC。</p><p>BPF 的指令类型：</p><ul><li>访存指令在累加器/寄存器和存储器/数据包间移动数据</li><li>运算指令将累加器中的值和立即数进行运算</li><li>分支指令根据寄存器中的值是否满足条件改变 PC</li><li>返回指令返回过滤器的最终判断结果，为 TRUE 则接受数据包</li><li>若干杂项指令</li></ul><h3 id="filter-performance-measurements">3.6 Filter PerformanceMeasurements</h3><p>通过比较 BPF 和 CSPF 过滤器模型的执行指令数，可以发现 BPF存在显著的性能优势。</p><p><img src="/img/BPF-CSPF-Fileter-Performance.png" /></p><ul><li>Filter 1：BPF 快了 50%</li><li>Filter 2：BPF 快了 240%，这主要是由于 CSPF 一次只能处理 16位的数据，处理一个 32 位数据需要两次运算</li><li>Filter 3：更大的性能差距，这是因为 CSPF 中有许多重复运算</li></ul><h2 id="applications">4 Applications</h2><p>BPF 的主要应用：tcpdump、arpwatch 等。</p><h2 id="conclusion">5 Conclusion</h2><p>BPF是一个高效的、可伸缩的、可移植的网络监控模型，已经可以运行在大部分的 BSD发行版上。</p>]]></content>
 
 
+    <categories>
+
+      <category>note</category>
+
+    </categories>
+
 
     <tags>
 

search.xml

@@ -1357,6 +1357,9 @@ Measurements</h3>
 是一个高效的、可伸缩的、可移植的网络监控模型，已经可以运行在大部分的 BSD
 发行版上。</p>
 ]]></content>
+      <categories>
+        <category>note</category>
+      </categories>
       <tags>
         <tag>paper</tag>
       </tags>