反垃圾技术[优秀]_垃圾先进技术

反垃圾技术[优秀]由刀豆文库小编整理，希望给你工作、学习、生活带来方便，猜你可能喜欢“垃圾先进技术”。

反垃圾技术

一.垃圾邮件的产生

垃圾邮件并不是无中生有的，对于纯商业性质的垃圾邮件来说，它是由一些想通过电子邮件来销售或宣传某种产品的厂商所提供的，这也就是垃圾邮件的提供者。但是，垃圾邮件的提供者并不会自己去发送它们，而是将发送任务交给某些拥有大量邮箱地址的专业垃圾邮件发送者或团体，并按某种协议付给发送者一定的费用。剩下的工作，就是发送者如何按提供者的要求将一定数理的垃圾邮件发送到最终的各用户邮箱中。垃圾邮件提供者看到了此种方式所带来的低成本和高效率，而 发送者看得了发送垃圾邮件带来的利益，并且这种利益会随着最终发送数量的增多而不断增加。他们之间的不断利用，就构成了现在垃圾邮件泛滥的根本原因所在。

但是，垃圾邮件要想最终到达众多的用户邮箱之中，也不是人们想象中的那么简单。首先，发送者必需得到相当多的有效邮箱地址，这样才能满足提供者发送数量的要求。发送者一般在刚开始时是向一些机构或个人直接购买或在互联网中进行搜索的方式得到，当在这个圈子中熟习以后，还可以通过与其它发送者之间相互交互的方式来扩大邮箱地址库。现在，许多网站中给出的电子邮箱地址，都将“@”符号改为了“#”号，就是为了防止被按“@”符号为关键字邮箱地址收集软件搜 索到。

另一方面，就是如何确保垃圾邮件都能最终到达用户邮箱当中，不然，一切都是枉然。解决此问题的关键，就是如何躲避各种反垃圾邮件产品的过滤。现在，一些技术高超的发送者已经使用了许多相当有效的方法来躲避被过滤，并且其发展速度要快于反垃圾邮件技术，这也是为什么垃圾邮件不能完全被过滤的主要原因。

最后，就是要解决被追踪的问题，这是垃圾邮件发送者设法使自己免于法律惩罚所要进行的必要手段。一般会通过下列方式中的一种或几种来达到目的：

1、修改垃圾邮件头中与发送者相关的所有域的内容，使这些内容与自己无任何联系。

2、使用第三方可以匿名转发邮件的邮件服务器来发送垃圾邮件;

3、自建邮件服务器，并使用代理服务器进行网络连接;

4、通过控制正常的邮件服务器来发送垃圾邮件，通过Rootkit隐藏在服务中的痕迹;

5、通过控制僵尸网络中的主机来发送垃圾邮件;

6、也可通过自己的多台邮件服务器，设置按某个时间间隔，一次只发送十到二址封垃圾邮件，让反垃圾邮件产品不能通过行为检测方式来判断这些主机为垃圾邮件服务器。一段时间后，也能达到相当大的垃圾邮件发送数量。只有同时满足了上述的三个条件，垃圾邮件发送者与提供者之间的利益关系才能真正实现。

二.反垃圾技术现状

面对垃圾邮件技术发送方式日益隐蔽、垃圾邮件网络初具规模、结合黑客和Web技术发送等新特征，矛盾之争的另一端——反垃圾邮件技术需要经历深刻变化，从而才能有效应对日益严峻的邮件安全形势。

传统的反垃圾邮件技术依旧在发挥作用（如众所周知的实时黑名单 RBL、智能分析的贝叶斯算法、深度的内容分析），但是必须正视面临的新挑战。实时黑名单 RBL通过第三方提供的实时黑名单数据库可快速检查发送IP地址的合法性，但是也存在部分IP地址（段）错误列入实时黑名单的情况，而且目前实时黑名单提 供者多为国际组织（如大名鼎鼎的Spamhaus），国内IP地址错误列入后投诉相对困难。智能分析的贝叶斯算法基于统计学原理拦截垃圾邮件，但如何适应 图片、PDF等附件、内嵌HTML链接的垃圾邮件尚待进一步研究。基于规则的评分系统、数字指纹/签名等深度内容分析技术，依赖于不断更新的垃圾邮件特征 数据库来拦截垃圾邮件，可实现图片、PDF附件等垃圾邮件拦截。因此，必须做到三个第一，即第一时间发现新型垃圾邮件、第一时间发布最新特征库、第一时间 拦截垃圾邮件。目前此类反垃圾邮件技术均借助于广泛分布的蜜罐网络（或垃圾邮件收集系统）实现实时垃圾邮件拦截。

新型反垃圾邮件技术也有助于应对层出不穷的垃圾邮件变化，如发件人策略框架(SPF)验证、信誉服务(Reputation Service)、HTML链接分析、行为识别。

三.当前主要的反垃圾技术

1.实时黑名单技术

实时黑名单RBL(Realtime Blackhole List)是借助DNS解析技术的黑名单查询技术，当需要验证某个邮件服务器IP地址是否被列入黑名单时，就向RBL服务器发出一个特殊的DNS解析请求，RBL服务器将返回一个IP地址，邮件服务器就知道该IP是否被列入黑名单。

实时黑名单是使用较早的技术，对于早期拥有合法域名的服务器专门从事垃圾邮件转发或开放Open Relay的邮件服务器非常有效。当一台邮件服务器是Open Relay或未开放OpenRelay任由其合法用户发送垃圾邮件时，该服务器将被投诉，通过RBL机构确认其大量发送或转发垃圾邮件后，被列入黑名单，邮件服务器在收到邮件时，可以向RBL查询这台发送邮件的服务器是否被列入黑名单，如果确认，邮件将被拒收。但这种技术无法防止用户自行发出的邮件，包括 动态IP(例如拨号用户和ADSL)，因为如果把这一段IP列入黑名单将导致正常用户无法使用邮件服务。中国互联网协会就曾因国外将中国大片IP列入黑名单而提出抗议。

2.关闭openRelay

关闭OpenRelay其实是一个能够部分解决问题的方法，这使得Mail服务器在对外发送邮件的时候要求身份认证，只有Mail服务器上的合法用户才能通过本服务器对外发送邮件，避免了垃圾邮件制造者借助本服务器对外发送垃圾邮件。在很大程度上降低了垃圾邮件的泛滥程度，但关闭Open Relay是单向的反垃圾邮件技术，只能保证自己不对外发送垃圾邮件，不能防止自己被垃圾邮件骚扰。

3.内容过滤技术

邮件过滤按照邮件系统的角色结构可以分为三类：MTA(邮件传输代理)过滤——信封检查;MDA(邮件递交代理)过滤——信头检查、信体检查;MUA(邮件用户代理)过滤——客户端检查。

邮件过滤技术作为一个有效对抗垃圾邮件的手段，同杀毒软件一样，需要不断根据情况更新邮件过滤规则。邮件过滤实际上只针对通常的垃圾邮件有效，这些垃圾邮件常常是电子广告，有些更规矩的广告在邮件主题上提示“ADV”，如果用户不想接收广告邮件，只需简单过滤邮件主题，发现ADV即拒收。而目前用程序自动生成和发送的垃圾邮件对于发件人、收件人、邮件主题甚至邮件内容都是随机生成的，在邮件内容中经常被过滤的词汇，例如“免费”、“赌博”、“色情”等词汇，被随机变形，防垃圾过滤如果采用“免。费”这样的模式匹配来发现变形，有时反而导致了正常邮件被误拒绝(例如邮件中可能有这样一句话：“要免 除处罚是很费劲的”，并没有免费的意思，但被拒绝)。

从实际应用情况来说，内容过滤还很不成熟，其作用很有限，而且内容过滤技术比较消耗资源、分析速度也比较慢。

4.贝叶斯Bayesian算法

这是一个非常著名的算法，很多电子邮件程序包括foxmail都在使用。贝叶斯算法，可以学习单词的频率和模式，这样可以同垃圾邮件和正常邮件关联起来进行判断。这种方法虽然更复杂，却更加智能化。应用特征过滤筛选邮件应该算做是这种方法的一个雏形。

5.服务器认证法

这是一个看起来很简单但是实施起来很麻烦的方法，世界上那么多服务器根本不可能建立一个全社会都互相关联的服务器网络，尽管有些邮件服务器已经开始建立起这样的关联，但是这只是这项“社会工程”里的一小部分。

6.连接/发送频率监测法

正常用户发送和接收邮件的数量和频率远远低于垃圾邮件发送者，因此可以根据垃圾邮件发送具有一定时间内邮件数量和邮件连接频率都非常大的情况，从频率和数量对垃圾发送者的连接行为进行控制。

7.Challenge-Response方式

挑战-应答模式是从增加垃圾邮件发送者时间成本上入手，要求每发送一封邮件，就要求发件人回答一些问题的方式来增加发送时间。

8.Domainkeys方式

这是一种基于PKI的方式对邮件发送者进行验证，对邮件信息进行加密保护，对收信人实现防抵赖机制。“DomainKeys”通过使用加密技术完成电子邮件发送者身份的验证。外发的邮件通过私人密码进行数字签名，而接受电子邮件的系统则使用公共密码对签名进行核实。

9.SPF方式

这是一种源头认证的方式，它通过改变域名系统的数据库，接受方核实邮件实际来源是否和SPF注册的一致来判断邮件是否为假冒邮件。

10.Sender ID技术

SenderID技术对发送方的DNS记录进行修改，增加特定的DNS资源记录以标识其发信方身份。同时对接收方也进行认证。其工作原理如下：当邮件服务器收到一个电子邮件时，域名系统（DNS）保存域名的SPF记录，然后服务器查找发送域名的公开DNS记录，判断发送方服务器 的IP地址是否跟记录相符。如果

记录相符，这一电子邮件通过认证而传送给收件人，否则，这一信息会被抛弃或者返回给发送方。

11.专用反垃圾邮件防火墙

在反垃圾邮件设备中，梭子鱼应当是大家最常听到的一个名词。它其实是Barracuda Networks出品的一种反垃圾邮件防火墙。专用的反垃圾邮件防火墙由专用服务器和固化的操作系统构成，逻辑位置部署在网关和服务器之间，拥有专项服务、设置简单、邮件保护等功能。虽然增加了网络建设的成本，但是这种设备可以保证处理效率，不会造成高速网络环境的停滞，比较适合大型公司。

目前市场上专用反垃圾邮件防火墙比较权威的要数CipherTrust公司的Ironmail和Barracuda Networks的梭子鱼。

12.网关级反垃圾邮件设备

将专用反垃圾设备集成在网关来检测流入的邮件，在网关部署的优点是在不打破网络拓扑环境的情况下，加强了原来邮件服务器的安全，而这种设备的缺点也比较明显，是由于反垃圾邮件属于内容安全，反垃圾邮件处理需要更多的处理资源，在大流量的网络环境中，一旦网络流量很大，反垃圾邮件的智能检查有可能会降低网络性能，成为高速网络中的瓶颈设备。所以网关级反垃圾邮件产品适用于网络流量不大的中小企业网络环境，用户可以不用专门购买梭子鱼等反垃圾邮件防火墙从而降低企业成本。

目前市场上网关级反垃圾邮件产品有KILL赤霄邮件过滤网关和美讯智安全信息网关等，这是口碑比较好的产品。

13.服务器级反垃圾邮件产品

所谓服务器级产品，也就是在服务器上加装反垃圾邮件功能模块，它的本职工作是“处理--转发”邮件，因此不会像反垃圾邮件防火墙那样具备强大的功能。

14.桌面级反垃圾邮件产品

桌面级的反垃圾邮件更加简单，它其实只是邮件接收端的一个功能模块，是反垃圾邮件的最后一道关卡，可以集成在Outlook、Hotmail里发挥过滤功能，这是纯粹的个人级产品。

15.MX查询验证技术

根据大量的调查结果，在所有垃圾邮件中，大约95%以上的邮件的发件人身份是伪造的，由此引出新的反垃圾邮件技术思路——验证邮件是否经过伪造。如果是伪造的，则基本可以判断为垃圾邮件。该技术思路基于目前的邮件服务器应用情况：大量接收邮件服务器(域名解析的MX项)本身就是发送邮件服务器(尤其针对中小邮件服务器);部分分离的接收邮件服务器和发送邮件服务器是IP地址相邻相近的，范围扩展与上一类似，其他允许发送邮件的计算机，如 WWW/mailist/ftp服务器，可能与MX项定义的机器的IP地址相邻相近。这样，通过验证邮件是否来自它所声称的邮件域的合法计算机，就可以判断其是否为垃圾邮件。这种技术从SMTP握手信息及邮件头信息来分析邮件来源，能有效识别虚假路由信息，识别95%以上的垃圾邮件。

16.多重图片识别技术 OCR

打击图片垃圾邮件的主导技术有图片垃圾邮件指纹识别技术、ocr识别技术以及之后的第三代图像防御技术。这三种技术在梭子鱼垃圾邮件防火墙上有 集中的体现，在ocr识别技术的初期，图片垃圾邮件的发送者们企图使用动态的gif图像使内容占用多帧。而且，他们采用横线，符号和其他图像模糊图片内的文字。为了对付这些技巧，博威特公司第二代ocr引擎既包含动态gif文件分析功能还包括模糊文本识别技术。

随着第三代图片垃圾邮件的出现，博威特公司研发出新型复合ocr引擎。该引擎深入分析图片，在进行ocr识别之前对表象图片进行规范化处理。这个新技术主要针对图片掩饰，不同颜色的对比，以及组合文字，背景等手段。综合处理正确率在95%以上。

17.意图分析技术 Intention Analysis

意图分析包括鉴别历史记录里的错误邮件发送基点、它们目前的行为和意图。许多防御策略用来鉴别垃圾邮件，而意图是随时间而改变的特殊类别。

大部分垃圾邮件背后的动机是使接受某物，例如登陆某个站点，拨打某个电话，或者买某只股票。这些动机被称为邮件“意图”，观察邮件的这些特点叫做“意图分析”。目前为止，大部分垃圾邮件的意图都是让用户点击一个网页或链接。

即使邮件发送者试图通过新IP地址掩盖他们的不良记录，他们最终还是需要驱使用户去特定的网站。梭子鱼中心维护着垃圾邮件发送者常用网站地址库，能够基于邮件中插入的站点地址阻断邮件。

意图分析是阻断垃圾邮件非常有效的手段，它的有效性随着黑名单有效性的相对减少而增加。梭子鱼中心分析后发现，在梭子鱼垃圾邮件防火墙的过滤邮件中，意图分析过滤占到了10～20％。