从实现效果来看,Web Caching技术实现起来并不是很理想,有35%-50%的网页不能缓存,这部分中主要是容量比较大的视频图像信息,而P2P内容缓存服务器所需要缓存的主要信息恰恰是视频图像信息,因此,在实现效果和与P2P内容缓存服务器设计要求不符。
可行性报告结论:根据以上比较可知,Web Caching技术在不能达到P2P内容缓存服务器设计的要求,其方案不可行。
CDN技术可行性报告
互联网媒体分发当前最好的解决方案是一种称作内容传送网络(CDN)的内容传送体系结构。一个良好构建的CDN可以比网站的原始服务器更快、更连贯地传送内容,尤其是媒体内容典型的大对象,而且在本质上没有停机时间。下面是对实现P2P内容缓存服务器设计可行性分析:
CDN内容分发网络主要传递内容为大容量的媒体文件,这与目前主流P2P文件下载应用传递内容基本一致。
CDN系统使用的主要技术有两个:高速缓存和镜像服务器,P2P内容缓存服务器使用的是高速缓存服务器,这一点,符合其设计要求。
CDN系统在实现效果上比较理想,性能、可伸缩性和可靠性都很好,节省了网络带宽。因此在实现方面符合P2P内容缓存服务器的设计要求。
CDN内容分发网络是部署在服务器上,而所有的客户端都受益,这与P2P内容缓存服务器将缓存设置在ISP出口处,所有网络接入用户都能受益相符合。
CDN一般为大多数主要的媒体公司利用其解决传递媒体内容的,可管理性强。而P2P内容缓存服务器主要是缓存peer节点发布的内容的,内容分散,主动获取困难,可管理性差。
CDN内容分发网络需要在全球各地设置服务器,成本比较高,而P2P内容下载范围一般没有这么广,不必要全球分布服务器。
CDN内容分发网络提供上传服务,而P2P内容缓存服务器,不仅仅作为缓存服务器向客户端提供上传服务,同时在从原始服务器获取未缓存内容时,作为一个客户端,向原始服务器申请下载资源。
可行性报告结论:CDN内容分发网络与P2P内容缓存服务器有很多相同之处,但是在资金投入,运营模式,实现方式上二者之间仍然存在一定的差距,其技术不能达到P2P内容缓存服务器预定的效果,因此其方案不可行。
本章小结
在本章中,我们分别展示了Web Caching技术和CDN内容分法网络技术的技术原理以及这两种技术的比较,同时结合目前P2P流量情况进行分析,研究这两种缓存技术是否适合P2P流量的需要,得到以下结论:
Web Caching技术和CDN技术在实现方式、运营模式、资金投入等方面不适合P2P流量的需要,不能满足有效控制P2P流量的作用。
由于P2P技术在资源共享方面的独特方式,P2P技术必将能够与B/S模式共存,成为互联网发展的重要技术,P2P流量也将越来越多,因此需要设计一种新型的适用于P2P流量的缓存系统方案。
P2P内容缓存系统研究与设计
P2P内容缓存系统设计目标
P2P技术凭借技术的优越性,在出现不久就很快得到广泛应用,改变了传统的信息共享方式,让网络接入用户享受到快捷便利的信息资源服务。但是同时也带来了一定的负面影响,如版权问题,带宽资源紧缺问题等。对于ISP来说,P2P的快速大规模的使用使ISP的利益受到了很大的影响:带宽资源被P2P应用耗用殆尽,无法满足一些客户带宽的要求;严重冲击了ISP的传统业务收入。面对这种情况,ISP目前最紧要的任务就是提出一套方案来解决上述问题。
由于P2P技术有独特的技术优越性,其必将于B/S模式并存,成为互联网发展的两种主要技术,因此对于P2P应用采用的方法应该是正确引导的策略。针对目前情况,本文主张设计出一套P2P内容缓存系统(系统示意图见图3-1)来解决当前网络带宽紧缺问题。其设计目标及要求如下:
通过一定的技术手段,减少ISP出口的P2P连接数量(流量)或是适当降低用户信息的下载速度,实现P2P流量在ISP出口处的压力,从而节省网络带宽。
该系统是一个控制与引导P2P应用的平台,其不但要能支持当前主流P2P应用,同时也要支持以后出现新的P2P应用。
当P2P网络结构发生变化时,能够不改变或是改变很少的一部分仍然可以正常工作。
P2P内容缓存系统主要针对消耗网络带宽的P2P应用。
此系统设计对于网络接入用户来说是透明的。
P2P内容缓冲系统部署位置:各ISP出口处。
系统资金投入量不能太大。
图3-1 P2P内容缓存系统示意图
P2P内容缓存系统总体设计概要
目前P2P应用中,以BT为代表的文件内容共享应用是网络带宽的最大“杀手”,其他P2P应用占用带宽量都比较下,而且其信息重复率很小,设置缓存服务器对其无意义,因此该P2P内容缓存服务器系统的主要对象是以BT为代表的文件内容共享应用软件。
系统设计层次结构
首先,所有的P2P应用都是属于OSI模型的第七层——应用层的,其次,所有的P2P 应用都是一种通信过程,无论是通过TCP传输方式,还是UDP方式;最后,由于ISP需要将所有经过ISP路由器的P2P数据检测出来,改变其路由,转发到设置好的P2P内容缓存服务器中,所以,网络层路由转发策略也是系统中很重要的部分。系统层次结构图3-2所示:
系统功能模块
P2P内容缓存系统作为ISP出口处控制P2P内容下载的系统,主要有三个任务,发现P2P应用、设置策略控制P2P内容下载、缓存P2P内容,因此根据系统的功能特性将P2P内容缓存系统分为三个模块:
P2P路由策略设计部分
工作在OSI七层网络模型中的第三层——网络层,设置在ISP路由器上。根据P2P数据流的特征进行P2P流量检测,当发现P2P数据时,根据设定的策略路由决定是转发给P2P缓存服务器进行处理,或是从ISP出口通过。
P2P缓存策略设计部分
这部分的作用是解析终端用户发送的数据包,对用户请求进行分析,并查询P2P内容缓存服务器中有无用户请求数据,有用户请求的数据时,则将数据发送给请求该内容的用户即可,否则,则需要向ISP外的服务器请求下载所需内容,下载完毕之后再将数据转发给请求该内容的用户。同时,设计一个主动下载P2P内容策略,预测用户可能需要下载的P2P内容。
P2P内容服务器设计部分
由于本系统需要缓存大量的P2P内容数据,所以设置此内容缓存服务器。同时内容缓存服务器中要设置一个数据库系统,存储缓存数据的基本信息,存储路径,存储时间,更新时间,版本信息等。当P2P缓存策略要求查询缓存服务器中有无用户请求数据时,则利用hash算法,查询数据库中有无该信息,有则返回数据“存储路径”,无则返回“无该信息”。另外,由于P2P内容缓存数据库的空间是有限的,所以本部分存在一个信息淘汰算法,淘汰一段时间内没有用户请求下载的P2P内容或者是该P2P内容发生更新的P2P内容。其中文件内容更新部分示意图见图3-3。
每个模块完