漫談Internet緩沖

 

隨著Internet的發展,上網的使用者越來越多,而每個網絡連接到Internet主干的帶寬是有限的,這樣網絡與Internet的連接就成為了上網速度的瓶頸。由于Internet上的網絡流量存在極大的不對稱性,有些熱門站點,例如yahoo,占據了網絡流量的大部分,點擊這些熱門站點的人們就會重復從Internet上下載同一個的文檔。因此,如果對Internet數據進行緩沖處理,就能節約寶貴的Internet連接帶寬。

Internet連接進行緩沖的技朮稱為Internet緩沖,又由于大部分Internet流量都是WWW瀏覽形成的流量,緩沖技朮主要也是針對WWW瀏覽,因此這種技朮也被稱為Web緩沖。與我們熟悉的磁盤緩沖技朮類似,Internet緩沖是在一台本地服務器上開辟一塊緩沖區,保存訪問Internet時獲得的數據,這樣在以后的瀏覽過程中如果還是訪問那些網頁,就不需要再次訪問Internet,而直接從緩沖區中獲得數據就可以了。然而與磁盤緩沖不同的時,由于Internet緩沖面對是訪問速度要慢于本地硬盤速度的Internet,因此完全可以將緩沖區放置在服務器的硬盤上,而且也只有將緩沖區放置到硬盤上,才有可能開辟數G大小的緩沖區,才能發揮Internet緩沖的作用。因為Internet上的數據量太大,太小的緩沖區意義不大。

 

事實上Internet緩沖并不是一個全新的概念,任何使用過Netscape Navigator瀏覽器的用戶都會注意到,Navigator的設置選項里有一項就是用來設置緩沖的。在Navigator里,既可以設置內存中的緩沖區大小,也可以設置磁盤上的緩沖區大小,這些緩沖區能為這個瀏覽器服務,避免它重復下載同一個頁面。然而,某個計算機上的緩沖區就只能為它自身服務,不同的計算機仍然會造成網絡帶寬的浪費。為了讓不同的計算機都能享受同一個緩沖區帶來的好處,就必須使用一個專用的緩沖服務器。首先,人們發現可以利用代理服務器來達到這個目的,代理服務器使用使用緩沖機制,這樣凡是通過這個代理訪問Internet的用戶,都可以利用代理服務器的緩沖區,達到加速Internet訪問的目的。

直接使用代理服務器,便需要每個客戶都配置自己的瀏覽器客戶中的代理設置,使他們都使用這個代理服務器,這樣就給使用帶來不便。而緩沖區只有在充分利用的條件下才能發揮有效的作用,例如當只有一個用戶使用代理服務器時,就根本無法得到緩沖區帶來的好處,而且Internet訪問隨機性很強,只有使用代理服務器的人越多,在緩沖中找到數據而不必連接到Internet的几率就越大。因此,如果能不更改客戶瀏覽器的任何設置,就能讓網絡內的計算機享受緩沖區帶來的好處,甚至感覺不到存在起緩沖機制的代理服務器,顯然就極大的提高緩沖服務器的利用率,進而提高網絡請求在緩沖中的命中率,充分發揮緩沖機制帶來的優勢。

為了設置這種具有透明性的緩沖服務,就不僅要設置緩沖服務器,而且還要在網絡設備上入手。由于網絡內的瀏覽器并沒有設置代理服務器,那么它的瀏覽請求數據包將被計算機直接發送到要瀏覽的目的服務器。當這個數據包經過網絡設備時,網絡設備可以區分出這些數據包,不按正常的方式轉發到Internet上,而是將其轉發給緩沖服務器,從而達到緩沖Internet數據的目的。只有經過設置需要緩沖的地址和瀏覽請求才需要緩沖,而不是緩沖所有的服務請求。這些能夠識別數據包的內容的網絡設備為路由器或者第四層交換機。

 

當要基于現有路由器的基礎上來實現這種透明緩沖服務時,就需要設置路由器。雖然不是所有的路由器都支持這種非標准路由的透明緩沖轉發功能,然而高端的CISCO大部分種類路由器,低端的使用Linux或者FreeBSD操作系統實現的軟件路由器都支持這種轉發能力。因此,需要查詢這些系統的配置說明來設置這種轉發功能。與這些轉發功能相配合,還需要設置一個起緩沖功能的代理服務器,由于這個代理服務器起到非常重要的緩沖功能,因此它的性能非常重要。一般采用Unix操作系統加上著名的Squid代理服務器,或者采用專業廠商銷售的專業緩沖服務器來提供緩沖服務。

當在路由器上設置非標准路由的轉發功能的時候,就需要路由器對每個數據包都進行額外處理,顯然這會增加路由器處理數據包的開銷。并且有些路由器無法支持這種非標准的轉發功能,此時就需要采用支持這種功能的第四層交換機來轉發數據包。由于第四層交換機采用硬件的方式來實現數據包的轉發,因此開銷非常小而性能非常高,結合專業廠商銷售的專業緩沖服務器,就可以構成能夠同時為數千瀏覽器同時服務的高性能緩沖服務。

 

采用這種Internet緩沖技朮,可以在不增加Internet主干帶寬的同時提高訪問Internet的速度,充分利用現有Internet連接帶寬,國外很多與Internet連接的網絡就采用了這種新技朮。而專業銷售緩沖服務器與第四層交換機的廠商,也提供對這種新技朮的技朮支持,使得這種技朮在與Internet主干連接速度有限的網絡能夠發揮應有的作用。