站長必看!既然Bot機器人擋不住 那就當個Bot管理員吧!

人類發明網際網路,原先是希望透過由電腦所形成的網路可以幫助人類彼此之間可以聯絡通訊。然而發展至今,雲端運算與物聯網(IoT)的興起,透過網際網路進行連接的主體,往往是另一組程式或機器系統。不同的連接主體帶來了不同的需求,也考驗了傳統的網際網路架構。

人類發明網際網路,原先是希望透過由電腦所形成的網路可以幫助人類彼此之間可以聯絡通訊。然而發展至今,雲端運算與物聯網(IoT)的興起,透過網際網路進行連接的主體,往往是另一組程式或機器系統。不同的連接主體帶來了不同的需求,也考驗了傳統的網際網路架構。

這種會彼此聯絡通訊的程式或系統,我們稱之為Bot(機器人),其中最為人熟知的Bot莫過於搜尋引擎,如Google、Bing、百度等,無時無刻派出專屬的機器人(通常稱之為Spider),去搜刮疏爬所有網站的資料,提供給使用者搜尋內容;另一種則是非法機器人,透過自動化程式機制,試圖不斷入侵並感染在網路上所能接觸到的主機,甚至是利用無辜的電腦主機發送垃圾信件等。

各種不同的Bot機器人要求網站提供資料

當然還有一種遊走在灰色地帶的機器人,如某些比價網站,常不顧網站的宣告拼命抓取商品資料,雖然沒有實際的攻擊行為,但也的確干擾了商業活動。

Bot機器人是否吃掉了你的企業獲利?

由此可見,Bot對網站來說造成了兩方面的影響。從基礎建設面來看,為了要因應,網站主必須要增加網站頻寬與伺服器以應付網路上眾多機器人的傳輸需求導致增加的流量;從企業營運來說,機器人非法取得網站資料,企業無法控制該資料將如何被使用,甚至可能被競爭對手拿來進行惡意競爭。

Akamai日本暨亞太地區企業安全首席架構師James Tin

Akamai日本暨亞太地區企業安全首席架構師James Tin表示,Bot的確會直接影響企業的獲利,「當使用者在航空公司或旅行社網站搜尋機票時,網站背後會連接全球訂位系統(Amadeus)以取得最新的航班訂位資料,Amadeus則對該網站收取3美分的費用。若航空公司或旅行社網站被第三方Bot大量爬取資料,將導致網站付出大量的無謂成本。」

James Tin透露曾有某航空公司因為遭到Bot非法爬取資料,導致訂位資料連接服務超支50萬美元。另一種更惡意競爭的行為,是惡意Bot用假信用卡資料到網站購買機票,雖然最後刷卡一定會失敗,但根據行規,該機票與機位會自動鎖定保留30分鐘;若惡意Bot持續攻擊某特定航班,很有可能造成合法使用者無法訂票,導致航空公司造成空機損失。

更棘手的是,Bot程式有好有壞,商業網站根本不可能大手一揮盡擋Bot,等於將各個合作網站推出門外,自然也會降低衍生利潤。「對內容網站而言,一方面要顧及搜尋引擎和新聞聚合(news aggregator)網站,一方面又要阻擋那些層出不窮又盜連圖文的內容農場;若IT人員只採取傳統封鎖流量的方法,只是不斷鼓勵盜連網站持續和內容網站鬥智而已。」

Bot機器人有好有壞  分類管理才是王道

因此,面對Bot,Akamai認為堵不如疏,推出了Bot Manager服務,確實管理並控制每天流入網站的Bot流量,才能夠降低Bot對商業網站造成的影響。「一般人可能會忽視Bot流量究竟消耗掉網站多少資源,根據客戶資料,某些Akamai客戶網站的Bot流量可達40%,最高甚至有70%的案例,幾乎可說客戶的網站頻寬預算都拿來餵了Bot流量。」

Bot流量所佔總體流量達40%至70%

James Tin表示Akamai Bot Manager內建1300餘個已知的Bot程式特徵,可快速分辨出合法與非法Bot程式,並每天不斷累積Bot的分析資料。「Akamai Bot Manager由我們的以色列團隊開發,每天儲存將近20TB的攻擊紀錄,累計到目前為止,已儲存了2PB的資料量。一般的企業或是安全廠商根本不可能累積如此大量的攻擊資料來分析Bot流量。」James Tin說道。

如前所述,Bot Manager的目標是管理,而不是阻擋,因此Akamai為Bot Manager提供4大管理策略:

  1. 降低機器人流量的頻寬:不論是合法或是惡意的Bot,不能影響客戶體驗的標準是最基本的要求。
  2. 提供欺騙資料使其退走:對於來自惡意競爭者的Bot流量,Bot Manager可以提供虛假資料欺騙Bot,使其拿了資料就走,不與自家網站多加糾纏,藉此節省網路頻寬與運算資源。
  3. 即時偵測機器人流量並做出反應:當Bot Manager辨識出未知的Bot流量後,可以選擇不做任何激烈的阻擋行動,避免刺激Bot背後的伺服器導致改變爬站手法。
  4. 提供視覺化報表:儘管Bot Manager提供多項自動工具,但最終仍然需要安全人員進行檢視,因此Bot Manager提供視覺化報表供IT人員使用。

但是,Bot程式的天命就是在模仿一般使用者,Akamai Bot Manager該如何處理Bot自我宣告假冒的問題呢?

James Tin解釋道:「首先我們會先檢查該Bot發出查詢要求(request)的頻率,以及封包標頭(header)的內容,來分類該Bot是否合法。接著再使用兩種技術去辨識Bot特徵。首先,Bot Manager主動發送封包至Bot流量來源,取得更多伺服器資料來形成Bot流量特徵,也因此Akamai每小時更新數次Bot流量特徵,同時Bot Manager也會被動分析Bot流量內隱藏的資訊如螢幕尺寸、作業系統等,作為辨識Bot流量的輔助資料。」

根據Bot流量特徵分類各種Bot

Bot Manager並不是安全服務

James Tin也釐清Akamai Bot Manager並不算是一種網路安全服務,「在預設值設定下,Bot Manager並不會完全阻斷非法或未知Bot的流量,而是設法降低這些Bot流量對網站的影響至最低,平均每3天到7天,客戶需要檢視Bot Manager的流量報告,決定該如何處理未知Bot流量的政策。」

換言之,Bot Manager並不擅自決定未知Bot流量的好壞,而是交給使用者決定。對客戶網站來說,有效降低Bot流量,等於立即降低CDN服務的流量與費用,但也有可能降低自家網站在網路上的可見率,該如何處理這些Bot流量,自然要看使用者心中的那把尺。

關於我們

自1990年創刊UXmaster雜誌,1991年獲得美國LAN Magazine獨家授權中文版,2006年獲得CMP Network Computing授權,2009年合併CMP Network Magazine獨家授權中文版,2014年轉型為《網路資訊》雜誌網站,為台灣中小企業協助技術領導者落實企業策略,了解網路規劃及應用,為企業網路應用、管理、MIS、IT人員必備之專業雜誌網站。


與我們聯絡

加入《網路資訊》雜誌社群

© Copyright 2017 本站版權所有,禁止任意轉載 網路資訊雜誌 / 心動傳媒股份有限公司 聯絡電話:+886 2 29432416