Web應用服務小學堂:如何搞定網站機器人不會搞垮你的系統?

有些機器人活動將有助於網站登入,有些卻會造成阻礙;機器人可能會對網站進行惡意活動,或是允許攻擊者取得裝置控制權。那企業又該如何保護自己呢?倘若只專注在「偵測」和「阻擋」並非為最上策,一個成功的安全解決方案則須聰明地對付機器人,包含準確的分類以及更先進的緩解技術。

對網站而言,頻寬、伺服器處理器和記憶體,是影響網站效能的重要條件。然而,這些資源亦是劫持網站機器人的首要目標,將可能在合法的終端使用者造訪公司網站時,產生負面的使用者體驗。

根據Akamai智慧型平台 (Akamai Intelligent Platform)的網路流量分析,高達 60% 的公司網站流量是由機器人所產生的。 透過程式定義,機器人可以代理使用者或其他程式運行,有時甚至會模仿人類的使用行為。

有些機器人活動將有助於網站登入,有些卻會造成阻礙;機器人可能會對網站進行惡意活動,或是允許攻擊者取得裝置控制權。一份由香港電腦保安事故協調中心(Hong Kong Computer Emergency Response Team Coordination Centre, HKCERT)的香港安全監控報告(Hong Kong Security Watch Report)指出,光以香港網路來看,就有3,828個機器人是基於惡意目的而產生的。

為解決這問題,許多香港公司直接選擇最典型的方法,以一勞永逸的「全面阻擋」來防範機器人攻擊。然而此種方式卻可能造成反效果,使得機器人網路的操縱者因此得知入侵被察覺,反而有機會重新修改攻擊模式。

那企業又該如何保護自己呢?倘若只專注在「偵測」和「阻擋」並非為最上策,一個成功的安全解決方案則須聰明地對付機器人,包含準確的分類以及更先進的緩解技術。

好機器人和壞機器人

有了這個新的管理方式,在處理機器人流量時,會將各種因素一併納入考量,例如機器人所產生的流量類型、機器人在網路生態中扮演的角色、機器人提取的資料價值、被濫用的產品或服務,以及機器人對網路效能所造成的影響。

簡言之,我們需要懂得分辨好機器人和壞機器人的流量。

以搜尋引擎機器人為例。Akamai 至今已辨識超過150種搜尋引擎機器人類型,並發現一個有趣的現象:搜尋引擎機器人到底是好還是壞,現在還沒有定論。其中的認知差異可能源自對外國搜尋引擎的不熟悉,即使那是當地重要的入口網站。例如,香港人可能認識Baiduspider(中國百度網站的搜尋引擎),但沒聽過Yandexbot(俄羅斯Yandex網站的搜尋引擎)。

上述例子說明了一個成功的機器人管理策略,不能只依賴直覺評斷,反而需要考量將容易辨認或是企業支持的合法機器人分類,其他被偵測到的機器人則可以被劃分為未知或是具有潛在威脅的機器人。

透過成功的辨別好壞以及分類,Akamai提供的建議旨在協助客戶游刃有餘的面對好機器人,並牽制壞機器人。然而要做到這點則須取決於前後文,以及公司可利用的基礎設備作為前題。

靈活應對

完善的機器人管理原則應包含提前應對策略,以下為我個人在面對壞機器人時比較偏好的應對選擇:

  • 運用替代的伺服器系統: 有些公司會針對機器人流量管理另外開發獨立的基礎設備。如果公司將機器人流量導入替代系統(例如Honeypot技術),可以讓主要系統的資源分配給真正的使用者。
  • 從緩存資訊下手: 公司當然都想把最新、最即時的資訊提供給真正的使用者,但是或許將舊的資訊餵給機器人是不錯的方法,因此超過一天存活時間(Time-to-Life, TTL)的資料就是很適合的素材。這個方法不僅能專注處理真正使用者流量,更可以提升整體的網頁效能。
  • 延遲或拉長回覆時間: 在處理一個請求時,先有幾秒鐘的緩衝時間,而公司面對機器人時也以同樣的應對方式。然而,當大規模的機器人網路發送請求的頻率也很緩慢時,這個方法可能就沒那麼管用。

當公司決定不再提供機器人真實資訊時,可以提供機器人替代的網頁,以罐頭資訊餵給機器人,例如公司已經接受的使用條例、客製的「未找到頁面」、「無法開啟網頁」等回應,或甚至是一份簡單的產品型錄。

「阻擋」應該是下下之策,因為機器人操縱者就會立刻知道存在已經曝光,並可能因此改變其攻擊策略。

以上建議對亦適用於管理好機器人,不過,公司在選擇替代資訊或是緩存內容,同時也要考量對真正使用者的潛在影響,因為真正使用者和好機器人可能會得到不一樣的資訊內容。

當與對企業有利的好機器人互動時,公司可以考慮以下策略:

  • 允許:這種策略對網路搜尋引擎或是網路廣告特別有幫助,有助公司維持其搜尋引擎最佳化(SEO)和廣告排名。
  • 監控:當機器人或有害 IP 發送過多的請求時,Akamai 安全解決方案可以協助公司有所防護,此種方式可以預防已知機器人活動影響網頁效能,不過和「允許」有所不同,監控可能影響網站對網路搜尋引擎 或線上廣告的排名。
  • 阻擋:已知機器人的目標通常是針對特定產業而非單一公司,因此,當一家公司發動阻擋時,機器人操縱者可能會改變其特徵碼。不過,藉由txt.指示告知被網頁拒絕的機器人類型,公司可以選擇較友善的應對方式以替代阻擋。

隨著科技巨擘Google、微軟、和蘋果積極探索人工智慧(AI)市場,機器人將會成為公司營運的指標要點。

「所有機器人都是壞機器人」的觀念已經過時,機器人管理和相關的產品旨在協助公司看清機器人活動,以更有效的方式加以應對機器人,致力讓公司最終能夠按照流量重要性,分配珍貴的網站基礎建設資源和頻寬。

關於我們

自1990年創刊UXmaster雜誌,1991年獲得美國LAN Magazine獨家授權中文版,2006年獲得CMP Network Computing授權,2009年合併CMP Network Magazine獨家授權中文版,2014年轉型為《網路資訊》雜誌網站,為台灣中小企業協助技術領導者落實企業策略,了解網路規劃及應用,為企業網路應用、管理、MIS、IT人員必備之專業雜誌網站。


與我們聯絡

加入《網路資訊》雜誌社群

© Copyright 2017 本站版權所有,禁止任意轉載 網路資訊雜誌 / 心動傳媒股份有限公司 聯絡電話:+886 2 29432416