­　　導語：路透社今天撰文稱，在與對手競爭的過程中，亞馬遜在爬蟲機器人領域的領先地位雖然鮮為人知，但卻對它的發展起到了重要作用。

­　　以下為文章全文：

­　　今年早些時候，負責追蹤對手電商售價的沃爾瑪工程師大吃一驚：他們用來每天掃描亞馬遜網站的技術突然失靈了。

­　　這可不是小事。與多數零售巨頭一樣，沃爾瑪也要依靠計算機程序掃描對手網站的價格，從而展開相應的調整。即便只有50美分的差價也可能導致銷量受損。

­　　但亞馬遜卻借助新策略屏蔽了這些機器人程序，令沃爾瑪措手不及。

­　　知情人士表示，沃爾瑪技術部門用了好幾個星期都無法繞過封鎖，因而不得不通過二手渠道獲取亞馬遜的數據。

­　　這件之前未被曝光的事情讓外界得以一窺亞馬遜如何憑借技術取得零售市場的主導地位。

­　　身為全球最大網絡零售商的亞馬遜最為人所知的就是快速的配送和齊全的商品，而且提供自制劇等諸多視頻內容。但該公司的后臺技術同樣在它的成功中扮演了重要角色。

­　　對網絡機器人的靈活運用不僅可以讓亞馬遜充分了解對手的動向，還能在自己調價時把對手蒙在鼓里。

­　　“參考亞馬遜會越來越困難。”加州零售定價軟件開發商Boomerang Commerce CEO、亞馬遜前經理古魯·哈里哈蘭（Guru Hariharan）說。

­　　沃爾瑪發言人拒絕討論今年1月發生的這件事情，但他表示，該公司一直在定期改進技術，而且有多款追蹤工具。他表示，該公司的價值不僅來自價格，還來自店內自取折扣等其他福利。

­　　亞馬遜發言人稱，該公司知道競爭對手使用機器人追蹤器定價，但否認采取任何措施來阻撓對手。“我們管理網站機器人的方式最近沒有任何變化。”她說。

­　　由于機器人會降低網站的瀏覽速度，所以零售商都希望阻止這類程序訪問自己的網站。

­　　路透社對21名熟悉機器人及其部署方式的人進行了采訪，包括前任和現任沃爾瑪員工、亞馬遜前員工以及外部專家。但由于未獲授權，所以很多人都要求匿名。

­　　多數人都指出，亞馬遜在方興未艾的網絡機器人大戰中處于領導地位。

­　　亞馬遜在方興未艾的網絡機器人大戰中處于領導地位。

­　　該公司的技術優勢有助于提升利潤率，而且對投資者也很有好處。自從2009年3月觸底以來，該股已經上漲約15倍，而同期的標準普爾500指數漲幅僅為3倍。亞馬遜2015年的銷售額達到1000億美元——該公司稱，他們達到這一基準的速度超過歷史上任何一家公司。

­　　美麗新世界

­　　自從亞馬遜10多年前幫助拓展這一模式以來，機器人驅動的定價給整個零售行業帶來了巨大的變革。

­　　以往，零售店最多每周調價一次，因為更換標簽的成本和時間成本都很高。而在電子商務世界，零售商卻可以隨意調價，有時候甚至達到每天數次，這都得益于綜合考慮了庫存、銷量預測和對手定價數據等各種算法。

­　　為了保持競爭力，在線批發商Boxed等企業采用包括機器人在內的許多方法確保其調價速度與對手之間保持在20分鐘之內。

­　　“這就像是持續一生的圣誕節。如果我們的定價不合適，銷量幾乎會立刻下滑。”Boxed CEO Chieh Huang說，他的公司專門銷售大包裝衛生紙和寵物食品。

­　　偽裝成人類

­　　使用機器人查看公開網站上的大量數據被稱作爬取，背后的目的多種多樣。例如，谷歌會不斷爬取網站內容，以便發展搜索引擎或銷售廣告。

­　　而在電子商務行業，使用機器人則成為了一場“貓捉老鼠”游戲。企業一方面希望阻止競爭對手爬取自己的網站，另一方面又想滲透對手的網站。于是，專門提供這種服務的第三方服務相繼涌現。

­　　為了避免對手獲取自己的數據，有的零售商使用了CAPTCHA技術，對文字和數字進行歪曲，雖然人類依然可以閱讀，但機器人卻無法正確識別。亞馬遜并未采取這種措施，因為此舉會令部分客戶感到厭煩。

­　　對于希望繞過這些封鎖措施的企業來說，如何將自己的電腦程序偽裝成人類是關鍵所在。有的定價技術專家會開發在網頁上移動的計算機光標，模擬人類訪問網頁的過程，而不再直接瞄準有價值的數據。還有一種使用多個計算機地址的技術，可以避免零售商將大量點擊追溯到相同的來源。

­　　“這是一場軍備競賽。”愛爾蘭Profitero高級電子商務分析副總裁基斯·安德森（Keith Anderson）說，“攻防雙方每個星期或每個月都會開發新技術。”

­　　亞馬遜今年1月封殺沃爾瑪時瞄準了名為PhantomJS的專用網絡瀏覽器。與IE不同，這種瀏覽器是專為程序員設計的——這表明用戶并非普通購物者。知情人士表示，亞馬遜設計了一個數字幕布，對PhantomJS隱藏了列表。

­　　由于此舉并非針對亞馬遜，所以目前還不清楚其他公司因此受到的影響。

­　　路透社最近幾周進行的測試表明，在美國大型零售商中，亞馬遜的機器人探測技術最為先進。這些測試不僅限于主頁，還包括調價最頻繁的兩款產品。

­　　此次測試由路透社委托舊金山Distil Network公司進行，這是一家專門銷售反機器人工具的公司。在其中一項測試中，Distil開發的機器人對每家零售商的網站掃描3000次，但特意放滿了速度，以模擬人類的點擊過程。此舉騙過了多數零售商，但卻并未騙過亞馬遜。

­　　被屏蔽的機器人無法看到亞馬遜上出售的De"Longhi咖啡機的價格。而根據定價追蹤網站camelcamelcamel.com的數據，僅在在4月25日當天，這款產品就在亞馬遜網站上調價4次，從80.06美元上漲到88.16美元，漲價幅度超過10%。

­　　機器人肆虐

­　　盡管亞馬遜擁有領先的技術，但爬取該網站的機器人數量還是令人震驚。知情人士表示，其產品列表上最多有80%的點擊都來自機器人，而大型網站的這一比例大約只有三分之一。

­　　除了收集定價數據的對手外，有的流量還來自科研院所，他們的目的是研究競爭、搜索引擎、廣告服務，甚至還有的是希望入侵亞馬遜帳號的犯罪分子。

­　　沃爾瑪前員工表示，該公司的自動化定價戰略由一個位于硅谷的小團隊負責，還有來自印度及世界各地的數十名工程師負責處理代碼。

­　　另有知情人士表示，截至幾年前，亞馬遜約有40名工程師負責提取和整理對手的數據。但亞馬遜并未披露自家爬蟲機器人團隊的組織結構。

­　　美國專利申請資料顯示，亞馬遜正在開發一項加密技術，可以迫使機器人解決復雜的算法才能訪問其網頁。但人類訪問者不會受此影響。

­　　“亞馬遜既有能力探測機器人流量，也可以采取必要的手段。”斯科特·雅各布森（Scott Jacobson）說，他曾經擔任亞馬遜經理，目前在Madrona Venture Group擔任總經理。“多數零售商都不具備這種能力。”