阿爾法狗再進化:自學3天就100:0碾壓李世石版舊狗AlphaGo Zero強化學習下的自我對弈。

經過幾天的訓練，AlphaGo Zero完成了近5百萬盤的自我博弈后，已經可以超越人類，并擊敗了此前所有版本的AlphaGo。DeepMind團隊在官方博客上稱，Zero用更新后的神經網絡和搜索算法重組，隨著訓練地加深，系統的表現一點一點地在進步。自我博弈的成績也越來越好，同時，神經網絡也變得更準確。

“這些技術細節強于此前版本的原因是，我們不再受到人類知識的限制，它可以向圍棋領域里最高的選手——AlphaGo自身學習。” AlphaGo團隊負責人大衛·席爾瓦（Dave Sliver）說。

據大衛·席爾瓦介紹，AlphaGo Zero使用新的強化學習方法，讓自己變成了老師。系統一開始甚至并不知道什么是圍棋，只是從單一神經網絡開始，通過神經網絡強大的搜索算法，進行了自我對弈。

隨著自我博弈的增加，神經網絡逐漸調整，提升預測下一步的能力，最終贏得比賽。更為厲害的是，隨著訓練的深入，DeepMind團隊發現，AlphaGo Zero還獨立發現了游戲規則，并走出了新策略，為圍棋這項古老游戲帶來了新的見解。

自學3天，就打敗了舊版AlphaGo

除了上述的區別之外，AlphaGo Zero還在3個方面與此前版本有明顯差別。

阿爾法狗再進化:自學3天就100:0碾壓李世石版舊狗AlphaGo-Zero的訓練時間軸

首先，AlphaGo Zero僅用棋盤上的黑白子作為輸入，而前代則包括了小部分人工設計的特征輸入。

其次，AlphaGo Zero僅用了單一的神經網絡。在此前的版本中，AlphaGo用到了“策略網絡”來選擇下一步棋的走法，以及使用“價值網絡”來預測每一步棋后的贏家。而在新的版本中，這兩個神經網絡合二為一，從而讓它能得到更高效的訓練和評估。