OpenAI：當AlphaGo應用於機器人領域是岩盤浴注意事項否還能戰無不勝？
「機器人圈」導覽：這幾日，隻要提起AlphaGo，相信大傢想起的一定是在前幾日的圍棋大賽中，無論是單人戰，雙人戰，還是群毆戰，AlphaGo都無一例外的身居“常勝將軍”位，而AlphaGo的創作團隊公司Deepmind在官網宣佈這次的圍棋...
「機器人圈」導覽：這幾日，隻要提起AlphaGo，相信大傢想起的一定是在前幾日的圍棋大賽中，無論是單人戰，雙人戰，還是群毆戰，AlphaGo都無一例外的身居“常勝將軍”位，而AlphaGo的創作團隊公司Deep mind在官網宣佈這次的圍棋峰會將是AlphaGo的最後一次比賽。那麼，不進行圍棋賽的AlphaGo還可以做什麼呢？OpenAI研究科學傢,斯坦福大學的CS博士生Andrej Karpathy就AlphaGo在機器人領域的應用發表瞭一些他的看法，機器人圈整理編譯如下：
我有機會和幾個人聊瞭一聊近期與AlphaGo柯潔等人的比賽。尤其是，媒體報道內容大部分是大眾科學+PR的混合體，所以我看到的最常見的問題是“AlphaGo的突破性表現在哪裡”，“AI的研究人員如何看待它的勝利？”和“勝利將取得什麼樣的影響”。我把我的一些想法寫成文章與大傢分享。
很酷的部分
AlphaGo由許多相對標準的技術組成：行為克隆（對人類展示的數據進行監督學習）、強化學習（REINFORCE）、價值函數和蒙特卡洛樹搜索（MCTS）。然而，這些組件的組合方式是極具創新，並不是完全標準的。特別是，AlphaGo使用SL（監督學習）策略來初始化RL（強化學習）策略得到完善自我發揮，然後他們預估價值函數，然後將其插入到MCTS中使用（更糟糕但更多樣化的）SL策略展示出來。另外，策略/價值網是深度神經網絡，所以使一切正常工作都能呈現自己獨特的挑戰（例如，價值功能以一種棘手的方式進行培訓以防止過度擬合）。在所有這些方面，DeepMind都執行得很好。話雖如此，AlphaGo本身並沒有使用任何基本的算法突破來解決強化學習的難題。
狹義范疇
AlphaGo還是一個狹義的AI系統，會下圍棋，但也僅此而已。來自DeepMind的ATARI玩傢不會使用AlphaGo所采取的方法，神經圖靈機（Neural Turing Machines）與AlphaGo無關，Google數據中心的改進也絕對不會使用AlphaGo，同時，Google搜索引擎也不會使用AlphaGo。因此，AlphaGo不會推廣到圍棋以外的任何地方，但是人們和潛在的神經網絡組件做的比這些過去的人工智能要好得多，每個演示都需要專門的顯式代碼的存儲庫。
岩盤浴烤箱價格圍棋的便利屬性
我想通過明確地列出圍棋所具有的特定屬性來擴展AlphaGo的狹義性，AlphaGo從中受益匪淺。這可以幫助我們考慮是否推廣AlphaGo。圍棋是：
1、完全確定性。遊戲規則中沒有噪音;如果兩位玩傢采取相同的動作順序，那麼後面的狀態將永遠是一樣的。
2、充分觀察。每個玩傢都有完整的信息，沒有隱藏的變量。例如，德州撲克（Texas hold’em）對該屬性不滿意，因為看不到其他玩傢的牌。
3、動作空間是離散的。一些獨特的棋子移動是很有效的。相比之下，在機器人技術中，你可能希望在每個節點都需要具有連續性的控制。
4、我們有一個完美的模擬器（遊戲本身），所以任何動作的效果都是公開透明的。這是一個強有力的假設，AlphaGo依然非常強大，但這種情形在現實世界中也是相當罕見的。
5、每一盤棋時間相對較短，約200手。相對於強化學習階段，與其他可能涉及每局的數千（或更多）手相比，這是一個相對較短的時間范圍。
6、評估清晰、快速，允許大量的試錯體驗。換句話說，玩傢可以體驗數百萬次的勝利/失敗，這樣就可以慢慢而可靠地深入學習，就像深度神經網絡優化一樣。
7、有大量的人類玩遊戲棋譜數據可用於引導學習，所以AlphaGo不必從頭開始。
AlphaGo應用於機器人技術？
以上列舉瞭圍棋的一些吸引人的屬性，讓我們來看一下機器人問題，看看我們如何將AlphaGo應用到機器人中，例如亞馬遜揀選機器人中。這個問題隻是想想就覺得有點滑稽。
·首先，你的動作（高維度、連續）由機器人的電機笨拙/嘈雜地執行。（違反1、3）
·機器人可能必須環顧要移動的物品，因此並不總是能感知所有相關信息，並且有時需要根據需要收集。（違反2）
·我們可能有一個物理模擬器，但是這些模擬器是非常不完美的（尤其是模擬接觸力的東西）;這帶來瞭自己的一些挑戰（違反4）。
·取決於你的行動空間抽象程度（原始扭矩 - 夾子的位置），一個成功的動作片段可能比200個動作長得多（即5取決於設置）。更長的動作片段增加瞭信用分配問題，學習算法難以在任何結果的行動中分配責任。
·由於我們在現實世界中運作，機器人在數百萬次的時間內（成功/失敗）會變得更加困難。方法之一是並聯機器人，但這可能非常昂貴。此外，機器人失敗可能涉及機器人本身的損害。另一種方法是使用模擬器，然後轉移到現實世界中，但這會在域名轉移中帶來自己的一套新的、不平凡的挑戰。（違反6）
·最後，很少有數百萬可以展示的人類數據源。（違反7）
簡而言之，基本上每個單一的假設，即圍棋的便利屬性都被AlphaGo違背瞭，任何成功的方法都將看起來都不一樣瞭。更普遍的是，上面圍棋的一些屬性與當前的算法（例如1、2、3）並不是不可克服的，有些是存在問題（5、7），但是有些對於Al岩盤浴太空艙價格phaGo的訓練是非常關鍵的，但是很少存在於其他真實世界的應用（4、6）。
結論
雖然AlphaGo並沒有在AI算法中並沒有實現根本性的突破，雖然它仍然是狹隘人工智能的一個例子，但AlphaGo也象征著Alphabet的AI能力：公司的人才數量/質量、他們掌握的計算資源，以及公司高層對AI的關註。
AlphaGo是Alphabet在人工智能領域設置的一場賭局，但AlphaGo是安全的，毋庸置疑。
作者：Andrej Karpathy
來源：www.yidianzixun.com
聲明:?91.com所發佈的內容均來源於互聯網，目的在於傳遞信息，但不代表本站贊同其觀點及立場，版權歸屬原作者，如有侵權，請聯系刪除。
信息也是生產力，精簡才是硬道理！情報獵手帶你突破信息迷霧，每日獨傢為您鎖定最有價值的IT行業新鮮事。打開微信，掃描關註，贏取每月粉絲獎！
台灣電動床工廠
電動床
台灣電動床工廠
電動床
AUGI SPORTS｜重機車靴｜重機車靴推薦｜重機專用車靴｜重機防摔鞋｜重機防摔鞋推薦｜重機防摔鞋
AUGI SPORTS｜augisports｜racing boots｜urban boots｜motorcycle boots
一川抽水肥清理行｜台中抽水肥｜台中市抽水肥｜台中抽水肥推薦｜台中抽水肥價格｜台中水肥清運
X戰警多鏡頭行車記錄器專業網｜多鏡頭行車記錄器｜多鏡頭行車紀錄器比較｜多鏡頭行車紀錄器推薦｜多鏡頭行車紀錄器影片
台中抽水肥專業網｜台中抽水肥｜台中市抽水肥｜台中抽水肥推薦｜台中抽水肥價格｜台中水肥清運
台灣靜電機批發工廠｜靜電機｜靜電機推薦｜靜電油煙處理機｜靜電油煙處理機推薦
優美環保科技工程-靜電機,靜電機推薦,靜電機保養,靜電機清洗,靜電油煙處理機
留言列表
