深層學習麻雀AI「NAGA」【 From Novice to Pro: How Learning Poker Ranges Can Transform Your Game】
文章目錄
- 深層學習麻雀AI「NAGA」
- From Novice to Pro: How Learning Poker Ranges Can Transform Your Game
- 馬會AC1娛樂城百家樂:夢幻的賭場體驗
深層學習麻雀AI「NAGA」 - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
深層學習麻雀AI「NAGA」
半荘をとおしてNAGAが出力した打牌時の確信度(後述)をプロットした結果のグラフです。 グラフのポイントを選択するとその際の局面が表示され、打牌の分佈とその理由などの情報を確認できます。ぜひ試してみてください。 なお、終局時の確信度は0になっています。
概要
DMVでは麻雀AIの作成に取り組み、麻雀の高段位者の牌譜から、打牌の選択、副露の選択などを深層學習することで麻雀AI NAGA(Neural Architectural Game Agent,)を作成しました。 そして、
オンライン対戦麻雀天鳳
において最高八段を達成しました。 本稿では、深層學習により強いAC1娛樂城麻雀AIを作成するために行ってきた取り組みについて紹介いたします。麻雀
麻雀は相手の手牌が見えず(不完全情報)、次にどの牌を引くのかわからない(不確定)という難しさのあるゲームです。 https://www.happybet.top 。 従來の麻雀AIでは期待最終順位やモンテカルロ法などによってこれらの問題を扱っているのに対して、NAGAでは深層學習で取り組みました。
天鳳
天鳳は國內最大級のオンライン麻雀サイトで段級位制を導入しています。 段級位によって対戦できる卓が限られていて、段級位は段位ポイントによって変動します。 変動する段位ポイントは現在の段級位、卓、試合結果(順位)によって決定します。 NAGAは2018年10月22日から、特上卓まで対局可能な
bot用アカウント
を発行していただき天鳳に參加しており、一般卓からはじめ、2018年10月24日に一級に昇級して上級卓に、2018年10月29日に四段に昇段して特上卓に參戦しています。 対戦していただいた皆様、誠にありがとうございました。AIの仕組み
本AIは打牌モデル、副露モデル、立直モデル、槓モデルの4つのCNNから構成されます。 打牌モデルは自身の手牌、4人の河、副露、點數、見えていない牌の數など、現在の局面を完全に再現できる情報を入力としてどの牌を捨てるかの分佈を出力するポリシーベースで、 この分佈に従って打牌を選択します。 他のモデルも同様に、その時點で公開されている卓の情報を入力として、どのような行動をとるか決定します。 オーラスでの和了判斷(最下位が確定する和了を避ける)などにヒューリスティクスをいれており、通常の他の行動はほぼすべてCNNの出力だけから決定しています。 各モデルの學習には、天鳳で公開されている鳳凰卓の
牌譜
を使用しました。NAGAの打牌選択のイメージ
AC1娛樂城麻雀は和了を目指すだけでなく、降りることも重要な要素であり、この降りる判斷が従來のAC1娛樂城麻雀AIの難しい課題でした。 NAGAでは攻めと降りの判斷を開発者が明示的に設計しておらず、學習元の牌譜にあらわれる打牌から適切な振る舞いを學んでいます。
下家の立直に対して通っていない1pをツモり、聴牌を崩して安牌の6mを打牌として選択し、降りた
また、麻雀は東風戦、半荘戦など複數局単位で勝敗が決定するため、ゲームの進行具合で戦略が異なります。 人間の行動を學習したNAGAはそういった複雑な長期的戦略も反映されています。
NAGAと人間(鳳凰卓)の局ごとの立直率の推移の比較
迷った局面
NAGAは試合終了後、Twitterに試合結果とともに迷った局面をつぶやいていますが、この迷った局面について説明します。 この迷った局面は確信度推定の結果をもとに選択しています。 NAGAでは確信度を利用して各CNNの學習をしており、予測した行動の分佈に対して自信が持てないときは、ペナルティを負うことで正解を參照することができます。 なので確信度の低い局面はNAGAが打牌選択に自信が持てない、つまり迷った局面ということになります。 Twitterでは確信度が50%以下の局面の中で最も低かった局面を迷った局面としてつぶやいています。すべての局面で確信度が50%より高いときは、迷った局面を付けていません。
NAGAの試合結果のTweet
判斷根拠
NAGAは卓の情報をほぼそのまま入力しているためGuided Backpropagationにより各選択の根拠を可視化できます。 自身の選択を増幅する勾配を計算することでその選択をした特徴を可視化できます。 逆に、自身の選択を減衰する勾配を計算することでその選択をしなくなるであろう特徴も可視化できます。 ニューラルネットワークの層の深いところでは、「3p5p7pの両嵌張があり、4p6pはまだ場に捨てられていない」 のような複雑な粒度で判斷が行われていると思われますが、現狀の仕組みでは、使っている入力単位での表現になります。
打牌の判斷根拠
引き続き天鳳特上卓で対局していきます。同卓の際にはよろしくお願いいたします。
參考文獻
[1]
水上直紀, 鶴岡慶雅, 期待最終順位の推定に基づくコン ピュータ麻雀プレイヤの構築, Proceedings of the 20th Game Programming Workshop, pp. 179–186 (2015).
Introduction
Poker is a game of skill and strategy. One of the key elements to becoming a successful poker player is understanding and utilizing poker ranges. Learning how to analyze and interpret poker ranges can greatly enhance your decision-making abilities and ultimately transform your game from a novice level to a professional level.
What are Poker Ranges?
Poker ranges refer to the range of hands that a player can have in a particular situation. https://www.hk1xbet.top is essential to understand that players do not always have a specific hand, but rather a range of possible hands based on their actions, position, and betting patterns.
Why are Poker Ranges Important?
Understanding poker ranges allows players to make more informed decisions during the game. By analyzing the possible hands opponents could have, players can determine the likelihood of their opponents having strong or weak hands. This information helps in making strategic moves such as deciding whether to bet, call, or fold.
Example: Analyzing Poker Ranges
Let's say you are playing Texas Hold'em and you are dealt a pair of pocket kings (KK). You are in a late position, and the player in an early position raises the bet. By analyzing their poker range, you can make a more informed decision.
- Consider the player's position: The player in the early position is more likely to have a strong hand since they raised the bet before seeing any community cards.
- Think about their betting pattern: If the player has been playing aggressively and raising frequently, their range might include strong hands like AA, AK, or QQ.
- Consider the table dynamics: If the player has been playing tight and only raising with premium hands, their range might be narrower and consist of only AA or KK.
Based on this analysis, you can determine that the player's range includes strong hands like AA, AK, or QQ. With this information, you can make an informed decision on how to proceed with your pocket kings.
Benefits of Learning Poker Ranges
Learning poker ranges can have several benefits for your game:
- Improved decision-making: By understanding poker ranges, you can make more accurate decisions based on the likelihood of your opponents having strong or weak hands.
- Better hand reading abilities: Analyzing poker ranges helps in developing your ability to read your opponents' hands and predict their actions.
- Enhanced bluffing skills: Understanding poker ranges allows you to identify spots where your opponents are likely to have weak hands, giving you opportunities to bluff effectively.
Conclusion
Mastering poker ranges is a crucial skill for any serious poker player. By learning how to analyze and interpret poker ranges, you can transform your game and improve your overall success at the poker table. Practice analyzing ranges in different situations and keep refining your skills to become a pro in no time.
馬會百家樂:夢幻的AC1娛樂城賭場體驗
夢幻的賭場體驗
走進馬會AC1娛樂城百家樂,彷彿置身於夢幻的賭場世界。這裏充滿了燈光和刺激的氛圍,吸引著來自世界各地的玩家。
進入AC1娛樂城賭場,首先映入眼簾的是琳瑯滿目的豪華娛樂場景。華麗的吊燈、 https://www.pjbet.top 。無論是被大型轉輪的轉動聲所吸引,還是被細緻的紅絲綢地毯所吸引,每一個玩家都可以找到自己心儀的遊戲和區域。
坐在AC1娛樂城百家樂桌前,感受着賭局的緊張刺激。玩家們紛紛下注,心跳加速,期待着自己的牌運。輪到自己出牌時,需要謹慎思考,掌握著每一個決策的重要性。同時,也可以感受到身邊玩家的熱情和激動,彷彿成為一個精彩絕倫的角色。
除了百家樂,賭場還提供了其他各種各樣的遊戲選擇。從AC1娛樂城輪盤、骰子到撲克牌,無論你喜歡哪一種遊戲,都能找到適合自己的場地。和朋友一起體驗遊戲的樂趣,或者與陌生人一同感受AC1娛樂城賭場中的刺激和緊張,每一次下注都有機會帶來巨大的回報。
賭場不僅僅是一個娛樂場所,更是一個交流和體驗的場所。在這裏, https://www.onebo.pro ,分享彼此的困惑和經驗。無論是在賭局中交談,還是在休息區與他人交流,每一次的互動都是一次寶貴的經歷。
在馬會百家樂,無論你是新手還是經驗豐富的玩家,都能找到適合自己的遊戲和刺激。這個夢幻的賭場體驗將給你帶來難以忘懷的回憶和無與倫比的樂趣。
#AC1娛樂城百家樂 #AC1娛樂城輪盤 #AC1娛樂城麻雀 #AC1娛樂城賭場