Дип стэк что это
Покерная программа DeepStack обыгрывает профессионалов один на один
Дерево решений программы DeepStack в хедс-апе (игре один на один) безлимитного холдема на префлопе и флопе
Пионер современной теории игр Джон фон Нейман говорил: «Реальная жизнь вся состоит из блефа, из маленьких приёмов обмана, из размышлений о том, каких действий ожидает от тебя другой человек. Вот что представляет игра в моей теории» (цитата из 13-й серии документального сериала «Возвышение человечества»).
Другими словами, Джон фон Нейман предвидел, что для создания сильного ИИ компьютер должен научиться играть в игры с неполной информацией, которые наиболее соответствуют человеческому поведению в реальной жизни. Такие игры как покер.
Настольные игры — традиционная область экспериментов в сфере искусственного интеллекта. С каждым годом ИИ обыгрывает человека в разные игры. Сначала сдались шашки, потом шахматы, затем видеоигры Atari, последней пала игра го. Но всё это игры с полной информацией, в которых все игроки имеют полную информацию о состоянии игры. Покер — совершенно другое дело.
Учёные давно пытаются разработать программу, которая бы могла обыгрывать человека в безлимитном Texas Holdem. В отличии от других применений слабого ИИ, здесь успешная разработка окупится мгновенно, потому что ежедневно в онлайновых покер-румах разыгрывают банки на миллиарды долларов.
Джон фон Нейман говорил, что покер восхищает его, и это совершенно неудивительно, учитывая уникальные особенности этой игры с неполной информацией. У каждого игрока есть только часть информации о состоянии игры — и он действует, исходя из этой частичной информации, а также оценивая действия других игроков.
Игры с неполной информацией требуют совершенно более сложного уровня рекурсивного мышления, чем игры с полной информацией. Здесь правильное действие ИИ зависит в том числе от информации, которую ИИ получил от действий оппонента. Но информация, которую выдал оппонент, в свою очередь, является производной функцией от предыдущих действий ИИ и той информации, которую ИИ своими действиями выдал оппоненту. Это и есть рекурсивное мышление, с которым имеет дело программа DeepStack. И справляется она очень неплохо, судя по результатам игр с профессионалами (см. таблицу).
Результаты программы в хедс-апах с профессиональными игроками
Архитектура программы DeepStack показана на иллюстрации. Программа переоценивает свои действия на каждом этапе, когда от неё требуется принятие решения. Для расчёта вэлью каждой ставки используется дерево предвидения (lookahead tree), значения для подветок которого вычисляются с использованием нейросети, заранее обученной на случайных игровых ситуациях.
Структура нейросети демонстрирует, что на входе подаётся размер банка, открытые карты и диапазоны игроков (возможные комбинации, с которыми игрок мог войти в игру таким образом, каким он в неё вошёл (колл, рейз, 3-бет и т.д.), вероятность каждой комбинации). Нейросеть состоит из семи полностью соединённых скрытых слоёв. Выходные значения затем обрабатываются другой нейросетью, которая проверяет, что действия удовлетворяют ограничению на нулевую сумму.
Особенностью программы является то, что она активно сопротивляется анализу своей стратегии со стороны оппонента. Другими словами, программа использует равновесие Нэша — ключевое понятие теории игр. Под равновесием Нэша подразумевается набор стратегий, котором ни один участник не может увеличить выигрыш, изменив свою стратегию, если другие участники своих стратегий не меняют. С точки зрения антагонистической игры в покер основной задачей DeepStack является поиск равновесия Нэша, то есть минимизация возможности эксплуатации своей стратегии другим игроком для получения им прибыли. Абсолютно все разработанные до сегодняшнего дня покерные программы легко эксплуатировались после прощупывания их стратегии с помощью техники LBR (local best-response) — см. недавний обзор самых современных ботов для покера.
Так вот, DeepStack совершенно не эксплуатируется с помощью LBR. Вкупе с реальными результатами, которые показал бот в игре с профессионалами, остаётся только один вопрос: зачем разработчики опубликовали информацию об этой архитектуре в открытом доступе?
Научная работа опубликована 6 января 2017 года на сайте arXiv.org, где выкладываются статьи до выхода в официальном журнале.
Группой разработчиков руководит профессор информатики Майкл Боулинг из Университета Альберты (США).
Группа разработчиков DeepStack
Кафедра покерных ботов в Университете Альберты (Computer Poker Research Group) создана ещё в 90-е годы, первым созданным здесь ботом был Loki в 1997 году. Потом были Poki (1999), PsOpti/Sparbot (2002), Vexbot (2003), Hyperborean (2006), Polaris (2007), Hyperborean No-Limit (2007), Hyperborean Ring (2009), Cepheus (2015) и, наконец, венец творения — DeepStack.
В ближайшее время программу DeepStack проверят в играх с более опытными профессионалами, которые гораздо выше уровнем, чем ребята из таблицы в начале статьи. Начиная с этих выходных программа будет играть на турнире в питтсбургском казино, куда ожидается приезд нескольких профессионалов мирового класса. За 20 дней DeepStack должна сыграть около 120 000 рук. Это достаточно много, чтобы довольно точно оценить качество программы.
Стек в покере: виды и размеры
Автор: Екатерина Криворогова
В турнирном покере или кеш-игре вам необходимо следить не только за своим, но и за количеством фишек оппонента. Управление стеками – это основа прибыльной игры в покер. Но первое, с чем вам придется разобраться, это с классификацией стеков и их соотношением с размером большого блайнда.
Различают 5 видов стека:
Помимо этой классификации, существует понятие «эффективный стек». Это величина наименьшего стека игрока, который соревнуется за выигрыш пота. Рассчитывается для каждой пары участников за столом. Если в розыгрыше остались два игрока, эффективным будет наименьший стек по объему, если больше игроков – их будет несколько.
Сумма стека имеет ключевое значение в Техасском Холдеме. В любом раунде есть вероятность, что все ваши фишки окажутся в центре стола, поэтому нужно следить не только за величиной своего стека, но и оценивать стек оппонента.
Эффективный стек в покере
Выше мы дали определение эффективного стека как наименьшего за столом. Его расчет в онлайн-покере поможет вам выстроить свою тактику на случай, если игрок с наименьшим стеком пойдет в олл-ин. Допустим, на первом круге торгов игрок 1 имеет 100ББ, игрок 2 – 200ББ, меньшая величина в 100 больших блайндов и определит эффективный стек. Ситуация игрока 1 не поменяется, а игрок 2 будет понимать, что максимум, который он заработает за столом, составит 100ББ. Вторая половина стека противника считается «мертвой», так как она не участвует в игре. В этой ситуации игроку 2 придется отказаться от розыгрыша некоторого диапазона рук, гарантирующих ему попадание на флоп.
Часто величина эффективного стека не даст вам качественно разыграть карманную пару или одномастные коннекторы. Собрав комбинацию, такую, как сет или флеш, вы не получите больше прибыли, чем 100ББ. Именно поэтому стек оппонента имеет существенное значение для стратегии покера. Но вам нужно оценивать не только размер эффективного стека, но и стек всех участников за столом. Допустим, вы разыгрываете сильную руку без вероятности улучшения, поэтому вам потребуется рассчитать количество фишек для выигрыша или решить, стоит ли вкладываться в пот.
Эффективный стек в покере позволит вам рассчитать величину ставок для каждого раунда, чтобы при необходимости вы могли вложить весь стек в банк (свой или оппонента, в зависимости от того, у кого наименьшее количество фишек). Расчет величины ставок на разных этапах борьбы за пот зачастую становится ключевым в итоге раздачи.
Больше узнать про эффективный стек в покере и важность его расчета вы можете в нашей статье «Как и зачем вычислять эффективный стек?».
Глубокий стек
Понятие стека относится и к кеш-игре, и к турнирному покеру, но в каждой дисциплине его значение разное. Например, для кеш-столов вы самостоятельно выбираете стек, и проиграв все фишки, можете докупить необходимое количество. Различие в сумме стека объясняется тем, что игра проходит на разных лимитах. За кеш-столами лимиты делятся по стоимости блайндов на низкие, средние, высокие.
В турнирном покере вы играете за столом со стеком, который начисляется при регистрации (стартовый стек). Он будет одинаковым для всех участников, кроме турниров с ребаями, где игрок может увеличить количество фишек еще на начальных этапах. По ходу игры ценность стека меняется, так как по истечению установленного времени большой блайнд растет. Например, перед началом турнира стек каждого игрока 100ББ. Если малый и большой блайнды (МБ и ББ) составляют 5/10, то стартовый стек участника составит 1000 фишек (10*100 = 1000). Спустя время МБ и ББ увеличится вдвое до 10/20, соответственно ставки повысятся, и это повлияет на размер стека.
Именно поэтому в разных направлениях покера фишки имеют разную ценность. В кеш – их значение не меняется, в то время в турнире игроки
Выше мы упоминали о том, что от размера стека зависит ход игры. Рассмотрим на примере глубокого типа.
Глубокие стеки в покере – это стеки с количеством 200 и более больших блайндов. В покере также существует выражение «дип стек» (анг. Deep stack). Играя с глубокими стеками, у вас в распоряжении 200ББ. Начиная с 150ББ темп игры становится более размеренным. Игрок может сбрасывать слабые руки, а дождавшись подходящие карты разыгрывать их на всех трех этапах раздачи.
Глубокий стек в покере отличается от игры с другими стеками тем, что у существенно большего числа рук на флопе будут хорошие шансы, поэтому покеристы могут играть более лузово.
Полный стек
В отличие от глубокого стека, полный стек в покере считается «золотой серединой». Он равен 100ББ, но и такое число считается достаточным для того, чтобы вы чувствовали себя уверенно за столом, делали больше мувов, разыгрывая разные комбинации. Когда вы имеете большое число блайндов, вы можете играть спокойнее. Но главное преимущество, которое дает полный стек в Холдеме – это возможность получить больший потенциальный винрейт.
Полный стек в оффлайн и онлайн-покере может быть двух видов:
Учитывая особенности стека, основой стратегии должна стать качественная игра на постфлопе. На ривере ставки становятся более серьезными, и, чтобы не потерять значительную часть своих фишек, важно научиться читать противников и принимать оправданные решения в неоднозначных ситуациях.
Неполный стек в Техасском Холдеме
Чтобы понять какие руки разыгрывать при подобной стратегии, необходимо обратиться к таблице «Чарт стартовых рук». Учитывая позицию за столом и действия других игроков до вас, вы найдете оптимальные решения, которые приблизят вас к выигрышу.
Короткий стек
Оптимальным использование SSS будет за столом, где играет не менее 7 человек. При этом, если больше двух игроков в онлайн покере намерены придерживаться стратегии коротких стеков, ожидание от выигрыша для одного из них существенно понизиться.
Короткий стек в Техасском Холдеме может приносить своему владельцу прибыль в долгосрочной перспективе, однако для этого нужно придерживаться банкролл-менеджмента, согласно которому важно учитывать:
Имея короткий стек в Техасском Холдеме, вы будете играть агрессивно и часто выбирать олл-ин. Большая часть ключевых ходов происходит еще на префлопе, за счет этого вы избегаете сложных моментов на терне и ривере. В стратегии коротких стеков все решения принимаются в пользу пуш\фолда. Уравнивание рейзов маловероятно.
Подведем итог. Стек в покере равен вашим фишкам\деньгам, которые вы используете для игры. Большие стеки в большинстве случаев означают большие банки, а также дают больше свободы для ходов: рейзы, блеф, розыгрыш младших комбинаций. Размер стека определяет стратегию игрока. С неполными или короткими стеками покерист выберет тайтовый стиль – олл-ин на префлопе в надежде вывести соперника из игры.
Как играть в глубоких стеках: рекомендации, приёмы и подстройки
Если игра в глубоких стеках (150 бб+) вызывает у вас тревогу или заставляет суетиться, то эта статья облегчит вам жизнь.
Сегодня мы поговорим о:
Что такое игра в глубоких стеках?
Понятие «глубокие стеки» применимо как к кэш-играм, обычно это более 100-150 бб, так и к турнирам, в которых стартовые стеки относительно высоки по сравнению с блайндами и анте. Поэтому эти турниры и называют турнирами с глубокими стеками.
Бет-сайзинг на префлопе
Если говорить об опен-рейзах на префлопе, то ваши сайзинги должны оставаться такими же, как и при игре в 100 бб стеках. Если вы обычно открывались 2,5 бб, то и продолжайте опен-рейзить 2,5 бб. Если же вы привыкли открываться по 4 бб, продолжайте по 4 бб.
Что касается 3-бетов, то в позиции (IP) размеры 3-бетов также тоже должны оставаться прежними. Дело в том, что когда вы находитесь в позиции, у вас будет огромное преимущество на протяжении всей раздачи, потому что вы всегда будете действовать последним. Это означает, что вам не нужно менять сайзинги, потому что вы наоборот хотите, чтобы ваш оппонент заходил на флопы с широким диапазоном в ситуациях с высоким соотношением стека к поту (SPR). В таких условиях ему будет очень трудно играть на постфлопе.
Ваши сайзинги 3-бетов должны быть крупнее, когда вы находитесь без позиции (OOP). Если ваш оппонент со стеком 200 бб открывается, к примеру, 2,5 бб, то 3-бетить 11 бб вместо стандартных 9 бб будет хорошей подстройкой. Вы можете повышать сайзинг еще больше в зависимости от того, насколько глубоко вы оба находитесь.
Те же самые принципы и корректировки применимы и к 4-бетам. Вам хочется немного увеличить сайзинги, когда вы находитесь без позиции, и сохранить его прежними, когда вы играете в позиции.
Диапазоны 3-бета
Когда вы 3-бетите без позиции, вам необходимо сделать следующие подстройки в рейнджах 3-бета:
Во-первых, имеет смысл больше поляризовать ваш диапазон, поскольку вы используете больший сайзинг 3-бета, и вам хотелось бы избежать попадания в супер-крупные банки с вашими средними руками.
Вы также должны 3-бетить больше одномастных коннекторов, чтобы улучшить покрытие досок для вашего диапазона. Это существенно облегчит вам жизнь на ран-аутах, которые неблагоприятны для вашего обычного диапазона 3-бета. Вы не хотите, чтобы вас заставляли колл-даунить 200 бб на ривере с одной лишь оверпарой, потому что это был бы топ вашего диапазона на доске :6d:5c:2s:td:3c. 3-беты с одномастными коннекторами станут логичной подстройкой в данной ситуации, позволяющей избежать подобных проблем.
Одномастные тузы остаются такими же, если не еще более ценными, руками, потому что они могут выигрывать очень большие банки в ситуациях флеш против флеша. Поэтому вы должны с радостью продолжать с ними 3-бетить.
Примечание: Согласно солверу PokerSnowie, вы можете использовать один и тот же диапазон 3-бета, что в 100 бб стеках, что в 300+. Глубина стеков не имеет большого значения в решениях PokerSnowie для префлопа. Однако с точки зрения живого игрока вам все же, вероятно, будет проще чуть приподнять сайзинги, чтобы избегать ошибок в трудных спотах.
Диапазоны 4-бета
Когда дело касается диапазонов 4-бета, то вам не нужно рейзить лайтово на велью. Это касается как игры в позиции, так и без, но по разным причинам.
Когда вы сталкиваетесь с 3-бетом в позиции, вы должны быть рады чаще коллировать, так как это поставит вашего оппонента в трудное положение на постфлопе (игра без позиции в высоком SPR). Таким образом, флэт-коллы с премиумными руками хуже КК-АА, АК будут уместны.
Когда же вы сталкиваетесь с 3-бетом без позиции, вы хотите минимизировать свой недостаток позиции и защитить диапазон. Таким образом, флэт-коллы с премиумными руками хуже КК-АА, АК тоже будут лучшим решением.
Также можно найти и аргументы в пользу коллов с AA и KK, в зависимости от того, насколько глубоко вы на самом деле находитесь и насколько агрессивно ваш оппонент будет играть на постфлопе. У вас будет меньше мотивации 4-бетить с АА и КК по мере увеличения глубины стеков и против агрессивных игроков, которые будут сами готовы заливать на постфлопе.
Стратегия на постфлопе
Самые главные аджасты на постфлопе касаются игры в 3-бет потах, когда вы являетесь префлоп-агрессором без позиции. Это одна из самых важных дип-стек корректировок, потому что именно здесь происходят наибольшее изменение в SPR.
Поскольку вы намного глубже сидите в этих потах, вам нужно использовать немного более оборонительную стратегию. Это означает, что вам придется чаще чекать и коллить, и меньше бетить и чек-рейзить. Это будет особенно ценная корректировка против агрессивных оппонентов, которые будут безжалостно атаковать ваши предположительно капнутые диапазоны.
В других спотах на постфлопе, таких как 4-бет или 3-бет поты в позиции в качестве префлоп-агрессора, ваша стратегия в принципе не должна сильно меняться.
Игра в дип-стеках может быть как сложной, так и простой, в зависимости от того, насколько хорошо вы зааджаститлись на префлопе и постфлопе. Следуя рекомендациям, описанным в этой статье, вы сможете уверенно справляться с глубокими стеками и ставить своих оппонентов в более неудобные ситуации.
Как играть с глубокими стеками?
Глубина стеков – один из важнейших факторов, влияющих на выбор стратегии при игре за кэш-столами или в турнирах. Действия, в зависимости от того, осталось у вас 20 или 200 больших блайндов, в одинаковых ситуациях будут совершенно разными. Это понимают даже новички в покере. Но как правильно играть с глубокими стеками – для многих не до конца ясно.
В этой статье мы разберем особенности игры с дип-стеками и дадим советы, как быстро не растерять гору фишек, когда вам удалось ее набрать.
Особенности игры с глубокими стеками
Глубоким можно считать стек, состоящий из 200 и более больших блайндов. Такое количество оказывает большое влияние на ход игры. Игроки могут позволить себе чаще заходить в банк, более активно играть постфлоп. Появляется возможность делать ставки на каждой улице без необходимости выставления олл-ин.
Игра с глубокими стеками дает больше опций, а также возможность больше выиграть в одной раздаче. Но при этом и цена ошибки выше. Поэтому в кэш игре максимально возможную закупку делают в основном опытные игроки, которые уверены в своих силах. Так у них появляется больше пространства для маневров.
Чем глубже стек, тем больше преимущество сильных игроков над слабыми.
Новички, наоборот, любят играть с короткими стеками. Так они снижают риск много проиграть за раз, уменьшают для себя количество сложных решений на постфлопе.
Раньше пользовалась популярностью стратегия шорт-стеков, когда игроки закупались на 20 ББ и играли преимущественно через пуш-фолд префлоп. Такая стратегия была легка в освоении, и с ней можно было легко побить микролимиты, просто запомнив, с чем и в какой позиции можно пойти олл-ин. Теперь же большинство покер-румов повысило минимальный лимит на закупку, и эта тактика уже не так актуальна.
Важность позиции повышается при игре с глубокими стеками.
Представьте, что вы вне позиции, после крутого экшена на предыдущих улицах, оппонент ставит 150 ББ на терне. При этом, у вас обоих, после колла, остается еще по 300 ББ. Не зная, как поступит соперник на ривере, вы окажетесь перед очень сложным решением.
Наличие позиции все сильно облегчает. За вами остается последнее слово, вы всегда видите, как поступит оппонент, и сможете решить, что делать в ответ на его действия.
Глубокие стеки меняют силу рук.
С 20 ББ рука вроде AJ очень сильна. Если вы поймаете совпадение на флопе, оппонент, скорее всего, заколлирует ваши ставки с худшими руками. Даже если он позади, из-за вашего небольшого стека, много он не потеряет.
С глубокими стеками все играют аккуратнее. Топ-пара уже не выглядит, как натс, и вы не захотите рисковать огромным стеком в 300 ББ с AJ на доске с тузом, так как у кого-то может быть сет или две пары. Выставиться с парой в такой ситуации будет большой ошибкой.
Топ-пара в глубоких стеках
Хотя топ-пары в дип-стеках теряют силу, это не значит, что нужно выбрасывать их при первой возможности. Просто разыгрывать их нужно аккуратнее, через пот-контроль, и стараясь играть в позиции.
Если ценность топ-пар теряется при больших стеках, логичен вопрос – у каких рук она возрастает? В такой список попадут руки с потенциалом улучшения на флопе, вроде одномастных коннекторов или карманных пар. Они могут усилиться до сетов, стритов, флешей и фулл-хаусов, то есть, комбинаций, с которыми вы захотите разыграть большой банк.
При большой глубине стеков вы сможете выиграть более крупный банк, соответственно, предполагаемые шансы банка (имплайд-оддсы) существенно возрастают. Так что рука на баттоне будет более ценной, чем [Аs] на ранней позиции.
Можно сказать, что вышел кулер. Но эта раздача демонстрирует, насколько осторожно нужно играть при больших стеках даже с высокими топ-парами. И насколько опасно заходить под чужие рейзы с руками вроде A9o, которые плохо попадают во флоп и могут легко попасть под доминацию.
Влияние дип-стека на размер ставок
На размер оупен-рейза большая глубина стека влияет не сильно. Если вы обычно рейзите 2.5 ББ при стеке 100 ББ, нет смысла повышать рейзы при стеке 300. А вот размер 3-бетов стоит делать больше. При стандартных тройных ре-рейзах у соперника будут слишком хорошие ожидаемые шансы банка зайти с карманной парой или одномастными коннекторами. Ведь в случае, если он хорошо попадет во флоп, он может выиграть огромный банк.
Игра на постфлопе
С глубокими стеками нужно осторожнее разыгрывать пары, зато более агрессивно играть с сильными дро, которые могут улучшиться до натса. Имплайд-оддсы возрастают. Кроме того, повышается и фолд-эквити оппонента, так как при дип-стеках игроки более охотно расстаются с парами и прочими слабыми руками.
Блеф в кэш-играх с дип-стеками становится более эффективным, особенно, если на кону оказываются все фишки. Даже имея на руках сильные карты, коллировать олл-ин становится рискованнее, так как у соперника может быть натс. Хорошим примером, как глубокие стеки влияют на пост-флоп игру, является эта раздача с телевизионного шоу High Stakes Poker с участием Фила Айви:
Выставляться каждый раз на флопе с оверпарой при такой глубине – все равно, что выбрасывать деньги на ветер. Слишком часто вы окажетесь против сета. И даже если у соперника оказалось бы натсовое флеш-дро, карманные короли все равно не имеют достаточно эквити против такого диапазона.
Еще одна причина, по которой Айви не заколлировал, заключалась в том, что он намного сильнее и опытнее своего соперника. Имея огромное преимущество, лучше ждать подходящей ситуации, чтобы забрать деньги, чем рисковать всем стеком, играя в угадайку.
Эта раздача также демонстрирует, почему в дип-стеках нужно делать более крупные ре-рейзы префлоп. Фил дал сопернику достаточно хорошие шансы банка, чтобы тот зашел даже с такой слабой рукой, как 42s. За что поплатился.
Игра с глубокими стеками в турнире
Дип-стек турниры имеют много общего с кэш-играми. В таком формате начальный стек составляет 100 ББ и более, а блайнды растут медленно, что позволяет наращивать стек, не сильно меняя свою стратегию.
Но и в обычных турнирах на ранних стадиях у всех игроков обычно большой стек. Умение им правильно распорядиться поможет добраться до поздних стадии с минимальными потерями.
Ниже несколько простых рекомендаций, как эффективнее играть с дип-стеком в турнирах:
Быть чип-лидером турнира – приятное чувство. Но не забывайте, что фишки в покере могут очень быстро поменять владельца. Поэтому имея в турнире большой стек, играйте агрессивнее, но не теряйте голову, и не пытайтесь переиграть всех в каждой раздаче.