- В этой теме 567 ответов, 20 участников, последнее обновление 16 лет, 10 месяцев назад сделано
.
-
Сообщения
-
То есть простейший пример.
Личный матч двух программ Программа1 и Программа2.
Результат:
Программа1 75/100 75%
Программа2 25/100 25%
Система Эло говорит о том что разница в силе 200 пунктов Эло.Если считать через результат — То программа1 показала результат +200 пунктов, программа2 показала результат -200 пунктов. Разница 400 пунктов. Расчет через «средний рейтинг» ошибся в два раза, правильное значение 400/2 = 200 пунктов Эло.
При увеличении числа соперников в турнире — завышение разницы уменьшается.
Провел небольшой турнирчик,чтобы разобраться с силой игры движков.Движки играли друг с другом с заданным первым ходом белых.Таких ходов как известно-7.Регламент 2мин.+2сек.
Движок Корнилова,к сожалению оказался слишком слаб.И был исключен.Подкорректировал.Взял другой коэф.
Это больше похоже на правду, но всё-равно значения разницы завышны. Разница между Каллисто3 и Skifi0.03 должна быть около 200 пунктов Эло. Нужно коэффициент еще уменьшить, а лучше пользоваться «правильными программами» считающими методом наибольшего правдоподобия. Тогда задается только средний рейтинг.
Пример такой программы —
http://kasparovchess.crestbook.com/viewtopic.php?id=1257В шашках ориентировочно принята следующая градация:
2250 — 1 р-д
2350 — кмс
2450 — мс
2550 — гр
Так что смело ставьте вступительный рейт в 2350.Нашел все-таки я свои записи:
dK=10*(P-E) — это изменение рейтинга
P — показанный рез-тат в очках
E — ожидаемый рез-тат в очках
В матчах и по швейцарке — E=M*Pe
M — число соперников
Pe — ожидаемый % очков по таблице ЭЛО
Для турниров по круговой системе:
E=H*Pe-0.5
H — число всех участников турнираПрименительно к проведенному турниру:
Каллисто3 набрала 57.5 очков из ожидавшихся 42.
dK=10*(57.5-42)=155
т.е. ее рейт вырос на 155 пунктов!
Скифи003 набрала 27 очков
dK=10*(27-42)=-150
т.е. потеряла 150 пунктов рейта.
Разница в рейте после турнира м/у Каллисто3 и Скифи составляет 305 пунктов.
Конечно расчеты неправильные, поскольку турнир был многокруговым. 😉Предложенная доктором Эло формула пересчета после каждой партии/турнира работает Только до определенного количества партий.
В случае Коэффициента пересчета 10 — не больше 50 партий каждого участника. И это не просто примерная формула — она ужасна, она не годна даже в качестве прикидки для первого приближения…Согласен, правильнее считать рейт после каждого круга. Тогда разность в рейте нивелирует большую разницу в очках. Но кто так делает? Если не ошибаюсь, рейт в шашках считается один раз в год!
Knew=Kold+(dK1+dK2+…+dKn)
где dKn — рез-таты выступления в соревнованиях за определенный период.Две разные вещи — предложенный в 50-ых — 60-ых годах примерный способ подсчета рейтингов (Сам Эло считал, что при коэффициенте 10 она работает в турнирах до 20-ти партий каждого участника)
И современные точные методы расчета.Рейтинг ПО ГОДУ не считается никогда — идет пресчет после каждого турнира, если посчитать по году, и допустим каждый сыграл по 200 партий — то погрешность будет просто чудовищная.
В случае матча из 200 партий, при перевесе в 200 пунктов будет показан перевес в 1000 пунктов. То есть формула ошибется в 5 раз, и она никогда не будет сходтся к правильному результату.
Из более точных методов простейший — через набранный процент очков, но необходима корректировка на количество участников.
По этому методу без корректировки разница 265 пунктов, реальная разница (с корректирвкой) около 200.
Завтра смогу посчитать точно (методом максимального правдоподобия), с подсчетом доверительных интервалов.
По Авроре:
Турнирная версия с Каллисто 2 набирала
46,5% (+5-12=83) по 1 минуте + 0.5 на ход
это версия с шаблонами и несжатой ЭБ5.После турнира отключил шаблоны и подключил сжатую ЭБ5 получилось
38,5% (+3-26=71), уже с Каллисто 3.Пока шаблоны я забросил, попробую максимально все выжать из того что осталось.
Лучший вариант модификации алгоритма (поиск уточненного PV) дал
40,5% (+3-22=75)
без ЭБ
35% (+3-33=64), то есть ЭБ5 дало +42 пункта.Что интересно — на варианте поиска неуточненного PV версия с ЭБ5 даже набрала на 1,5% меньше.
Дальше — давно хотел сравнить результаты разницы в скорости, для этого запустил матчи где у Авроры было больше времени чем у Каллисто 3 (вариант уточненного PV как лучшего алгоритма из используемых):
1:1 40,5% (+3-22=75)
2:1 39,5% (+2-23=75)
4:1 40% (+4-24=72)
8:1 42% (+5-21=74)То есть при увеличении времени (скорости) в 2 и даже 4 раза клинически значимого результата в моем случае не получено.
Интересно было бы посмотреть какая разница между сжатыми и несжатыми ЭБ — Игорь утверждал что сжатые ЭБ намного хуже — но ту версию я уже прибил и заново переделывать лень.
По движкам посмотрел записи, когда я их сравнивал получил следующие результаты (усредненно по матчам):
Каллисто 2 ЭБ6 — 2600 (это бралось как основа, так как такой TPR был у Каллисто в турнире среди людей по 3 мин.) ЭБ5..ЭБ0 показывали в среднем всего на 5-10 пунктов меньше.
Каллисто 1 — 2460
Kestog 1.2 — 2425
MiuMiu — 2437
Sidra — 1885Ну вот, 2600 уровень гросса.
Жаль, что Игорь не сжимает базы. Любопытно было бы проверить Каллисто3(сжатые ЭБ6)-Каллисто3(несжатые ЭБ6).Я уже вроде писал, что сжатые базы на N шашек по силе игры примерно то же, что и несжатые на N — 1 шашек.
AlexanderS wrote:То есть при увеличении времени (скорости) в 2 и даже 4 раза клинически значимого результата в моем случае не получено.Результаты 100 партий не должны восприниматься слишком серьезно.
Но все равно видно, что значимость скорости не такая уж и существенная.
Интересно было бы провести одной и той же Каллисто с разными контролями времени. Тут уже ситуация должна быть другой.И еще было бы интересно попробовать Аврору под оболочкой Каллисто. Можно будет сопоставить как движки играют под разными оболочками.
Я видел одну позицию где под Авророй Каллисто считала не так как под родной оболочкой. Но так до сих пор и не удалось вникнуть в чем причина.Ну вот, 2600 уровень гросса.
Точнее 2597, и по 10 минут а не по 3, я ошибся.
Уточненный PV…
Имеются в виду доп. продления в PV ветвях, и удлинения в PV на последних Ply и в ФВ?Не совсем. Ну ФВ это само собой разумеется.
Просто когда я сделал вывод PV сразу стало понятно что статическая оценка в позициях на концах варианта часто не соответствует динамической, так что все последние полуходы в PV дополнительно уточняются на 7 п/х, кроме того в хэше информация по этим позициям фиксируется, то есть не может быть перезаписана какой-то другой. Для игры это не так уж важно (хотя судя по всему плюс небольшой дает), а для анализа полезная вещь — по-первых PV выдается более реальный, а во-вторых если Вы будете двигать варианты на доске то ключевые моменты анализа сохраняются и при возвращении назад к исходной позиции вариант каждый раз будет точнее. (Ну, теоретически во всяком случае
Аврору я в принципе могу конечно сделать под KallistoGUI, но смысла в этом мне никакого. Я и так к Авроре могу подключить любой движок и прогнать матч, хотя кроме Каллисто играть и не с кем… Вот если Игорь сделал бы в шашки такой же интерфейс как и в шахматы, где можно один движок сразу с несколькими сравнить, то это было бы интереснее — как какие-то изменения отражаются не только на игре с более сильным соперником, но и с более слабыми.
- Для ответа в этой теме необходимо авторизоваться.