- В этой теме 429 ответов, 20 участников, последнее обновление 13 лет, 2 месяца назад сделано
.
-
Сообщения
-
NS wrote:
NS
Сейчас приведу доверительный интервал (аналог 3-х сигм — 99.7%)
Для случая жестко заданного процента ничьей (от него мало зависит, но возьмем тот, который случился в матче), и для равномерного распределения рейтинга.Как раз от процента ничьих тут все и зависит.
Доверительный интервал (цифры для слабейшего движка, всё в пунктах Эло):
Интервал 0.1 пункта Эло — расчет со всеми знаками после запятой (язык позволяет), Проценты по таблице Эло округлены до трех знаков после запятой (например 51.001)
Мат. Ожидание -15.6
Сигма 3.75
Доверительный интервал 99.7% [-26.0,-4.2]
(интервал считался не через сигму, а через распределение с минимизацие размера)
Так что предыдущая версия точно (99.7%
) слабее.
Но разнице в силе может быть весьма мала.NS
Я так и не понял, что ты этой таблицей хотел сказать.У нас была задача определить явл. ли победивший движок более сильным. Тогда можно твой подход применить так:
Предполагаем крайний случай, т.е. что они равны. И проверяем насколько вероятно, что между двумя равными движками случится такой результат в пользу первого. Если это маловероятно, то значит первый движок сильнее.При вероятностях 58/922, 806/922,58/922 —
437.0 0.000% 0.001% 100.000%
437.5 0.000% 0.001% 99.999%
438.0 0.000% 0.001% 99.999%
438.5 0.001% 0.002% 99.999%
439.0 0.001% 0.003% 99.998%
439.5 0.001% 0.004% 99.997%
440.0 0.002% 0.006% 99.996%
440.5 0.003% 0.009% 99.994%
441.0 0.004% 0.013% 99.991%
441.5 0.005% 0.018% 99.987%
442.0 0.007% 0.025% 99.982%
442.5 0.010% 0.036% 99.975%
443.0 0.014% 0.050% 99.964%
443.5 0.019% 0.069% 99.950%
444.0 0.026% 0.095% 99.931%
444.5 0.034% 0.129% 99.905%
445.0 0.045% 0.174% 99.871%
445.5 0.059% 0.233% 99.826%
446.0 0.077% 0.310% 99.767%
446.5 0.099% 0.409% 99.690%
447.0 0.126% 0.535% 99.591%
447.5 0.160% 0.695% 99.465%
448.0 0.201% 0.896% 99.305%
448.5 0.250% 1.147% 99.104%
449.0 0.309% 1.456% 98.853%
449.5 0.379% 1.835% 98.544%
450.0 0.459% 2.294% 98.165%
450.5 0.553% 2.847% 97.706%
451.0 0.660% 3.507% 97.153%
451.5 0.780% 4.287% 96.493%
452.0 0.915% 5.202% 95.713%
452.5 1.064% 6.267% 94.798%
453.0 1.227% 7.494% 93.733%
453.5 1.403% 8.897% 92.506%
454.0 1.590% 10.487% 91.103%
454.5 1.786% 12.273% 89.513%
455.0 1.990% 14.263% 87.727%
455.5 2.198% 16.461% 85.737%
456.0 2.406% 18.867% 83.539%
456.5 2.612% 21.479% 81.133%
457.0 2.811% 24.290% 78.521%
457.5 2.999% 27.289% 75.710%
458.0 3.173% 30.462% 72.711%
458.5 3.327% 33.789% 69.538%
459.0 3.459% 37.248% 66.211%
459.5 3.565% 40.813% 62.752%
460.0 3.643% 44.456% 59.187%
460.5 3.691% 48.147% 55.544%
461.0 3.707% 51.853% 51.853%
461.5 3.691% 55.544% 48.147%
462.0 3.643% 59.187% 44.456%
462.5 3.565% 62.752% 40.813%
463.0 3.459% 66.211% 37.248%
463.5 3.327% 69.538% 33.789%
464.0 3.173% 72.711% 30.462%
464.5 2.999% 75.710% 27.289%
465.0 2.811% 78.521% 24.290%
465.5 2.612% 81.133% 21.479%
466.0 2.406% 83.539% 18.867%
466.5 2.198% 85.737% 16.461%
467.0 1.990% 87.727% 14.263%
467.5 1.786% 89.513% 12.273%
468.0 1.590% 91.103% 10.487%
468.5 1.403% 92.506% 8.897%
469.0 1.227% 93.733% 7.494%
469.5 1.064% 94.798% 6.267%
470.0 0.915% 95.713% 5.202%
470.5 0.780% 96.493% 4.287%
471.0 0.660% 97.153% 3.507%
471.5 0.553% 97.706% 2.847%
472.0 0.459% 98.165% 2.294%
472.5 0.379% 98.544% 1.835%
473.0 0.309% 98.853% 1.456%
473.5 0.250% 99.104% 1.147%
474.0 0.201% 99.305% 0.896%
474.5 0.160% 99.465% 0.695%
475.0 0.126% 99.591% 0.535%
475.5 0.099% 99.690% 0.409%
476.0 0.077% 99.767% 0.310%
476.5 0.059% 99.826% 0.233%
477.0 0.045% 99.871% 0.174%
477.5 0.034% 99.905% 0.129%
478.0 0.026% 99.931% 0.095%
478.5 0.019% 99.950% 0.069%
479.0 0.014% 99.964% 0.050%
479.5 0.010% 99.975% 0.036%
480.0 0.007% 99.982% 0.025%
480.5 0.005% 99.987% 0.018%
481.0 0.004% 99.991% 0.013%
481.5 0.003% 99.994% 0.009%
482.0 0.002% 99.996% 0.006%
482.5 0.001% 99.997% 0.004%
483.0 0.001% 99.998% 0.003%
483.5 0.001% 99.999% 0.002%
484.0 0.000% 99.999% 0.001%
484.5 0.000% 99.999% 0.001%
485.0 0.000% 100.000% 0.001%Вероятность набрать 482 очка и более — 0.006%
Так что можно сказать что играет сильнее с вероятностью 99.994%Короче понятно, что как раз с точки зрения статистики — новая версия очень убедительно играет сильнее….
Но разнице в силе может быть весьма мала.
Это из-за того, что даже идеальная программа будет не намного сильнее. Все дело в том, что в шашках ошибиться не так уж и просто.
В режиме Каллисто2-Каллисто2 результативность (проигрыш-выигрыш) колеблется от 5% до 10%. Если грубо, каждая 15-ая партия.
Если предположить, чтоошибочный ход делается на 8-10 ходе, получается, что примерно каждый 300 ход ошибочный. (Речь идет о дебюте).
Игорь, как у Вас программа ловит одинокую дамку тремя, перебором или зная принцип игры в этом окончании?Игорь, извините за назойливость, опять вопрос по ЭБ6 и ЭБ5.
Некоторое время тому назад я сгенерировал базу 6-ки и на некоторых слабых компьютерах пользуюсь базой 5-ки, убрав 6-ти фигурные окончания. Сегодня любопытства ради, решил сгенерировать 5-ку, и обнаружил разницу в базах! Базы 2-4 не отличаются, отличия на уровне 5-ки. Вот список различных файлов:
50014,50041,50113,50212,50311,50410,51004,51103,51202,51301,51400.
Где-то уже писалось, что создание ЭБ — детерминированный процесс, и, следовательно, базы не должны различаться. В чем же дело?
Различия содержимого в файлах (file compare) от одного байта до 1 kb, а размеры баз полностью совпадают.Они не могут отличаться, если генерировались одной и той же программой.
Попробуйте еще раз сгенерировать и посмотрите, что получится.
Можете прислать мне по почте две версии 50014?Да, конечно, сейчас вышлю. Возможно, первый раз я генерировал базу при помощи KallistoEdGen.exe входящего в состав Авроры, а сегодня при помощи KallistoEdGen.exe входящего в состав Каллисто. Но, сравнив эти две версии убедился, что они идентичны (file compare /b).
Сравнение файлов 50014.ed и E:KALLISTO2EDKALLISTOVER150014.ED
00002358: A9 AA
00003847: 9A AA
000072E2: 86 82
000076B1: 9A AA
00008B09: 6A AA
0000AF4F: 06 0A
0000C43E: 40 80
0000C781: 9A AA
0000D74C: 6A AA
0000DBA8: A9 AA
0000EC3C: 86 8A
000102A8: 6A AA
00010F64: 55 15
00010F65: 55 45
00010F68: 15 11
00010F69: 85 81
00011701: A9 AA
000124E3: 41 00
00012AA6: A6 AA
00013EFE: 9A AA
00015378: 6A AA
00016344: 05 04
0001679F: A6 AA
00017833: 9A AA
00017B76: A6 AA
00018F9C: 6A AA
0001B69D: 5A 6A
0001CAF5: 62 22
0002076D: 5A 6A
00021B94: A9 AAФайлы выслал на igorkorshunov@yandex.ru
Повторная перегенерация (третья по счету) дает полное совпадение с только что сгенерированной (второй по счету).
Следовательно мартовская генерация была сбойной? Там генерировал в режиме 6-ки.Я нашел версию которой генерировал в марте, действительно, она сильно отличается содержимым, несмотря на совпадение размеров с текущей версией KallistoEdGen.exe. Распространялась та версия вместе с Авророй, с которой и увидела свет «самостоятельная» Каллисто.
Та версия от 01 марта 2006 г.Вспомнил!
В старом генераторе ходов была ошибка. Поэтому базы немного отличаются. Но отличия только на исключительных позициях. Это могло проявляться только в одной партии из 300.Лучше сгенерировать базы заново новым генератором (тот что был на моем сайте, а не тот что с мартовской Авророй).
Понятно. Тогда несколько вопросов.
Значит, если наиграно около 9000 партий, то примерно 30 из них могут быть некорректными? Или результаты всех этих партий теперь недостоверные? 😉
Шестифигурные окончания тоже могут различаться?
Какие это исключительные позиции? Судя по большому различию баз например в окончании 50311 (это одно из наиболее часто встречающихся игровых окончаний, как я понимаю — либо 3 простые против дамки и простой, либо три дамки против дамки и простой), результаты всех 9000 партий придется поставить под сомнение.
- Для ответа в этой теме необходимо авторизоваться.