Testování dlouhých samomatů z WinChloe databáze Testing of long selfmates from the WinChloe database

Testování dlouhých samomatů z WinChloe databáze Testing of long selfmates from the WinChloe database (Václav Kotěšovec, 13.7.2009, updated 13.9.2009) My computer tested a total of 430 selfmates from the WinChloe database (200 in 8 moves and 230 in 9 moves). This took over 3000 hours of computer time (on a dual-core processor the elapsed time was only 1500 hours). For testing I used Alybadix. The program found cooks in 23% of the problems tested. Only 28% of the problems were not testable because of the considerable time that would have been needed. In the article, I describe the methods used for estimating the time for testing and for selecting testable problems. I also classify the cooks by number of pieces and date of publication. The tables and graphs are self-explanatory. All the cooks have already been entered back into the WinChloe database. For this article, I have selected some previously unpublished cooks in honoured problems. Databáze WinChloe (jejímž autorem a neúnavným správcem je Christian Poisson) je v současné době nejhodnotnější i nejrozsáhlejší světová databáze šachových úloh. Obsahuje přes 300000 úloh a přispívá do ní řada nadšenců z celého světa. Současný stav je takový, že z těchto úloh je přes 85% korektních (C+), v asi 7% byly nalezeny nekorektnosti (C-) a pouze něco přes 6% (tedy asi jen 20000 skladeb) nebylo počítačem testováno (C?). Důvody proč nebylo možné tento zbytek úloh testovat jsou různé. Samostatné skupiny tvoří studie (kterých je ve WinChloe přes 10000) a retroúlohy (odhadem asi 3000). Další skupinu tvoří exoúlohy, u kterých pro příslušnou výzvu, podmínku nebo exokámen, zatím neexistuje program. Tou nejzajímavější skupinou jsou skladby potenciálně testovatelné, jejichž přezkoušení však vyžaduje velké množství počítačového času. Již několik let systematicky testuji úlohy z WinChloe databáze (označené zde jako C? ) a snažím se doplněním těchto informací tuto databázi zkvalitnit (jedním z výsledků je třeba to, že všechny pomocné maty ortodoxní jsou přezkoušené!). Samotný program WinChloe je sice skvělý databázový, ale bohužel pro řešení složitějších úloh je příliš pomalý. Proto používám téměř výhradně Alybadix (který je na řešení zejména přímých úloh a samomatů až 30x rychlejší). Celkem jsem v letech 2001-2009 testoval přes 5000 úloh (přitom počítám jen úlohy těžké, netestovatelné přímo v prostředí WinChloe) a objevil asi 600 nekorektností (vedlejších řešení, duálů a neřešitelností). Některé z nich sice byly již nalezeny a publikovány spolu s řešením v originálních časopisech, jen nebyly uvedeny ve WinChloe databázi, objevil jsem však také řadu nekorektností nových, dosud nikde nepublikovaných! Stejnou (ne-li větší) hodnotu ale mají i nová označení C+ u dříve netestovatelných úloh, to těmto úlohám dává nový kvalitativní certifikát. V tomto článku se zabývám skupinou samomatů 8. a 9. tahem, které jsem testoval v posledních týdnech. Využil jsem tak hlavně čas během dovolené, kdy počítač v Praze testoval úlohy aniž by mě to nějak blokovalo v práci. Na dvojjádrovém procesoru se 4 GB RAM se dají spustit 2 Alybadixy paralelně, což zkrátí skutečný čas řešení na polovinu. Testoval jsem celkem 200 samomatů 8. tahem (s#8) a 230 samomatů 9. tahem (s#9), tedy celkem 430 úloh. Celková doba testování byla přes 3000 hodin strojového času (na 2-jádrovém procesoru 1500 hodin). Výsledky jsou shrnuty v následující tabulce. Odtud vyplývá, že kompletní test byl možný v případě 72% úloh. Jak se dalo očekávat, samomatů 8. tahem šlo testovat o něco více (79%) než samomatů 9. tahem

(66%). Počet nalezených nekorektností se pohybuje kolem 20%, tedy v průměru je každý pátý samomat této délky nekorektní (zajímavé je ještě to, že v tomto směru dopadly s#9 o něco lépe než s#8). total problems s#8 200 s#9 230 total 430 C+ C- C? 104 54 42 52,0% 27,0% 21,0% 105 47 78 45,6% 20,4% 33,9% 209 101 120 48,6% 23,4% 27,9% total testable average time for C+ problems 79,0% 5½ hours 66,1% 22 hours 72,1% Metodika testování Je třeba si uvědomit, že průměrný čas řešení jedné úlohy (5½ hodiny pro s#8 a 22 hodin pro s#9) je opravdu jen statistický průměr, který má obrovský rozptyl a skutečný čas řešení úlohy (i to jestli bude vůbec testovatelná) lze jen z diagramu (pohledem na pozici) velmi špatně odhadnout. Potřebný čas se pohybuje od několika minut do tisíců hodin (a to třeba i u úloh se shodným počtem kamenů). Average time for testing of s#8 and s#9 has huge volatility. Before sequential testing of many problems is necessary estimate solving time of each problem and select only testable problems. Pokud by si někdo vyexportoval třeba 100 úloh a bez další analýzy na ně rovnou spustil (sekvenčně) řešení, dopadne špatně. Program by se zacyklil na některé z netestovatelných úloh (určitě by to byla jedna z prvních deseti) a po návratu z dovolené by zjistil, že zbylých 90 úloh se vůbec neřešilo a 200 hodin se vyplýtvalo na jedné úloze, kterou stejně nebude možné kompletně přezkoušet. Spuštění řešení velké série úloh proto vyžaduje určitou přípravu a je nutné udělat časové odhady doby řešení jednotlivých skladeb. Nejlepší možný odhad času řešení jsem popsal v knize Mezi šachovnicí a počítačem (Between chessboard and computer) (1996) na str. 287 v kapitole Odhady časů řešení extrapolace podle průběhu, kde při odhadu času řešení úlohy n-tým tahem, vycházím z předtím naměřených časů T n-2 a T n-1 pro úlohy n-2, resp. n-1 tahem a odhadovaný čas pro úlohu n-tým tahem je potom T n ~ T n-1 * (T n-1 / T n-2 ) Tento odhad je velmi přesný a běžné jej dělám pro každou těžší úlohu, než se pustím do jejího kompletního testování (extrapolaci lze navíc rozšířit i do více úrovní). Pokud je ale těchto úloh několik stovek (jako v popisovaném případě), může to být poměrně pracné. Zkusil jsem proto jinou metodu odhadu, když jsem nejprve všechny s#8 a s#9 vyřešil jako s#6 (udělat si pracovní kopii řešených pozic a editorem zaměnit jedním příkazem všude počet tahů, je práce na 1 minutu). Odhad jsem pak dělal na základě času pro s#6. Tento odhad sice není tak přesný jako výše popsaná metoda, ale je použitelný. V prvním přiblížení jsem vybral k dalšímu testovaní jen takové s#8, kde s#6 trval maximálně 3 minuty a takové s#9, kde s#6 trval maximálně 1 minutu. Naopak pokud s#6 trval nad 5 minut, pravděpodobně nebude s#8 už (v rozumném čase) testovatelný a stejně tak nepůjde testovat s#9, pokud s#6 trval déle než 2 minuty. Po provedení odhadů vyloučím úlohy, jejichž odhadovaný čas řešení přesahuje zvolenou mez (třeba nad 10 hodin pro jednu úlohu) nebo si úlohy roztřídím do několika skupin: snadné (do 1 hodiny), středně těžké (do 10 hodin), velmi těžké (ale ještě testovatelné, např. do 100 hodin) a netestovatelné (nad 100 hodin) a řeším je pak podle těchto skupin.

Time s#9 in [h] Time s#8 in [h] Zde jsou grafy jak se v závislosti na času pro s#6 pohyboval finální čas pro s#8, resp. s#9. 16 s#8 = f(s#6) 14 12 10 8 6 4 2 0 0 20 40 60 80 100 120 140 160 180 Time s#6 in [s] Good estimate before testing of long selfmates. Selfmate in 8 moves is probably fully testable if time for testing of s#6 is less than 3 minutes. Zatímco závislost času řešení s#8 na času s#6 je poměrně stabilní (a má zhruba kvadratický trend), vidíme že závislost času s#9 na s#6 už má velkou volatilitu. Přesto i zde je určitý odhad možný. 200 s#9 = f(s#6) 180 160 140 120 100 80 60 40 20 0 0 20 40 60 80 100 120 Time s#6 in [s] Selfmate in 9 moves is probably fully testable if time for testing of s#6 is less than 1 minute.

time in hours time in hours Pro zajímavost jsem se ze získaných výsledků snažil ještě zjistit, jestli existuje nějaká závislost mezi časem řešení a počtem kamenů (grafy jsou pro časy řešení s#8). 16 14 12 16 14 12 10 10 8 8 6 6 4 4 2 2 0 0 5 10 15 0 0 5 10 15 number of white pieces number of black pieces Relation between number of white pieces and necessary time for testing exists, but correlation is only small. Relation between number of black pieces and necessary time not exists, trend is rather inverse (with more black pieces has Black stronger play and necessary time for solving of selfmate can be shorter). Jak vidíme na grafu vlevo, určitá závislost typu: čím více bílých kamenů, tím delší čas řešení, existuje, i když je nevýrazná. Trochu větší závislost by se dala očekávat, pokud by se místo počtu bílých kamenů uvažoval počet možných tahů bílého. Na grafu vpravo je naopak vidět, že se v případě černých kamenů se silným černým materiálem (a tím odpovídající protihrou) čas řešení spíše zkracuje. Obecně platí, že pro počítač jsou nejtěžší samomaty tempové, kde černý nemá žádnou aktivní protihru (např. když má černý jen pěšce). Naopak samomaty hrozbové nebo takové, kde bílý musí ke zvládnutí pozice (když má černý např. dámu) pouze šachovat, nevyžadují tolik počítačového času. Poznámka: Všechny časy platí pro kompletní řešení úlohy. V případě vedlejších řešení (někdy dokonce i v kratším počtu tahů) je možno řešení přerušit po nalezení nekorektnosti a neplýtvat pak zbytečně strojovým časem. Takové skladby jsem do statistik podle času nezahrnoval.

Speciality Alybadixu Alybadix special options Zdálo by se, že u úloh, jejichž odhad řešení vychází nad 1000 hodin, nemáme šanci. Ano, kompletní test takových skladeb není možný. Ale je možné za série doplňujících podmínek ověřit řešení úlohy, případně najít velmi efektivně nekorektnosti. Autor Alybadixu Ilkka Blom přišel před lety s ohromnou myšlenkou, použitelnou primárně na hledání autorských řešení v samomatech. Zkoumejme jen takové tahy bílého, po kterých bude mít černý maximálně 1 legální tah! Autorská řešení dlouhých jednovariantových samomatů opravdu takový charakter mají. Nebo obecněji, zkoumejme jen takové tahy bílého, po kterých bude mít černý maximálně k legálních tahů. Tento mód se v Alybadixu označuje jako Yk, speciálně Y1. Výsledky použití tohoto parametru předčily očekávání. Nejenže se najde autorské řešení v dlouhých samomatech někdy během pár vteřin, ale velmi často se najde rychle i vedlejší řešení. Samozřejmě ale, pokud úloha tímto testem projde, nelze ji označit jako C+, jen se zvýší pravděpodobnost korektnosti. Podobný režim částečného testování nalezneme i v programu Popeye (option NonTrivial m n, NonTrivial 0 1 odpovídá Y1 v Alybadixu), v Alybadixu je však tento systém dopracován k dokonalosti. Parametr Y je možné kombinovat ještě s parametrem Z. Např. Z23 znamená, že hodnota uvedená v Y smí být překročena nejvýše dvakrát a to maximálně o 3 tahy. For example Z23 means that the Y-value can be exceeded 2 times by max 3 moves. Tento režim (který na moje přání Ilkka Blom doprogramoval do Alybadixu v roce 2002) je vhodný např. pro testování samomatů se 2 variantami, kdy k větvení dochází jen v prvním tahu černého a další postup v obou větvích řešení je už jednovariantový a kdy by použití Y2 neúměrně prodloužilo čas testování (v takovém případě je nejvhodnější kombinace parametrů pro testování Y1 / Z11). Vhodným nastavením parametrů pro konkrétní úlohu je tak možné snadno rozbíjet dlouhé samomaty ve velmi krátkých časech, tento postup však nelze zcela zautomatizovat a vyžaduje interaktivní přístup přezkušovatele a výsledky se obvykle dostaví až po získání určitých zkušeností. Než jsem se pustil do plného testování výše popsané série 430 samomatů 8. a 9. tahem, spustil jsem ještě řešení všech úloh tentokrát v plné délce, ale s parametrem Y1 (a to i na ty úlohy, u kterých odhad času pomocí řešení s#6, vyloučil možnost kompletního testu). V této fázi se našlo celkem 59 nekorektních úloh, což představuje neuvěřitelných 58% ze všech (později) nalezených nekorektností. Tak velká je síla Y1! všech C- z toho nalezeno pomocí Y1 s#8 54 30 55,5% s#9 47 29 61,7% celkem / total 101 59 58,4% Over 58% of cooks found with help of Alybadix Y1 mode! Zajímavým vedlejším efektem tohoto testování je statistika počtu úloh, které projdou testem Y1, ale jsou přesto nekorektní. Na objektivní odhad tohoto počtu zatím nikdy nebyl dostatek dat a odhadoval jsem jej vždy pouze dlouholetou zkušeností asi na 10%. Tentokrát máme první dostatečně velkou sérii testovaných úloh, ze které jde tuto hodnotu aspoň přibližně určit, vychází 9% (samozřejmě stále s dost velkou statistickou chybou). Hodnota se vypočte jako podíl počtu nekorektních úloh, které prošly Y1 testem a celkového počtu úloh, které pak šlo kompletně přezkoušet (korektních i nekorektních, zde celkem 144 úloh). Samozřejmě zůstala ještě velká skupina úloh, kde byl možný pouze Y1 test a korektnost není známa, protože tyto úlohy nebylo možné kompletně přezkoušet. Takové úlohy nemůžeme do statistiky započítávat. Y1 test OK full test C+ full test C- s#8 67 10 s#9 64 3 total 131 13 90,97% 9,03% Pravidlo zhruba 90% pravděpodobnosti korektnosti po průchodu testem Y1 je tím tedy potvrzeno. If Y1 test passed OK, then only 9% of selfmates will be cooked and 91% C+

% of cooks % of cooks Dalším užitečným parametrem Alybadixu je wc-, kdy má bílý zakázáno braní. V ortodoxním samomatu (pozor neplatí v samopatu nebo obecně v exoúlohách), kde má černý pouze 2 kameny, nemůže bílý jeho černý kámen během řešení brát, protože by pak černý neměl čím matit. Tato podmínka výrazně zrychluje řešení takových úloh a přitom ještě zachovává možnost označit takto přezkoušené skladby jako C+! Samozřejmě, při hledání nekorektností, lze podmínku wc- použít i v případě více černých kamenů, pak už ale není testování kompletní a úloha, i když testem projde, nemusí být ještě korektní. If Black has only two pieces, then option wc- (White can not capture) can be used. Solving is then faster and in this case is possible marked such problem as C+. Analýza nekorektních úloh Analyze of cooks Co se týče typů nekorektností, pak v 69% případů program nalezl vedlejší řešení, zbytek byly duály. Neřešitelnost v této skupině úloh nebyla ani jedna. Několik nekorektností způsobených vadnými pozicemi jsem do těchto statistik nepočítal. vedlejší řešení cook démoli 70 69,3% duál dual dual 31 30,7% celkem nekorektních total C- 101 Existence nekorektností je rozložena poměrně rovnoměrně mezi všemi skladbami a nijak výrazně nezávisí na počtu bílých nebo černých kamenů. Menší počet nekorektností najdeme pouze v případě, kdy má bílý 4 nebo 5 kamenů. 35 30 25 20 15 10 5 0 1 2 3 4 5 6 7 8 9 10111213141516 50 40 30 20 10 0 1 2 3 4 5 6 7 8 9 10111213141516 Number of white pieces Number of black pieces No significant dependencies between cooks and number of (white or black) pieces. Only selfmates with 4 and 5 white pieces have less cooks.

% Zajímalo mě ještě, zda se bude nějak měnit výskyt nekorektností s datem uveřejnění skladeb. Potvrdilo se, jak jsem očekával, že od doby, kdy skladatelé používají počítače se procento nekorektností v úlohách zmenšilo a se zrychlením počítačů v posledním desetiletí je pak tento trend ještě výraznější (zejména u časově náročnějších úloh, které nebylo možné dříve testovat). total tested problems cooks in period before 1970 91 39 42,8% 1971-1990 139 40 28,7% 1991-2000 116 18 15,5% after 2000 84 4 4,7% total 430 101 % of cooks by date of publication 50 40 30 20 10 0 <1970 1971-1990 1991-2000 >2000 Significant (and expected) trend - composers without computers produced more problems with cooks.

Příklady nekorektních úloh Examples of cooked problems Všechna označení C+ i nalezené nekorektnosti jsem zadal zpět do WinChloe databáze, takže autoři a redaktoři časopisů si mohou údaje snadno vyhledat. Na ukázku pro tento článek jsem vybral několik příkladů pravděpodobně dosud nepublikovaných nekorektností v úlohách, které jsou v Albech FIDE (a nejsou označeny v Fide Albums 1914-1997 error list) a v úlohách, které získaly 1. ceny v turnajích. Jde o screenshoty z WinChloe, řešení je proto ve francouzské notaci (solutions are in French notation) 552 p.111, Album FIDE 1971-73

487 p.98, Album FIDE 1968-70 F90 p.170, Annexe Album FIDE 1995-97

616 p.233, Album FIDE 1980-82

Hans Gruber reported about this problem in e-mail 18.7.2009 I checked the original source: Die Schwalbe, issue 93, September 1935, p. 350, Nr. I: No white bishop h2. So the original problem is sound, and the white bishop h2 somehow erroneously entered WinChloe. In WinChloe is "Reproduction": 2236, Feenschach 183 (and here was bishop h2!). Remove bishop h2, then C+! (Alybadix 32 minutes)

Update 16.7.2009: Correction by Steven Dowd

(added 11.8.2009) (added 11.8.2009)

(added 11.8.2009) (added 5.9.2009)

Příklady korektních úloh Examples of C+ problems Abych trochu vyvážil předchozí přehlídku příkladů nalezených nekorektností, vybral jsem na ukázku také několik C+ úloh, jejichž řešení bylo časově náročné. Korektnost zvyšuje hodnotu těchto skladeb. C+, 36 hours 17 minutes C+, 15 hours 16 minutes

C+, 10 hours 19 minutes C+, 7 hours 3 minutes

C+, 18 hours 13 minutes C+, 15 hours 1 minute

C+, 85 hours 43 minutes (added 23.7.2009) C+, 17 hours 3 minutes

C+, 46 hours, 23 minutes C+, 43 hours 56 minutes

F67 p.514, Album FIDE 1989-91 C+, 61 hours 25 minutes (added 24.7.2009) C+, 29 hours 2 minutes

527 p.121, Album FIDE 1962-64 C+, 38 hours 35 minutes (added 30.7.2009) C+, 39 hours 8 minutes

C+, 126 hours 8 minutes (added 11.8.2009) C+, 156 hours 54 minutes (added 13.8.2009)