SWCR, 32-bit CONTRA 64-bit (Computerschach, Engine-Turnier

16 Engines spielten in der SWCR-32 unter Windows XP Professional bereits 40 Partien bei Ponder = On, 40 Züge in 10 Minuten bis zum Matt / Remis (durchschnittliche Partiedauer = 40 Minuten). Die näheren Spielbedingungen können den SWCR Seiten entnommen werden. Diese 16 Engines spielen nun unter den gleichen Voraussetzungen unter Windows XP Professional x64 Edition als 64-bit Engines gegeneinander. Geeicht wird auf Shredder 12 mit 2.800 ELO. Shredder 12 ist keine BitBoard Engine, kann nicht von 64-bit profitieren, und erzielt daher faktisch keinen ELO-Zuwachs von 32 auf 64-bit.

Ziel ist es, einen möglich genauen ELO-Zuwachswert zu bestimmen. Für dieses Unterfangen sollten 600 Partien ausreichen. Bei 600 Partien kommt es nach meinen statistischen Auswertungen in nur 1 / 32 Fällen zu einer ELO-Abweichung > als 10! Anders schauen die Statistiken aus, wenn mehr oder weniger unterschiedliche Engines eingepickt werden (siehe nachfolgendes Beispiel anhand von Junior 11.1a). Daher ist es für die Bestimmung des 64-bit ELO-Zuwachs wichtig, unter den gleichen Bedingungen bzw. mit den gleichen Engines zu testen. Auch ist es wichtig, dass die Engine die gleiche Anzahl von Partien gegeneinander spielen.

Beispiel Junior 11.1a:
ELO bei 960 Partien und 24 Gegner = 2.644 (24x 40 Partien), SWCR Ratingliste aller Partien, Stand 11.05.2010)
ELO bei 760 Partien und 19 Gegner = 2.628 (19x 40 Partien), SWCR Haupt-Ratingliste, Stand 09.05.2010)
ELO bei 600 Partien und 15 Gegner = 2.618 (15x 40 Partien), Auswertung für dieses Experiment, siehe nachfolgende Tabelle!

Eine unterschiedliche Anzahl von Gegnern bewirkt unterschiedliche Ergebnisse (Thema: Angstgegner / Lieblingsgegner der jeweiligen Engines). Das hat meines Erachtens weniger mit der Anzahl der Partien pro Engine zu tun, sondern vielmehr gegen welche Gegnerschaft eine Engine angetreten ist. Es handelt sich um einen weitverbreiteten Irrglauben, dass eine ELO-Liste bzw. ein ELO-Wert "nur" mit tausenden von Partien genauer wird. Natürlich wird eine Liste mit mehr Partien genauer aber diese vielen Partien sind nicht notwendig wenn ausreichend Gegner zur Verfügung stehen. Es sei denn der Anspruch auf +-5 ELO Resultate wird gehegt.

Vielmehr ist es so, dass die ELO-Werte der Engines, trotz tausender Partien unterschiedlicher Listen, voneinander abweichen, wenn für die ELO-Ermittlung unterschiedliche Gegnerschaft / unterschiedliche Anzahl von Partien maßgeblich war.

Die Ratingliste der bereits vorliegenden 32-bit Ergebnisse nach 4.800 Partien / 600 Partien pro Engine:
Erstellt mit Bayesian 0.56 ELO-Berechnungsprogramm!

32-bit:
01. Stockfish 1.7.1 JA w32        2.862 24 24 600 76% 2.673 31%
02. Rybka 3 w32                   2.851 24 24 600 74% 2.674 29%
03. Naum 4.2 w32                  2.808 23 23 600 69% 2.677 36%
04. Shredder 12 w32               2.800 23 23 600 68% 2.677 36%
05. Komodo 1.0 JA w32             2.707 22 22 600 54% 2.684 39%
06. Thinker 5.4d Inert w32        2.688 22 22 600 51% 2.685 38%
07. Critter 0.60 w32              2.677 22 22 600 49% 2.686 39%
08. Protector 1.3.4 JA w32        2.667 22 22 600 47% 2.686 39%
09. Spark 0.4 w32                 2.665 22 22 600 47% 2.686 44%
10. Sjeng WC-2008 w32             2.650 22 22 600 45% 2.687 39%
11. Zappa Mexico II w32           2.631 22 22 600 42% 2.689 41%
12. Onno 1.1.1 w32                2.622 22 22 600 41% 2.689 38%
13. Junior 11.1a w32              2.618 22 22 600 40% 2.689 37%
14. Loop 13.6 / 2007 w32          2.590 22 23 600 36% 2.691 36%
15. SmarThink 1.20 w32            2.565 23 23 600 32% 2.693 37%
16. Twisted Logic 20100131x w32   2.559 23 23 600 32% 2.693 31%

Die aktuellen 64-bit Ergebnisse:
Trier, den 22.05.2010 (11:00 Uhr)
Shredder 12 GUI, als Rundenturnier konfiguriert.

Start: 12.05.2010
Ende: Voraussichtlich am 02.06.2010

Zur Zeit im Einsatz: 16 von 16 Cores
4 Systeme mit Intel Q9550 Prozessoren, 2.83Ghz pro Kern, nicht übertaktet

Hinweis 1:
Am 11.05.2010 erfolgte ein Testlauf (alle Engines spielten jeweils 1x gegeneinander). Bei diesem Testlauf kam es zu Problemen mit Komodo 1.0 JA x64.
Siehe hierzu (TalkChess): Fehlerbeschreibung (englisch)

Hinweis 2:
Auf dieser Stelle, unter der Turniertabelle, werden in den nächsten Tagen aktuelle ELO-Listen der Zwischenergebnisse erzeugt. Nach dem Event werden die Partien zum Download zur Verfügung gestellt.

Hinweis 3:
Am 19.05.2010 (19:00 Uhr) wurde der vierte Q9550 für die SWCR in Betrieb genommen.

Die nächste Auswertung erfolgt am Montag den 24.05.2010. Pro Tag werden etwa 288 Partien auf 16 Cores (8 Matches laufen bei Ponder = On gleichzeitig) gespielt.

Erste Auswertung:
Nach 25% aller Partien = 150 Partien pro Engine, 1.200 / 4.800 Partien, 10 / 40 Runden:
Eine dumme Situation, denn Shredder, die Engine auf die geeicht wird, hat offenbar Startschwierigkeiten. Daher verzerrt das leider alle anderen ELO-Werte!

01. Stockfish 1.7.1 JA x64        2.931 48 46 150 76% 2.752 33%
02. Rybka 3 x64                   2.917 48 46 150 73% 2.753 28%
03. Naum 4.2 x64                  2.849 45 44 150 63% 2.757 36%
04. Komodo 1.0 JA x64             2.825 44 43 150 60% 2.759 41%
05. Shredder 12 x64               2.800 44 43 150 56% 2.761 37%
06. Zappa Mexico II x64           2.792 43 42 150 55% 2.761 45%
07. Protector 1.3.4 JA x64        2.783 44 43 150 53% 2.762 36%
08. Spark 0.4 x64                 2.769 43 43 150 50% 2.763 43%
09. Thinker 5.4d Inert x64        2.764 42 42 150 50% 2.763 42%
10. Onno 1.1.1 x64                2.739 42 42 150 46% 2.765 45%
11. Sjeng WC-2008 x64             2.722 43 43 150 44% 2.766 38%
12. Critter 0.60 x64              2.712 43 44 150 41% 2.766 40%
13. Junior 11.1a x64              2.682 45 46 150 38% 2.768 27%
14. Loop 2007 x64                 2.669 44 45 150 35% 2.769 32%
15. Twisted Logic 20100131x x64   2.648 45 46 150 32% 2.771 33%
16. SmarThink 1.20 x64            2.606 47 49 150 27% 2.773 24%

Zweite Auswertung:
Nach 40% aller Partien = 240 Partien pro Engine, 1.920 / 4.800 Partien, 16 / 40 Runden:

01. Rybka 3 x64                   2.910 38 37 240 74% 2.735 29%
02. Stockfish 1.7.1 JA x64        2.909 38 36 240 75% 2.735 33%
03. Naum 4.2 x64                  2.838 35 34 240 64% 2.740 39%
04. Komodo 1.0 JA x64             2.804 34 34 240 60% 2.742 44%
05. Shredder 12 x64               2.800 35 34 240 59% 2.742 37%
06. Zappa Mexico II x64           2.765 34 34 240 53% 2.745 43%
07. Protector 1.3.4 JA x64        2.758 35 35 240 52% 2.745 34%
08. Spark 0.4 x64                 2.745 34 34 240 49% 2.746 40%
09. Thinker 5.4d Inert x64        2.743 34 34 240 49% 2.746 44%
10. Sjeng WC-2008 x64             2.710 34 34 240 45% 2.748 40%
10. Onno 1.1.1 x64                2.710 34 34 240 44% 2.748 43%
12. Critter 0.60 x64              2.705 34 34 240 43% 2.749 43%
13. Loop 2007 x64                 2.661 35 36 240 37% 2.752 33%
14. Junior 11.1a x64              2.660 36 37 240 37% 2.752 27%
15. Twisted Logic 20100131x x64   2.618 36 37 240 31% 2.755 32%
16. SmarThink 1.20 x64            2.600 37 38 240 29% 2.756 28%

Platz	Name	Sto	Ryb	Nau	Shr	Kom	Zap	Pro	Spa	Thi	Sje	Onn	Cri	Loo	Jun	Twi	Sma	Punkte	S-B	%
1	Stockfish 1.7.1 JA x64	X	10.5	10.5	12.5	10.0	11.5	13.5	12.0	13.0	14.0	13.0	12.0	14.5	16.0	16.5	16.0	195.5 / 262	23985.00	74.62%
2	Rybka 3 x64	6.5	X	11.5	11.0	10.0	12.0	13.0	13.0	12.5	14.5	15.0	11.5	15.5	14.5	15.5	15.0	191.0 / 263	23287.00	72.62%
3	Naum 4.2 x64	6.5	6.5	X	10.5	9.5	10.5	11.5	11.0	11.5	13.0	14.0	11.5	13.5	12.0	14.5	15.5	171.5 / 263	20825.25	65.21%
4	Shredder 12 x64	4.5	7.0	7.5	X	6.5	9.5	12.0	9.0	10.5	10.0	11.0	13.5	15.0	12.0	13.5	13.5	155.0 / 263	18712.75	58.94%
5	Komodo 1.0 JA x64	8.0	8.0	7.5	11.5	X	6.5	9.0	12.5	9.5	10.5	10.5	12.5	13.5	11.5	12.0	11.5	154.5 / 262	19295.00	58.97%
6	Zappa Mexico II x64	6.5	6.0	7.5	7.5	10.5	X	8.5	8.5	10.0	8.5	10.5	6.5	7.0	12.5	15.0	13.5	138.5 / 263	17123.25	52.66%
7	Protector 1.3.4 JA x64	3.5	5.0	6.5	6.0	8.0	9.5	X	9.5	9.5	11.5	8.5	11.0	13.0	10.0	11.0	14.0	136.5 / 262	16468.25	52.10%
8	Spark 0.4 x64	5.0	4.0	7.0	8.0	5.5	8.5	7.5	X	8.5	11.5	9.5	11.0	11.0	13.0	11.0	11.5	132.5 / 262	16097.50	50.57%
9	Thinker 5.4d Inert x64	5.0	4.5	5.5	6.5	8.5	8.0	7.5	9.5	X	9.5	9.5	9.0	10.0	12.0	11.5	13.0	129.5 / 262	15753.25	49.43%
10	Sjeng WC-2008 x64	3.0	2.5	5.0	7.0	7.5	8.5	6.5	5.5	7.5	X	8.5	10.0	11.5	11.0	11.0	11.0	116.0 / 262	13951.25	44.27%
11	Onno 1.1.1 x64	4.0	3.0	4.0	7.0	6.5	7.5	9.5	7.5	7.5	9.5	X	8.5	11.0	6.5	11.5	11.5	115.0 / 263	14004.50	43.73%
12	Critter 0.60 x64	6.0	5.5	5.5	4.5	4.5	11.5	6.0	7.0	9.0	8.0	8.5	X	7.5	12.0	11.0	8.0	114.5 / 263	14350.25	43.54%
13	Loop 2007 x64	3.5	2.5	3.5	3.0	3.5	10.0	5.0	7.0	7.0	6.5	7.0	9.5	X	7.0	10.5	12.5	98.0 / 263	11775.75	37.26%
14	Junior 11.1a x64	2.0	3.5	5.0	6.0	5.5	4.5	7.0	5.0	6.0	7.0	10.5	5.0	10.0	X	7.5	11.0	95.5 / 263	11719.75	36.31%
15	Twisted Logic 20100131x x64	1.5	1.5	2.5	3.5	5.0	3.0	6.0	7.0	6.5	6.0	5.5	7.0	6.5	10.5	X	10.5	82.5 / 262	9874.00	31.49%
16	SmarThink 1.20 x64	1.0	2.0	2.5	3.5	6.5	3.5	3.0	5.5	4.0	6.0	6.5	10.0	5.5	7.0	7.5	X	74.0 / 262	9108.75	28.24%