epd/lapuce2.doc

   1 *******************************************************************************
   2
   3                 The Louguet Chess Test II (LCT II) FAQ
   4                 Version 1.21, April 02, 1996
   5
   6 *******************************************************************************
   7
   8
   9 This FAQ is intended to give readers informations on the LCT II Chess Computer
  10 Test, in 10 questions and answers (at least for this version).
  11
  12 1) What is the LCT II Chess Test ?
  13 It is a set of 35 chess positions designed to evaluate the strength of Chess
  14 Programs and Chess Computers. It gives a good approximation of the
  15 International Elo rating of a program.
  16
  17 The test is available via a ZIP file, LCTII121.ZIP, which you can download
  18 from Mads Brevik chess page (http://knoll.kih.no:8001/stud/mads2/chess.htm)
  19 or I can send it directly to you, just drop me a word about it in my mail.
  20
  21 LCTII121.ZIP contains the following files :
  22
  23 * README.TXT : General information, history, instructions for PC chess programs.
  24 * RATINGS.TXT : Some results on Pentium 90 and Pentium Pro 200
  25 * SUBSCRIB.TXT : How to subscribe to "La Puce Echiqueenne"
  26 * HOWTO.TXT : How to run the tests
  27 * DIAGRAMS.TXT : Solutions of the tests and comments
  28 * LCTII.XLS : Excel file with detailed results for PC programs (P90 & PP200).
  29 * LCT2LIST.TXT : The complete LCT II rating list on various hardware.
  30 * LCT2FAQ.TXT : Questions and answers about the LCT II (this file).
  31
  32 The 35 positions are provided in their native formats for :
  33 - Chess Genius 1, 2, 3 and 4
  34 - Hiarcs 2, 3 and 4
  35 - Zarkov 2.5, 2.6, 3.0
  36 - Socrates 3
  37 - Fritz 1, 2, 3 and 4
  38 - Chessmaster 4000
  39 - M Chess Pro 3.5, 4 and 5
  40 - W Chess 1.0
  41 - Kallisto 1.83
  42 - Gideon Pro 1.0
  43 - Rebel 6 and 7
  44 - Virtua Chess 1.0 and Virtual Chess for Windows 95
  45 - Crafty
  46
  47
  48 2) Who is the author of the LCT II ?
  49 Me. Ah, ah.
  50 Well, my name is Frederic Louguet, born in Boulogne, France, in 1963.
  51 I am a freelance journalist, writing articles and books about computer hardware
  52 and software, especially on Computer Graphics and 3D Image Synthesis.
  53 And, of course, I love Chess, and computers. That's why I created this test,
  54 which is published every three months by "La Puce Echiqueenne", Paris, France.
  55
  56
  57 3) What is "La Puce Echiqueenne" ?
  58 This is the french magazine of reference on Computer Chess. Reviews, technical
  59 informations, games, analysis, databases, etc. It is published by ACTIV-ECHECS,
  60 Paris, France. If you want to subscribe, please send :
  61
  62 France : 120 FF - CEE 160 FF - USA / Canada 200 FF by money order to :
  63
  64 ACTIV-ECHECS
  65 101, AVENUE DU GENERAL LECLERC
  66 75014 PARIS, FRANCE
  67 TEL. AND FAX : 33-1-45.47.80.83
  68 OR
  69 VIA INTERNET
  70 E-MAIL : ORELLANA@DIALUP.FRANCENET.FR
  71
  72
  73 4) What is the main idea behind the LCT II ?
  74
  75 Yes, there is an idea ! I strongly believe that, in a lot of well-known tests,
  76 too much importance is given to tactical positions. Tactics are important, but
  77 not THAT important. After all, combinations appear only when there are
  78 positional weaknesses in a position, allowing tactical moves to be effective.
  79 But if you look at the whole game, you can see that positional moves are much
  80 more frequent than tactical moves.
  81
  82 So the idea behind the LCT II is to give positional play the place it deserves.
  83 There are 35 positions in the test : 14 of them are positional, 12 are tactics
  84 and 9 are endgames. So 40% of the overall rating can be obtained by doing a
  85 perfect score on positional tests.
  86
  87
  88 5) What were my goals in creating the LCT II ?
  89
  90 The test must :
  91
  92 * Give a good approximation of the International Elo rating of a program, by
  93 correctly balancing relative importance of positional play, tactics and endgames.
  94
  95 * Be available to everybody who wants to test his own chess computer or program.
  96 However, it must be strong, because the test is only valid for Elo greater
  97 than 1900.
  98
  99 * Be simple to use. No coefficients, no complicated formulas. The program get
 100 points each time it solves a position in a certain amount of time (see question
 101 7 for the details). You just add all the points to 1900, and you get an
 102 approximation of the International Elo rating.
 103
 104 * Have a good number of positions, but not too much. It must be run in a few
 105 hours, so it is possible to test a program on different hardware, with different
 106 hash-table sizes, with different styles. It can provide a lot of useful
 107 information.
 108
 109
 110 6) Was there an LCT I test ?
 111
 112 Yes. The first version of this test was created in July, 1992, for the first
 113 issue of La Puce Echiqueenne. It was a bit more complicated than it is now,
 114 but it worked OK. Of course, the LCT II is much better, and was introduced in
 115 issue #8 (November 1994).
 116
 117
 118 7) How do I run the test ?
 119 First, you must have a Chess computer or a Chess program on a PC or a
 120 Workstation. Then you have to follow this procedure :
 121
 122 * The program tested must be configured to level : Infinite.
 123
 124 * Permanent brain must be disabled. Some programs begin their analysis in setup
 125 mode, so it is very important to disable this option.
 126
 127 * Learning tables must be disabled (or moved elsewhere on the disk during the
 128 tests).
 129
 130 * The program must run each test during 10 minutes (600 seconds). At 10:01
 131 (601th second), you must stop the analysis.
 132
 133 * The time to keep is the time when the program finds the best move and does
 134 not change his mind until the ten minutes are over. For example : the best move
 135 (A) is found in 32 seconds, but the program change his mind at 1'56 and now
 136 prefers (B). Later, he again considers (A) as the best move after 7'16, and
 137 does not change anymore until 10:01. So 7'16 is the time to put in the results.
 138
 139 * It is very important to let the program "think" 10 minutes, and particularly
 140 for positional tests, since some programs change their mind frequently.
 141 For tactical tests, it is of course not necessary.
 142
 143 * Points attributed :
 144
 145 30 points if move found between 0 and 9 seconds (included)
 146 25 points if move found between 10 and 29 seconds
 147 20 points if move found between 30 and 89 seconds     (30" - 1'29)
 148 15 points if move found between 90 and 179 seconds    (1'30 - 2'59)
 149 10 points if move found between 180 and 389 seconds   (3' - 6'29)
 150 5 points if move found between 390 and 600 seconds    (6'30 - 10')
 151 0 points if move not found in 10 minutes
 152
 153 The lower limit is 1900 Elo points.
 154 For example, if a program gets 105 points (positional), 200 (tactical) and
 155 70 (endgame), its rating will be 1900 + 105 + 200 + 70 = 2275.
 156 The upper limit is 1900 + (30 points * 35 tests) = 2950 points.
 157 That is 40 % for positional moves, 34 % for combinations and 26 % for endgame.
 158
 159 You can see from these figures that it is useless to test entry-level programs
 160 or Chess computers with the LCT II test. It is clearly intended for strong ones.
 161
 162
 163 8) Can the LCT II Elo be compared with the Swedish Rating List Elo ?
 164
 165 It was not intended to be compared with the SSDF List in the first place, but
 166 it is inevitable that such comparisons occur. In fact, I have found that the
 167 LCT II correlation with the Swedish Rating List is quite high. Here are a few
 168 examples, taken from the 1995/10/31 list. In these examples, all programs were
 169 tested on Pentium 90, but you can find similar figures on slower hardware :
 170
 171 Program         LCT II          SSDF
 172
 173 Genius 3.0      2425            2447
 174 Rebel 6.0       2405            2430
 175 Hiarcs 3.0      2440            2420
 176 MChess Pro 4    2360            2377
 177 Fritz 3         2380            2371
 178
 179 It seems good enough, doesn't it ? More interesting, in some cases the LCT II
 180 predicted these scores before the SSDF. For example, the rating of M Chess Pro
 181 4.0 was 2396 in the 1995/09/08 version of the SSDF list, and it has now come
 182 down 19 points, to be only 17 points more than the LCT II rating.
 183
 184 Of course, 35 positions can not replace thousands of games, but it can give a
 185 good indication of the strength of a new program, only days after it is
 186 available to the public, not months. Do not forget another thing : the SSDF
 187 list is based on Computer against Computer matches, and it is clear that some
 188 programs perform better against humans than against other computers. So I think
 189 that the SSDF List is a very useful tool, but that there is also a need to have
 190 a good general purpose test.
 191
 192
 193 9) Where can I send my test results ?
 194
 195 You can send your LCT II results by fax or E-Mail to ACTIV-ECHECS
 196 (see question 3) or directly to my E-Mail, which is : louguet@worldnet.net.
 197 Please don't forget to mention your configuration (PC or Workstation, CPU, RAM,
 198 cache, hash-tables).
 199
 200 If you have comment or suggestions, I will be pleased to hear them. Suggestions
 201 for a future LCT III will also be considered.
 202
 203
 204 10) An LCT III test ?
 205
 206 Well, there will definitely be a LCT III test. Why ? because I have already a
 207 few ideas to make the test even better. When, I don't know, because I have a
 208 lot of other things to do before ! And I can assure you that the conception
 209 of the LCT II took a LARGE amount of time...
 210
 211 So the answer is probably : not before 1997. Nevertheless, I will be
 212 collecting material in the meantime. So if you have good positions that are
 213 difficult and interesting enough, please send them to my E-Mail (see 9).
 214 Maybe they will be included in the LCT III.
 215
 216 Thanks for reading this FAQ.
 217
 218
 219
 220 -----------------------------
 221 Frederic Louguet, 04/02, 1996
 222
 223 E-Mail : louguet@worldnet.net
 224 -----------------------------
 225 *******************************************************************************
 226
 227 LCT II test (c) Frederic Louguet & La Puce Echiqueenne
 228 v 1.21 - 04/02, 1996
 229
 230 *******************************************************************************
 231
 232
 233 How to use the 35 LCT II tests
 234 ------------------------------
 235
 236 Each program tested must be configured to level : Infinite.
 237
 238 - Permanent brain must be disabled. Some programs begin their analysis in
 239 setup mode, so it is very important to disable this option.
 240
 241 - Learning tables must be disabled (or moved elsewhere on the disk during
 242 the tests).
 243
 244 - The program must run each test during 10 minutes (600 seconds).
 245 At 10:01 (601th second), you must stop the analysis.
 246
 247 - The time to keep is the time when the program finds the best move
 248 and does not change his mind until the ten minutes are over.
 249 For example : the best move (A) is found in 32 seconds, but the program
 250 change his mind at 1'56 and now prefers (B). Later, he again considers (A) as
 251 the best move after 7'16, and does not change anymore until 10:01. So 7'16
 252 is the time to put in the results.
 253
 254 - It is very important to let the program "think" 10 minutes, and particularly
 255 for positional tests, since some programs change their mind frequently. For
 256 tactical tests, it is of course not necessary.
 257
 258 - Points :
 259
 260         30 points if move found between 0 and 9 seconds
 261         25 points if move found between 10 and 29 seconds
 262         20 points if move found between 30 and 89 seconds     (30" - 1'29)
 263         15 points if move found between 90 and 179 seconds    (1'30 - 2'59)
 264         10 points if move found between 180 and 389 seconds   (3' - 6'29)
 265         5 points if move found between 390 and 600 seconds    (6'30 - 10')
 266         0 points if move not found in 10 minutes
 267
 268 The lower limit is 1900 Elo points.
 269 For example, if a program gets 105 points (positional), 200 (tactical) and
 270 70 (endgame), its rating will be 1900 + 105 + 200 + 70 = 2275.
 271 The upper limit is 1900 + (30 points * 35 tests) = 2950 points.
 272 That is 40 % for positional moves, 34 % for combinations and 26 % for endgame.
 273 \x1a