t-regress/TODO

   1 A list of games to put in the regression suite.
   2
   3 This list can be processed automatically:
   4
   5         sed -ne 's/^\* //p' <TODO | while read r c; do echo wget -O $(echo "$r" | sed 's#.*games/##' | tr / - | sed 's/-\([^-]\)-/-0\1-/g;s/-\([^-]\)-/-0\1-/') "$r"; done
   6
   7 * http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf ladder
   8   pachi shouldn't play the broken ladders up to move 53
   9
  10 * http://files.gokgs.com/games/2011/6/5/tazaki-pachi30s.sgf semeai falseeye
  11   pachi doesn't see even one move ahead in a semeai, it expects
  12   an answer outside the semeai. The score drops from 0.625 to 0.337:
  13
  14   move 194:
  15     [880000] best 0.624794 komi 0.4 | seq L19 G12 F11 P11 | can L19(0.625)
  16 O19(0.623) N19(0.469) P11(0.523)
  17     FINEST: Got successful response to command "genmove b": = L19
  18     FINEST: Got successful response to command "play w j16": =
  19   move 196:
  20     FINEST: Queued command sent to engine: genmove b
  21     [1026644] best 0.336825 komi 0.2 | seq P11  T8  R3  M9 | can P11(0.337)
  22 O11(0.336) O19(0.334) N19(0.340)
  23     FINEST: Got successful response to command "genmove b": = P11
  24
  25   The game was lost already but pachi should have known this before.
  26
  27   move 244: T13 doesn't make sense. This is due to wrong estimate of
  28   white's right group:
  29     [1922010] best 0.492722 | seq T13  T4  D5  M6 | can T13(0.493)
  30 S18(0.493)  L4(0.493)  E6(0.491)
  31     FINEST: Got successful response to command "genmove b": = T13
  32
  33   At move 282 pachi still thinks white's group is undecided.
  34   We must find a way of not filling the S7 eye in the playouts.
  35
  36 * http://files.gokgs.com/games/2011/5/29/snowmen-pachi2.sgf
  37     169 B5 seems to be the losing move. This move doesn't make sense.
  38   Pachi has been wrongly evaluating both bottom group around S4 (it's just
  39   hairy for simulations) and top group around A19 - that one is a bit more
  40   interesting, the problem is that black is double likely to play E19
  41   (since it's C19 selfatari cousin), but after E19, white will not notice
  42   the need to connect at C19. Not sure how to solve this yet, perhaps some
  43   way to add cousins to last_move logic...
  44
  45 * http://files.gokgs.com/games/2011/5/28/pachi2-Rubel.sgf
  46     won game lost: 212 H13 should be at J12.
  47
  48 * http://files.gokgs.com/games/2011/5/27/ManyFaces1-pachi2.sgf
  49    had won game, move 135 F1 very bad. at end doesn't see ko at t7. (b t10
  50 kills above)
  51
  52 * http://files.gokgs.com/games/2011/5/23/pachi2-ManyFaces1.sgf
  53   leading up to 90% then lost.
  54   bad evaluation of 3 areas according to pasky.
  55
  56 * http://files.gokgs.com/games/2011/5/25/pachi2-Zen19S.sgf
  57   lost but was leading according to ajahuang and Zen itself
  58
  59 * http://files.gokgs.com/games/2011/2/20/ramesses2-pachi2.sgf
  60   good example of losing a won game.
  61
  62 * http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf ladder
  63   terrible ladder bug
  64
  65 * http://files.gokgs.com/games/2010/12/5/pachi-CzechBot.sgf
  66   big mistake at F9 didn't see snapback. Pasky comments:
  67     The "does not seen snapback" bug is nasty.  The problem is that
  68     there is also a "global capture heuristic" if there're no fun
  69     local moves, it looks for groups to capture and if white tenukis
  70     and does not capture immediately, this heuristic kicks in.  But
  71     there is no "global atari heuristic" that would drive black
  72     similarly to play at F1 and create the snapback if I test with
  73     playout=moggy:capturerate=0, it reliably destroys the snapback
  74     i.e. with capturerate=90, white is much more likely to come back
  75     to the situation later even when playing tenuki first.
  76
  77 * http://files.gokgs.com/games/2011/1/15/pachi2-rollingon.sgf semeai
  78   big semeai with easy counting of liberties misjuged
  79   move 169 0.7322 -> move 171  0.2600
  80
  81 * http://files.gokgs.com/games/2011/2/18/pachi2-tf-3.sgf seki
  82   lost because of unrecognized seki
  83
  84 * http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf falseeye
  85   threw away a won game. pachi thought until the end that top left
  86   white group was dead, so it made silly moves elsewhere.
  87   The playouts must be prevented from filling the eye at A17.
  88
  89 * http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf falseeye
  90   exactly the same problem as botkiller2-pachi30s.sgf:
  91   pachi considers the top left black group as unsettled
  92   although it is clearly alive. So it makes silly moves
  93   elsewhere. We have to fix this bug, it is too frequent.
  94
  95 * http://files.gokgs.com/games/2011/6/9/jinen-pachi30s-2.sgf ko
  96   move 165 G5 again playing the ko threat before the ko.
  97   move 187 R18 is not a ko threat
  98   move 215:
  99     At this point pachi still considers the top right as
 100     unsetled, although it is is clearly lost for B. So pachi's
 101     estimate of winning by 61% is way too optimistic.
 102
 103 * http://files.gokgs.com/games/2011/6/14/pachi2-Regenbogen.sgf
 104   pachi doesn't see that bent four in top left corner is dead.
 105   Still thinks it is winning 79% at move 250 G4.
 106
 107 * http://files.gokgs.com/games/2011/6/14/pachi2-cdocdo-3.sgf semeai
 108   pachi loses every semai by a large number of liberties
 109   but still considers itself winning 57% up to move 222 G16.
 110
 111 * http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf ladder
 112   moves 102..108 playing a broken ladder
 113
 114 * http://files.gokgs.com/games/2011/6/18/dorabon-pachi2-4.sgf semeai falseeye
 115   pachi considers the bottom left semeai won by black (but black
 116   loses it) and the bottom right as undecided (white is clearly
 117   alive). At move 270 L4 it still thinks it is leading by 80%
 118   although the game is lost.
 119   The bottom right is the same problem as
 120   http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf
 121   and http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf
 122   This corner shape is very frequent and pachi always gets it wrong.
 123
 124 * http://files.gokgs.com/games/2011/6/18/pachi2-ultimakang-4.sgf
 125   pachi was winning up to move 230 Q14 big mistake. Win ratio dropped
 126   from 60% to 25% at next move.
 127
 128 * http://files.gokgs.com/games/2011/6/18/akkannbee-pachi2.sgf seki
 129   pachi totally confused by very simple seki.
 130
 131 * http://files.gokgs.com/games/2011/7/6/xiaosugi-pachi2.sgf seki
 132   pachi thinks until the end that it wins by 80% because it
 133   doesn't understand the seki in lower right. It should have lost
 134   by 42.5 points but white mistakenly agreed to treat the seki as dead.
 135
 136 * http://files.gokgs.com/games/2011/7/5/pachi2-azlan7-2.sgf
 137   move 84 E10 & 86 F10 big mistakes, leave white group dead.
 138   (amazingly pachi recovered and azlan7 escaped in the end).
 139
 140 * http://files.gokgs.com/games/2011/7/5/fafahhhh-pachi2.sgf
 141   threw away won game, probably because of complex corner situations
 142   won by time but game was lost on board
 143
 144 * http://files.gokgs.com/games/2011/7/3/pachi2-oasis7.sgf
 145   Passed even though a dead opponent group was marked alive.
 146
 147 * http://files.gokgs.com/games/2011/7/28/pachi2-Novicer.sgf falseeye
 148   Pachi makes many stupid moves because it thinks the top left
 149   corner is unsettled although it is clearly alive. This shape
 150   (4 in a row) is so simple that it should get it right.
 151   W 252 S11 bad
 152   W 256 T12 bad
 153   W 264 E19 doesn't make sense, but still 69%
 154   W 266 H19 doesn't make sense, but still 61%
 155   W 268 T9 should be T8
 156   W 292 A17 50%, W 294 R6 37% shows that top left was not
 157     evaluated correctly.
 158   Also false eye evaluation problem in bottom left.
 159
 160 * http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf ladder
 161   W 132 C9, W 134 B8, W 136 A8 plays a broken ladder but win ratio 52%
 162   so it should not play desperate moves.
 163   Pachi thought it was winning 72% at W 198 M3 but lost the game.
 164
 165 * http://files.gokgs.com/games/2011/7/16/ihatebots-pachi2.sgf semeai
 166   pachi threw away the game because it didn't evaluate the
 167   semeai in bottom left correctly.
 168
 169 * http://files.gokgs.com/games/2011/7/31/pachi2-Drogba987.sgf
 170   B 28 H4 should be at F1 or G1 to save E2 & E3 and the game.
 171   Pachi usually finds this so I'm surprised it didn't get it here.
 172
 173 * http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf ladder
 174   move 150 R19: pachi extends a losing ladder
 175
 176 * http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf ladder
 177   move 121 L19: pachi extends a losing ladder
 178
 179 * http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf ladder
 180   move 143 N19: pachi extends a losing ladder
 181   This ladder bug seems more frequent since e9df2b6 (even though
 182   this change made Pachi 40 elo stronger).
 183
 184 * http://files.gokgs.com/games/2011/8/10/jerryfish-pachi2.sgf semeai
 185   lost even game against 3k. Win ratio drops from 61% at 117 N1
 186   to 49% at the next move. So pachi didn't evaluate the semai correctly.
 187
 188 * http://files.gokgs.com/games/2011/8/12/xiaosugi-pachi2.sgf falseeye
 189   Pachi hallucinated again on bottom right corner.
 190   This is the same problem as
 191     http://files.gokgs.com/games/2011/6/18/dorabon-pachi2-4.sgf
 192     http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf
 193     http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf
 194   This corner shape is very frequent and pachi always gets it wrong.
 195
 196 * http://files.gokgs.com/games/2011/8/24/StoneGrid-pachi2.sgf ladder
 197   Move 51 onwards: pachi plays a broken ladder, which almost cost the game.
 198   This might be the same bug as
 199     http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf
 200     http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf
 201     http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf
 202     http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf
 203     http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf
 204     http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf
 205     http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf
 206     http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf
 207
 208 * http://files.gokgs.com/games/2011/9/4/pachi2-stv.sgf ladder
 209   Move 48 onwards: pachi plays a broken ladder, which cost not
 210   just the game but also the first place in the tournament.
 211   See also broken ladders in
 212     http://files.gokgs.com/games/2011/8/24/StoneGrid-pachi2.sgf
 213     http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf
 214     http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf
 215     http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf
 216     http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf
 217     http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf
 218     http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf
 219     http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf
 220     http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf