t-regress/TODO

   1 A list of games to put in the regression suite.
   2
   3 This list can be processed automatically:
   4
   5         sed -ne 's/^\* //p' <TODO | while read r c; do echo wget -O $(echo "$r" | sed 's#.*games/##' | tr / - | sed 's/-\([^-]\)-/-0\1-/g;s/-\([^-]\)-/-0\1-/') "$r"; done
   6
   7 * http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf ladder
   8   pachi shouldn't play the broken ladders up to move 53
   9
  10 * http://files.gokgs.com/games/2011/6/5/Zen19-pachi2.sgf semeai falseeye
  11   should have won
  12  . move 185 S15 very dubious
  13
  14  . move 211 T18 pachi still thinks the semeai is undecided.
  15    but white has a lot more liberties. How can the playouts
  16    not see this?
  17
  18  . move 227 S3: here are suggestions by Aja
  19     If a false will become a real eye by capturing a diagonal group,
  20     then capture the group instead of filling the false eye. So if
  21     pachi wants to fill s3 it will capture at T1 instead. Then S3
  22     will become an illegal move so pachi will evaluate this group
  23     100% alive and won't play at T2 such stupid move.
  24
  25 * http://files.gokgs.com/games/2011/6/5/tazaki-pachi30s.sgf semeai falseeye
  26   pachi doesn't see even one move ahead in a semeai, it expects
  27   an answer outside the semeai. The score drops from 0.625 to 0.337:
  28
  29   move 194:
  30     [880000] best 0.624794 komi 0.4 | seq L19 G12 F11 P11 | can L19(0.625)
  31 O19(0.623) N19(0.469) P11(0.523)
  32     FINEST: Got successful response to command "genmove b": = L19
  33     FINEST: Got successful response to command "play w j16": =
  34   move 196:
  35     FINEST: Queued command sent to engine: genmove b
  36     [1026644] best 0.336825 komi 0.2 | seq P11  T8  R3  M9 | can P11(0.337)
  37 O11(0.336) O19(0.334) N19(0.340)
  38     FINEST: Got successful response to command "genmove b": = P11
  39
  40   The game was lost already but pachi should have known this before.
  41
  42   move 244: T13 doesn't make sense. This is due to wrong estimate of
  43   white's right group:
  44     [1922010] best 0.492722 | seq T13  T4  D5  M6 | can T13(0.493)
  45 S18(0.493)  L4(0.493)  E6(0.491)
  46     FINEST: Got successful response to command "genmove b": = T13
  47
  48   At move 282 pachi still thinks white's group is undecided.
  49   We must find a way of not filling the S7 eye in the playouts.
  50
  51 * http://files.gokgs.com/games/2011/5/29/snowmen-pachi2.sgf
  52     169 B5 seems to be the losing move. This move doesn't make sense.
  53   Pachi has been wrongly evaluating both bottom group around S4 (it's just
  54   hairy for simulations) and top group around A19 - that one is a bit more
  55   interesting, the problem is that black is double likely to play E19
  56   (since it's C19 selfatari cousin), but after E19, white will not notice
  57   the need to connect at C19. Not sure how to solve this yet, perhaps some
  58   way to add cousins to last_move logic...
  59
  60 * http://files.gokgs.com/games/2011/5/28/pachi2-Rubel.sgf
  61     won game lost: 212 H13 should be at J12.
  62
  63 * http://files.gokgs.com/games/2011/5/27/ManyFaces1-pachi2.sgf
  64    had won game, move 135 F1 very bad. at end doesn't see ko at t7. (b t10
  65 kills above)
  66
  67 * http://files.gokgs.com/games/2011/5/23/pachi2-ManyFaces1.sgf
  68   leading up to 90% then lost.
  69   bad evaluation of 3 areas according to pasky.
  70
  71 * http://files.gokgs.com/games/2011/5/25/pachi2-Zen19S.sgf
  72   lost but was leading according to ajahuang and Zen itself
  73
  74 * http://files.gokgs.com/games/2011/2/20/ramesses2-pachi2.sgf
  75   good example of losing a won game.
  76
  77 * http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf ladder
  78   terrible ladder bug
  79
  80 * http://files.gokgs.com/games/2010/12/5/pachi-CzechBot.sgf
  81   big mistake at F9 didn't see snapback. Pasky comments:
  82     The "does not seen snapback" bug is nasty.  The problem is that
  83     there is also a "global capture heuristic" if there're no fun
  84     local moves, it looks for groups to capture and if white tenukis
  85     and does not capture immediately, this heuristic kicks in.  But
  86     there is no "global atari heuristic" that would drive black
  87     similarly to play at F1 and create the snapback if I test with
  88     playout=moggy:capturerate=0, it reliably destroys the snapback
  89     i.e. with capturerate=90, white is much more likely to come back
  90     to the situation later even when playing tenuki first.
  91
  92 * http://files.gokgs.com/games/2011/1/15/pachi2-rollingon.sgf semeai
  93   big semeai with easy counting of liberties misjuged
  94   move 169 0.7322 -> move 171  0.2600
  95
  96 * http://files.gokgs.com/games/2011/2/18/pachi2-tf-3.sgf seki
  97   lost because of unrecognized seki
  98
  99 * http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf falseeye
 100   threw away a won game. pachi thought until the end that top left
 101   white group was dead, so it made silly moves elsewhere.
 102   The playouts must be prevented from filling the eye at A17.
 103
 104 * http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf falseeye
 105   exactly the same problem as botkiller2-pachi30s.sgf:
 106   pachi considers the top left black group as unsettled
 107   although it is clearly alive. So it makes silly moves
 108   elsewhere. We have to fix this bug, it is too frequent.
 109
 110 * http://files.gokgs.com/games/2011/6/9/jinen-pachi30s-2.sgf ko
 111   move 165 G5 again playing the ko threat before the ko.
 112   move 187 R18 is not a ko threat
 113   move 215:
 114     At this point pachi still considers the top right as
 115     unsetled, although it is is clearly lost for B. So pachi's
 116     estimate of winning by 61% is way too optimistic.
 117
 118 * http://files.gokgs.com/games/2011/6/14/pachi2-Regenbogen.sgf
 119   pachi doesn't see that bent four in top left corner is dead.
 120   Still thinks it is winning 79% at move 250 G4.
 121
 122 * http://files.gokgs.com/games/2011/6/14/pachi2-cdocdo-3.sgf semeai
 123   pachi loses every semai by a large number of liberties
 124   but still considers itself winning 57% up to move 222 G16.
 125
 126 * http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf ladder
 127   moves 102..108 playing a broken ladder
 128
 129 * http://files.gokgs.com/games/2011/6/18/dorabon-pachi2-4.sgf semeai falseeye
 130   pachi considers the bottom left semeai won by black (but black
 131   loses it) and the bottom right as undecided (white is clearly
 132   alive). At move 270 L4 it still thinks it is leading by 80%
 133   although the game is lost.
 134   The bottom right is the same problem as
 135   http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf
 136   and http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf
 137   This corner shape is very frequent and pachi always gets it wrong.
 138
 139 * http://files.gokgs.com/games/2011/6/18/pachi2-ultimakang-4.sgf
 140   pachi was winning up to move 230 Q14 big mistake. Win ratio dropped
 141   from 60% to 25% at next move.
 142
 143 * http://files.gokgs.com/games/2011/6/18/akkannbee-pachi2.sgf seki
 144   pachi totally confused by very simple seki.
 145
 146 * http://files.gokgs.com/games/2011/7/6/xiaosugi-pachi2.sgf seki
 147   pachi thinks until the end that it wins by 80% because it
 148   doesn't understand the seki in lower right. It should have lost
 149   by 42.5 points but white mistakenly agreed to treat the seki as dead.
 150
 151 * http://files.gokgs.com/games/2011/7/5/pachi2-azlan7-2.sgf
 152   move 84 E10 & 86 F10 big mistakes, leave white group dead.
 153   (amazingly pachi recovered and azlan7 escaped in the end).
 154
 155 * http://files.gokgs.com/games/2011/7/5/fafahhhh-pachi2.sgf
 156   threw away won game, probably because of complex corner situations
 157   won by time but game was lost on board
 158
 159 * http://files.gokgs.com/games/2011/7/3/pachi2-oasis7.sgf
 160   Passed even though a dead opponent group was marked alive.
 161
 162 * http://files.gokgs.com/games/2011/7/28/pachi2-Novicer.sgf falseeye
 163   Pachi makes many stupid moves because it thinks the top left
 164   corner is unsettled although it is clearly alive. This shape
 165   (4 in a row) is so simple that it should get it right.
 166   W 252 S11 bad
 167   W 256 T12 bad
 168   W 264 E19 doesn't make sense, but still 69%
 169   W 266 H19 doesn't make sense, but still 61%
 170   W 268 T9 should be T8
 171   W 292 A17 50%, W 294 R6 37% shows that top left was not
 172     evaluated correctly.
 173   Also false eye evaluation problem in bottom left.
 174
 175 * http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf ladder
 176   W 132 C9, W 134 B8, W 136 A8 plays a broken ladder but win ratio 52%
 177   so it should not play desperate moves.
 178   Pachi thought it was winning 72% at W 198 M3 but lost the game.
 179
 180 * http://files.gokgs.com/games/2011/7/16/ihatebots-pachi2.sgf semeai
 181   pachi threw away the game because it didn't evaluate the
 182   semeai in bottom left correctly.
 183
 184 * http://files.gokgs.com/games/2011/7/31/pachi2-Drogba987.sgf
 185   B 28 H4 should be at F1 or G1 to save E2 & E3 and the game.
 186   Pachi usually finds this so I'm surprised it didn't get it here.
 187
 188 * http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf ladder
 189   move 150 R19: pachi extends a losing ladder
 190
 191 * http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf ladder
 192   move 121 L19: pachi extends a losing ladder
 193
 194 * http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf ladder
 195   move 143 N19: pachi extends a losing ladder
 196   This ladder bug seems more frequent since e9df2b6 (even though
 197   this change made Pachi 40 elo stronger).
 198
 199 * http://files.gokgs.com/games/2011/8/10/jerryfish-pachi2.sgf semeai
 200   lost even game against 3k. Win ratio drops from 61% at 117 N1
 201   to 49% at the next move. So pachi didn't evaluate the semai correctly.
 202
 203 * http://files.gokgs.com/games/2011/8/12/xiaosugi-pachi2.sgf falseeye
 204   Pachi hallucinated again on bottom right corner.
 205   This is the same problem as
 206     http://files.gokgs.com/games/2011/6/18/dorabon-pachi2-4.sgf
 207     http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf
 208     http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf
 209   This corner shape is very frequent and pachi always gets it wrong.
 210
 211 * http://files.gokgs.com/games/2011/8/24/StoneGrid-pachi2.sgf ladder
 212   Move 51 onwards: pachi plays a broken ladder, which almost cost the game.
 213   This might be the same bug as
 214     http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf
 215     http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf
 216     http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf
 217     http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf
 218     http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf
 219     http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf
 220     http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf
 221     http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf
 222
 223 * http://files.gokgs.com/games/2011/9/4/pachi2-stv.sgf ladder
 224   Move 48 onwards: pachi plays a broken ladder, which cost not
 225   just the game but also the first place in the tournament.
 226   See also broken ladders in
 227     http://files.gokgs.com/games/2011/8/24/StoneGrid-pachi2.sgf
 228     http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf
 229     http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf
 230     http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf
 231     http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf
 232     http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf
 233     http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf
 234     http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf
 235     http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf