t-regress/TODO

   1 A list of games to put in the regression suite.
   2
   3 This list can be processed automatically:
   4
   5         sed -ne 's/^\* //p' <TODO | while read r c; do echo wget -O $(echo "$r" | sed 's#.*games/##' | tr / - | sed 's/-\([^-]\)-/-0\1-/g;s/-\([^-]\)-/-0\1-/') "$r"; done
   6
   7 * http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf ladder
   8   pachi shouldn't play the broken ladders up to move 53
   9
  10 * http://files.gokgs.com/games/2011/5/29/snowmen-pachi2.sgf
  11     169 B5 seems to be the losing move. This move doesn't make sense.
  12   Pachi has been wrongly evaluating both bottom group around S4 (it's just
  13   hairy for simulations) and top group around A19 - that one is a bit more
  14   interesting, the problem is that black is double likely to play E19
  15   (since it's C19 selfatari cousin), but after E19, white will not notice
  16   the need to connect at C19. Not sure how to solve this yet, perhaps some
  17   way to add cousins to last_move logic...
  18
  19 * http://files.gokgs.com/games/2011/5/28/pachi2-Rubel.sgf
  20     won game lost: 212 H13 should be at J12.
  21
  22 * http://files.gokgs.com/games/2011/5/27/ManyFaces1-pachi2.sgf
  23    had won game, move 135 F1 very bad. at end doesn't see ko at t7. (b t10
  24 kills above)
  25
  26 * http://files.gokgs.com/games/2011/5/23/pachi2-ManyFaces1.sgf
  27   leading up to 90% then lost.
  28   bad evaluation of 3 areas according to pasky.
  29
  30 * http://files.gokgs.com/games/2011/5/25/pachi2-Zen19S.sgf
  31   lost but was leading according to ajahuang and Zen itself
  32
  33 * http://files.gokgs.com/games/2011/2/20/ramesses2-pachi2.sgf
  34   good example of losing a won game.
  35
  36 * http://files.gokgs.com/games/2011/2/18/pachi2-tf-3.sgf seki
  37   lost because of unrecognized seki
  38
  39 * http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf falseeye
  40   threw away a won game. pachi thought until the end that top left
  41   white group was dead, so it made silly moves elsewhere.
  42   The playouts must be prevented from filling the eye at A17.
  43
  44 * http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf falseeye
  45   exactly the same problem as botkiller2-pachi30s.sgf:
  46   pachi considers the top left black group as unsettled
  47   although it is clearly alive. So it makes silly moves
  48   elsewhere. We have to fix this bug, it is too frequent.
  49
  50 * http://files.gokgs.com/games/2011/6/9/jinen-pachi30s-2.sgf ko
  51   move 165 G5 again playing the ko threat before the ko.
  52   move 187 R18 is not a ko threat
  53   move 215:
  54     At this point pachi still considers the top right as
  55     unsetled, although it is is clearly lost for B. So pachi's
  56     estimate of winning by 61% is way too optimistic.
  57
  58 * http://files.gokgs.com/games/2011/6/14/pachi2-Regenbogen.sgf
  59   pachi doesn't see that bent four in top left corner is dead.
  60   Still thinks it is winning 79% at move 250 G4.
  61
  62 * http://files.gokgs.com/games/2011/6/14/pachi2-cdocdo-3.sgf semeai
  63   pachi loses every semai by a large number of liberties
  64   but still considers itself winning 57% up to move 222 G16.
  65
  66 * http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf ladder
  67   moves 102..108 playing a broken ladder
  68
  69 * http://files.gokgs.com/games/2011/6/18/dorabon-pachi2-4.sgf semeai falseeye
  70   pachi considers the bottom left semeai won by black (but black
  71   loses it) and the bottom right as undecided (white is clearly
  72   alive). At move 270 L4 it still thinks it is leading by 80%
  73   although the game is lost.
  74   The bottom right is the same problem as
  75   http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf
  76   and http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf
  77   This corner shape is very frequent and pachi always gets it wrong.
  78
  79 * http://files.gokgs.com/games/2011/6/18/pachi2-ultimakang-4.sgf
  80   pachi was winning up to move 230 Q14 big mistake. Win ratio dropped
  81   from 60% to 25% at next move.
  82
  83 * http://files.gokgs.com/games/2011/6/18/akkannbee-pachi2.sgf seki
  84   pachi totally confused by very simple seki.
  85
  86 * http://files.gokgs.com/games/2011/7/6/xiaosugi-pachi2.sgf seki
  87   pachi thinks until the end that it wins by 80% because it
  88   doesn't understand the seki in lower right. It should have lost
  89   by 42.5 points but white mistakenly agreed to treat the seki as dead.
  90
  91 * http://files.gokgs.com/games/2011/7/5/pachi2-azlan7-2.sgf
  92   move 84 E10 & 86 F10 big mistakes, leave white group dead.
  93   (amazingly pachi recovered and azlan7 escaped in the end).
  94
  95 * http://files.gokgs.com/games/2011/7/5/fafahhhh-pachi2.sgf
  96   threw away won game, probably because of complex corner situations
  97   won by time but game was lost on board
  98
  99 * http://files.gokgs.com/games/2011/7/3/pachi2-oasis7.sgf
 100   Passed even though a dead opponent group was marked alive.
 101
 102 * http://files.gokgs.com/games/2011/7/28/pachi2-Novicer.sgf falseeye
 103   Pachi makes many stupid moves because it thinks the top left
 104   corner is unsettled although it is clearly alive. This shape
 105   (4 in a row) is so simple that it should get it right.
 106   W 252 S11 bad
 107   W 256 T12 bad
 108   W 264 E19 doesn't make sense, but still 69%
 109   W 266 H19 doesn't make sense, but still 61%
 110   W 268 T9 should be T8
 111   W 292 A17 50%, W 294 R6 37% shows that top left was not
 112     evaluated correctly.
 113   Also false eye evaluation problem in bottom left.
 114
 115 * http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf ladder
 116   W 132 C9, W 134 B8, W 136 A8 plays a broken ladder but win ratio 52%
 117   so it should not play desperate moves.
 118   Pachi thought it was winning 72% at W 198 M3 but lost the game.
 119
 120 * http://files.gokgs.com/games/2011/7/16/ihatebots-pachi2.sgf semeai
 121   pachi threw away the game because it didn't evaluate the
 122   semeai in bottom left correctly.
 123
 124 * http://files.gokgs.com/games/2011/7/31/pachi2-Drogba987.sgf
 125   B 28 H4 should be at F1 or G1 to save E2 & E3 and the game.
 126   Pachi usually finds this so I'm surprised it didn't get it here.
 127
 128 * http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf ladder
 129   move 150 R19: pachi extends a losing ladder
 130
 131 * http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf ladder
 132   move 121 L19: pachi extends a losing ladder
 133
 134 * http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf ladder
 135   move 143 N19: pachi extends a losing ladder
 136   This ladder bug seems more frequent since e9df2b6 (even though
 137   this change made Pachi 40 elo stronger).
 138
 139 * http://files.gokgs.com/games/2011/8/10/jerryfish-pachi2.sgf semeai
 140   lost even game against 3k. Win ratio drops from 61% at 117 N1
 141   to 49% at the next move. So pachi didn't evaluate the semai correctly.
 142
 143 * http://files.gokgs.com/games/2011/8/12/xiaosugi-pachi2.sgf falseeye
 144   Pachi hallucinated again on bottom right corner.
 145   This is the same problem as
 146     http://files.gokgs.com/games/2011/6/18/dorabon-pachi2-4.sgf
 147     http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf
 148     http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf
 149   This corner shape is very frequent and pachi always gets it wrong.
 150
 151 * http://files.gokgs.com/games/2011/8/24/StoneGrid-pachi2.sgf ladder
 152   Move 51 onwards: pachi plays a broken ladder, which almost cost the game.
 153   This might be the same bug as
 154     http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf
 155     http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf
 156     http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf
 157     http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf
 158     http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf
 159     http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf
 160     http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf
 161     http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf
 162
 163 * http://files.gokgs.com/games/2011/9/4/pachi2-stv.sgf ladder
 164   Move 48 onwards: pachi plays a broken ladder, which cost not
 165   just the game but also the first place in the tournament.
 166   See also broken ladders in
 167     http://files.gokgs.com/games/2011/8/24/StoneGrid-pachi2.sgf
 168     http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf
 169     http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf
 170     http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf
 171     http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf
 172     http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf
 173     http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf
 174     http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf
 175     http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf