t-regress/TODO

   1 A list of games to put in the regression suite.
   2
   3 This list can be processed automatically:
   4
   5         sed -ne 's/^\* //p' <TODO | while read r c; do echo wget -O $(echo "$r" | sed 's#.*games/##' | tr / - | sed 's/-\([^-]\)-/-0\1-/g;s/-\([^-]\)-/-0\1-/') "$r"; done
   6
   7 * http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf ladder
   8   pachi shouldn't play the broken ladders up to move 53
   9
  10 * http://files.gokgs.com/games/2011/5/29/snowmen-pachi2.sgf
  11     169 B5 seems to be the losing move. This move doesn't make sense.
  12   Pachi has been wrongly evaluating both bottom group around S4 (it's just
  13   hairy for simulations) and top group around A19 - that one is a bit more
  14   interesting, the problem is that black is double likely to play E19
  15   (since it's C19 selfatari cousin), but after E19, white will not notice
  16   the need to connect at C19. Not sure how to solve this yet, perhaps some
  17   way to add cousins to last_move logic...
  18
  19 * http://files.gokgs.com/games/2011/5/28/pachi2-Rubel.sgf
  20     won game lost: 212 H13 should be at J12.
  21
  22 * http://files.gokgs.com/games/2011/5/27/ManyFaces1-pachi2.sgf
  23    had won game, move 135 F1 very bad. at end doesn't see ko at t7. (b t10
  24 kills above)
  25
  26 * http://files.gokgs.com/games/2011/5/23/pachi2-ManyFaces1.sgf
  27   leading up to 90% then lost.
  28   bad evaluation of 3 areas according to pasky.
  29
  30 * http://files.gokgs.com/games/2011/5/25/pachi2-Zen19S.sgf
  31   lost but was leading according to ajahuang and Zen itself
  32
  33 * http://files.gokgs.com/games/2011/2/20/ramesses2-pachi2.sgf
  34   good example of losing a won game.
  35
  36 * http://files.gokgs.com/games/2011/1/15/pachi2-rollingon.sgf semeai
  37   big semeai with easy counting of liberties misjuged
  38   move 169 0.7322 -> move 171  0.2600
  39
  40 * http://files.gokgs.com/games/2011/2/18/pachi2-tf-3.sgf seki
  41   lost because of unrecognized seki
  42
  43 * http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf falseeye
  44   threw away a won game. pachi thought until the end that top left
  45   white group was dead, so it made silly moves elsewhere.
  46   The playouts must be prevented from filling the eye at A17.
  47
  48 * http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf falseeye
  49   exactly the same problem as botkiller2-pachi30s.sgf:
  50   pachi considers the top left black group as unsettled
  51   although it is clearly alive. So it makes silly moves
  52   elsewhere. We have to fix this bug, it is too frequent.
  53
  54 * http://files.gokgs.com/games/2011/6/9/jinen-pachi30s-2.sgf ko
  55   move 165 G5 again playing the ko threat before the ko.
  56   move 187 R18 is not a ko threat
  57   move 215:
  58     At this point pachi still considers the top right as
  59     unsetled, although it is is clearly lost for B. So pachi's
  60     estimate of winning by 61% is way too optimistic.
  61
  62 * http://files.gokgs.com/games/2011/6/14/pachi2-Regenbogen.sgf
  63   pachi doesn't see that bent four in top left corner is dead.
  64   Still thinks it is winning 79% at move 250 G4.
  65
  66 * http://files.gokgs.com/games/2011/6/14/pachi2-cdocdo-3.sgf semeai
  67   pachi loses every semai by a large number of liberties
  68   but still considers itself winning 57% up to move 222 G16.
  69
  70 * http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf ladder
  71   moves 102..108 playing a broken ladder
  72
  73 * http://files.gokgs.com/games/2011/6/18/dorabon-pachi2-4.sgf semeai falseeye
  74   pachi considers the bottom left semeai won by black (but black
  75   loses it) and the bottom right as undecided (white is clearly
  76   alive). At move 270 L4 it still thinks it is leading by 80%
  77   although the game is lost.
  78   The bottom right is the same problem as
  79   http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf
  80   and http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf
  81   This corner shape is very frequent and pachi always gets it wrong.
  82
  83 * http://files.gokgs.com/games/2011/6/18/pachi2-ultimakang-4.sgf
  84   pachi was winning up to move 230 Q14 big mistake. Win ratio dropped
  85   from 60% to 25% at next move.
  86
  87 * http://files.gokgs.com/games/2011/6/18/akkannbee-pachi2.sgf seki
  88   pachi totally confused by very simple seki.
  89
  90 * http://files.gokgs.com/games/2011/7/6/xiaosugi-pachi2.sgf seki
  91   pachi thinks until the end that it wins by 80% because it
  92   doesn't understand the seki in lower right. It should have lost
  93   by 42.5 points but white mistakenly agreed to treat the seki as dead.
  94
  95 * http://files.gokgs.com/games/2011/7/5/pachi2-azlan7-2.sgf
  96   move 84 E10 & 86 F10 big mistakes, leave white group dead.
  97   (amazingly pachi recovered and azlan7 escaped in the end).
  98
  99 * http://files.gokgs.com/games/2011/7/5/fafahhhh-pachi2.sgf
 100   threw away won game, probably because of complex corner situations
 101   won by time but game was lost on board
 102
 103 * http://files.gokgs.com/games/2011/7/3/pachi2-oasis7.sgf
 104   Passed even though a dead opponent group was marked alive.
 105
 106 * http://files.gokgs.com/games/2011/7/28/pachi2-Novicer.sgf falseeye
 107   Pachi makes many stupid moves because it thinks the top left
 108   corner is unsettled although it is clearly alive. This shape
 109   (4 in a row) is so simple that it should get it right.
 110   W 252 S11 bad
 111   W 256 T12 bad
 112   W 264 E19 doesn't make sense, but still 69%
 113   W 266 H19 doesn't make sense, but still 61%
 114   W 268 T9 should be T8
 115   W 292 A17 50%, W 294 R6 37% shows that top left was not
 116     evaluated correctly.
 117   Also false eye evaluation problem in bottom left.
 118
 119 * http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf ladder
 120   W 132 C9, W 134 B8, W 136 A8 plays a broken ladder but win ratio 52%
 121   so it should not play desperate moves.
 122   Pachi thought it was winning 72% at W 198 M3 but lost the game.
 123
 124 * http://files.gokgs.com/games/2011/7/16/ihatebots-pachi2.sgf semeai
 125   pachi threw away the game because it didn't evaluate the
 126   semeai in bottom left correctly.
 127
 128 * http://files.gokgs.com/games/2011/7/31/pachi2-Drogba987.sgf
 129   B 28 H4 should be at F1 or G1 to save E2 & E3 and the game.
 130   Pachi usually finds this so I'm surprised it didn't get it here.
 131
 132 * http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf ladder
 133   move 150 R19: pachi extends a losing ladder
 134
 135 * http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf ladder
 136   move 121 L19: pachi extends a losing ladder
 137
 138 * http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf ladder
 139   move 143 N19: pachi extends a losing ladder
 140   This ladder bug seems more frequent since e9df2b6 (even though
 141   this change made Pachi 40 elo stronger).
 142
 143 * http://files.gokgs.com/games/2011/8/10/jerryfish-pachi2.sgf semeai
 144   lost even game against 3k. Win ratio drops from 61% at 117 N1
 145   to 49% at the next move. So pachi didn't evaluate the semai correctly.
 146
 147 * http://files.gokgs.com/games/2011/8/12/xiaosugi-pachi2.sgf falseeye
 148   Pachi hallucinated again on bottom right corner.
 149   This is the same problem as
 150     http://files.gokgs.com/games/2011/6/18/dorabon-pachi2-4.sgf
 151     http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf
 152     http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf
 153   This corner shape is very frequent and pachi always gets it wrong.
 154
 155 * http://files.gokgs.com/games/2011/8/24/StoneGrid-pachi2.sgf ladder
 156   Move 51 onwards: pachi plays a broken ladder, which almost cost the game.
 157   This might be the same bug as
 158     http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf
 159     http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf
 160     http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf
 161     http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf
 162     http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf
 163     http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf
 164     http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf
 165     http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf
 166
 167 * http://files.gokgs.com/games/2011/9/4/pachi2-stv.sgf ladder
 168   Move 48 onwards: pachi plays a broken ladder, which cost not
 169   just the game but also the first place in the tournament.
 170   See also broken ladders in
 171     http://files.gokgs.com/games/2011/8/24/StoneGrid-pachi2.sgf
 172     http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf
 173     http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf
 174     http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf
 175     http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf
 176     http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf
 177     http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf
 178     http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf
 179     http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf