t-regress/TODO

   1 A list of games to put in the regression suite.
   2
   3 This list can be processed automatically:
   4
   5         sed -ne 's/^\* //p' <TODO | while read r c; do echo wget -O $(echo "$r" | sed 's#.*games/##' | tr / - | sed 's/-\([^-]\)-/-0\1-/g;s/-\([^-]\)-/-0\1-/') "$r"; done
   6
   7 * http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf ladder
   8   pachi shouldn't play the broken ladders up to move 53
   9
  10 * http://files.gokgs.com/games/2011/5/29/snowmen-pachi2.sgf
  11     169 B5 seems to be the losing move. This move doesn't make sense.
  12   Pachi has been wrongly evaluating both bottom group around S4 (it's just
  13   hairy for simulations) and top group around A19 - that one is a bit more
  14   interesting, the problem is that black is double likely to play E19
  15   (since it's C19 selfatari cousin), but after E19, white will not notice
  16   the need to connect at C19. Not sure how to solve this yet, perhaps some
  17   way to add cousins to last_move logic...
  18
  19 * http://files.gokgs.com/games/2011/5/28/pachi2-Rubel.sgf
  20     won game lost: 212 H13 should be at J12.
  21
  22 * http://files.gokgs.com/games/2011/5/27/ManyFaces1-pachi2.sgf
  23    had won game, move 135 F1 very bad. at end doesn't see ko at t7. (b t10
  24 kills above)
  25
  26 * http://files.gokgs.com/games/2011/5/23/pachi2-ManyFaces1.sgf
  27   leading up to 90% then lost.
  28   bad evaluation of 3 areas according to pasky.
  29
  30 * http://files.gokgs.com/games/2011/5/25/pachi2-Zen19S.sgf
  31   lost but was leading according to ajahuang and Zen itself
  32
  33 * http://files.gokgs.com/games/2011/2/20/ramesses2-pachi2.sgf
  34   good example of losing a won game.
  35
  36 * http://files.gokgs.com/games/2011/2/18/pachi2-tf-3.sgf seki
  37   lost because of unrecognized seki
  38
  39 * http://files.gokgs.com/games/2011/6/9/jinen-pachi30s-2.sgf ko
  40   move 165 G5 again playing the ko threat before the ko.
  41   move 187 R18 is not a ko threat
  42   move 215:
  43     At this point pachi still considers the top right as
  44     unsetled, although it is is clearly lost for B. So pachi's
  45     estimate of winning by 61% is way too optimistic.
  46
  47 * http://files.gokgs.com/games/2011/6/14/pachi2-Regenbogen.sgf
  48   pachi doesn't see that bent four in top left corner is dead.
  49   Still thinks it is winning 79% at move 250 G4.
  50
  51 * http://files.gokgs.com/games/2011/6/14/pachi2-cdocdo-3.sgf semeai
  52   pachi loses every semai by a large number of liberties
  53   but still considers itself winning 57% up to move 222 G16.
  54
  55 * http://files.gokgs.com/games/2011/6/18/dorabon-pachi2-4.sgf semeai falseeye
  56   pachi considers the bottom left semeai won by black (but black
  57   loses it) and the bottom right as undecided (white is clearly
  58   alive). At move 270 L4 it still thinks it is leading by 80%
  59   although the game is lost.
  60   The bottom right is the same problem as
  61   http://files.gokgs.com/games/2011/6/10/pachi30s-samba-2.sgf
  62   and http://files.gokgs.com/games/2011/6/9/botkiller2-pachi30s.sgf
  63   This corner shape is very frequent and pachi always gets it wrong.
  64
  65 * http://files.gokgs.com/games/2011/6/18/pachi2-ultimakang-4.sgf
  66   pachi was winning up to move 230 Q14 big mistake. Win ratio dropped
  67   from 60% to 25% at next move.
  68
  69 * http://files.gokgs.com/games/2011/6/18/akkannbee-pachi2.sgf seki
  70   pachi totally confused by very simple seki.
  71
  72 * http://files.gokgs.com/games/2011/7/6/xiaosugi-pachi2.sgf seki
  73   pachi thinks until the end that it wins by 80% because it
  74   doesn't understand the seki in lower right. It should have lost
  75   by 42.5 points but white mistakenly agreed to treat the seki as dead.
  76
  77 * http://files.gokgs.com/games/2011/7/5/pachi2-azlan7-2.sgf
  78   move 84 E10 & 86 F10 big mistakes, leave white group dead.
  79   (amazingly pachi recovered and azlan7 escaped in the end).
  80
  81 * http://files.gokgs.com/games/2011/7/5/fafahhhh-pachi2.sgf
  82   threw away won game, probably because of complex corner situations
  83   won by time but game was lost on board
  84
  85 * http://files.gokgs.com/games/2011/7/3/pachi2-oasis7.sgf
  86   Passed even though a dead opponent group was marked alive.
  87
  88 * http://files.gokgs.com/games/2011/7/28/pachi2-Novicer.sgf falseeye
  89   Pachi makes many stupid moves because it thinks the top left
  90   corner is unsettled although it is clearly alive. This shape
  91   (4 in a row) is so simple that it should get it right.
  92   W 252 S11 bad
  93   W 256 T12 bad
  94   W 264 E19 doesn't make sense, but still 69%
  95   W 266 H19 doesn't make sense, but still 61%
  96   W 268 T9 should be T8
  97   W 292 A17 50%, W 294 R6 37% shows that top left was not
  98     evaluated correctly.
  99   Also false eye evaluation problem in bottom left.
 100
 101 * http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf ladder
 102   W 132 C9, W 134 B8, W 136 A8 plays a broken ladder but win ratio 52%
 103   so it should not play desperate moves.
 104   Pachi thought it was winning 72% at W 198 M3 but lost the game.
 105
 106 * http://files.gokgs.com/games/2011/7/16/ihatebots-pachi2.sgf semeai
 107   pachi threw away the game because it didn't evaluate the
 108   semeai in bottom left correctly.
 109
 110 * http://files.gokgs.com/games/2011/7/31/pachi2-Drogba987.sgf
 111   B 28 H4 should be at F1 or G1 to save E2 & E3 and the game.
 112   Pachi usually finds this so I'm surprised it didn't get it here.
 113
 114 * http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf ladder
 115   move 150 R19: pachi extends a losing ladder
 116
 117 * http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf ladder
 118   move 121 L19: pachi extends a losing ladder
 119
 120 * http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf ladder
 121   move 143 N19: pachi extends a losing ladder
 122   This ladder bug seems more frequent since e9df2b6 (even though
 123   this change made Pachi 40 elo stronger).
 124
 125 * http://files.gokgs.com/games/2011/8/10/jerryfish-pachi2.sgf semeai
 126   lost even game against 3k. Win ratio drops from 61% at 117 N1
 127   to 49% at the next move. So pachi didn't evaluate the semai correctly.
 128
 129 * http://files.gokgs.com/games/2011/8/24/StoneGrid-pachi2.sgf ladder
 130   Move 51 onwards: pachi plays a broken ladder, which almost cost the game.
 131   This might be the same bug as
 132     http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf
 133     http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf
 134     http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf
 135     http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf
 136     http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf
 137     http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf
 138     http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf
 139     http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf
 140
 141 * http://files.gokgs.com/games/2011/9/4/pachi2-stv.sgf ladder
 142   Move 48 onwards: pachi plays a broken ladder, which cost not
 143   just the game but also the first place in the tournament.
 144   See also broken ladders in
 145     http://files.gokgs.com/games/2011/8/24/StoneGrid-pachi2.sgf
 146     http://files.gokgs.com/games/2011/8/9/somrak-pachi2-2.sgf
 147     http://files.gokgs.com/games/2011/8/9/pachi2-BlueSpark.sgf
 148     http://files.gokgs.com/games/2011/8/8/Dallas-pachi2-2.sgf
 149     http://files.gokgs.com/games/2011/7/28/pachi2-pkunzip-2.sgf
 150     http://files.gokgs.com/games/2011/6/13/pachi30s-Jep.sgf
 151     http://files.gokgs.com/games/2011/6/6/tyzef-pachi30s.sgf
 152     http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf
 153     http://files.gokgs.com/games/2011/1/11/llopl-pachi2.sgf