t-regress/TODO

   1 A list of games to put in the regression suite.
   2
   3 This list can be processed automatically:
   4
   5         sed -ne 's/^\* //p' <TODO | while read r c; do echo wget -O $(echo "$r" | sed 's#.*games/##' | tr / - | sed 's/-\([^-]\)-/-0\1-/g;s/-\([^-]\)-/-0\1-/') "$r"; done
   6
   7 * http://files.gokgs.com/games/2011/6/5/pachi2-SimpleBot.sgf ladder
   8   pachi shouldn't play the broken ladders up to move 53
   9
  10 * http://files.gokgs.com/games/2011/5/29/snowmen-pachi2.sgf
  11     169 B5 seems to be the losing move. This move doesn't make sense.
  12   Pachi has been wrongly evaluating both bottom group around S4 (it's just
  13   hairy for simulations) and top group around A19 - that one is a bit more
  14   interesting, the problem is that black is double likely to play E19
  15   (since it's C19 selfatari cousin), but after E19, white will not notice
  16   the need to connect at C19. Not sure how to solve this yet, perhaps some
  17   way to add cousins to last_move logic...
  18
  19 * http://files.gokgs.com/games/2011/5/28/pachi2-Rubel.sgf
  20     won game lost: 212 H13 should be at J12.
  21
  22 * http://files.gokgs.com/games/2011/5/27/ManyFaces1-pachi2.sgf
  23    had won game, move 135 F1 very bad. at end doesn't see ko at t7. (b t10
  24 kills above)
  25
  26 * http://files.gokgs.com/games/2011/5/23/pachi2-ManyFaces1.sgf
  27   leading up to 90% then lost.
  28   bad evaluation of 3 areas according to pasky.
  29
  30 * http://files.gokgs.com/games/2011/5/25/pachi2-Zen19S.sgf
  31   lost but was leading according to ajahuang and Zen itself
  32
  33 * http://files.gokgs.com/games/2011/2/20/ramesses2-pachi2.sgf
  34   good example of losing a won game.
  35
  36 * http://files.gokgs.com/games/2011/2/18/pachi2-tf-3.sgf seki
  37   lost because of unrecognized seki
  38
  39 * http://files.gokgs.com/games/2011/6/9/jinen-pachi30s-2.sgf ko
  40   move 165 G5 again playing the ko threat before the ko.
  41   move 187 R18 is not a ko threat
  42   move 215:
  43     At this point pachi still considers the top right as
  44     unsetled, although it is is clearly lost for B. So pachi's
  45     estimate of winning by 61% is way too optimistic.
  46
  47 * http://files.gokgs.com/games/2011/6/14/pachi2-Regenbogen.sgf
  48   pachi doesn't see that bent four in top left corner is dead.
  49   Still thinks it is winning 79% at move 250 G4.
  50
  51 * http://files.gokgs.com/games/2011/6/14/pachi2-cdocdo-3.sgf semeai
  52   pachi loses every semai by a large number of liberties
  53   but still considers itself winning 57% up to move 222 G16.
  54
  55 * http://files.gokgs.com/games/2011/6/18/pachi2-ultimakang-4.sgf
  56   pachi was winning up to move 230 Q14 big mistake. Win ratio dropped
  57   from 60% to 25% at next move.
  58
  59 * http://files.gokgs.com/games/2011/6/18/akkannbee-pachi2.sgf seki
  60   pachi totally confused by very simple seki.
  61
  62 * http://files.gokgs.com/games/2011/7/6/xiaosugi-pachi2.sgf seki
  63   pachi thinks until the end that it wins by 80% because it
  64   doesn't understand the seki in lower right. It should have lost
  65   by 42.5 points but white mistakenly agreed to treat the seki as dead.
  66
  67 * http://files.gokgs.com/games/2011/7/5/pachi2-azlan7-2.sgf
  68   move 84 E10 & 86 F10 big mistakes, leave white group dead.
  69   (amazingly pachi recovered and azlan7 escaped in the end).
  70
  71 * http://files.gokgs.com/games/2011/7/5/fafahhhh-pachi2.sgf
  72   threw away won game, probably because of complex corner situations
  73   won by time but game was lost on board
  74
  75 * http://files.gokgs.com/games/2011/7/3/pachi2-oasis7.sgf
  76   Passed even though a dead opponent group was marked alive.
  77
  78 * http://files.gokgs.com/games/2011/7/16/ihatebots-pachi2.sgf semeai
  79   pachi threw away the game because it didn't evaluate the
  80   semeai in bottom left correctly.
  81
  82 * http://files.gokgs.com/games/2011/7/31/pachi2-Drogba987.sgf
  83   B 28 H4 should be at F1 or G1 to save E2 & E3 and the game.
  84   Pachi usually finds this so I'm surprised it didn't get it here.
  85
  86 * http://files.gokgs.com/games/2011/8/10/jerryfish-pachi2.sgf semeai
  87   lost even game against 3k. Win ratio drops from 61% at 117 N1
  88   to 49% at the next move. So pachi didn't evaluate the semai correctly.