TESTS: fba31 19x19
[pachi.git] / TESTS
blobc8f03db88b38bdd0089dca4a74d7a159543f285a
1 Default settings, 5000 playouts.
2 Opponent: gnugo --mode gtp --chinese-rules --capture-all-dead --level 10
3 GNUGo 3.7.12
5 gnugo 19x19 l1 vs l10 k 7.5:    29% (+-2.3%)
6 gnugo 19x19 l1 vs l10 k 0.5:    42.2% (+-2.5%)
7 gnugo 19x19 l1 vs l10 k -7.5:   52.5% (+-2.5%)
8 gnugo 19x19 l1 vs l10 k -14.5:  62.2% (+-2.4%)
9 gnugo 19x19 l1 vs l10 handi 2:  54.7% (+-2.1%)
10 gnugo 19x19 l1 vs l10 handi 3:  71.9% (+-2.2%)
11 gnugo 19x19 l1 vs l10 handi 4:  82.6% (+-1.9%)
14 Unfortunately, some early measurements use 95% confidence interval; all newer
15 ones use the standard error (/1.96) instead, since that's what gogui-twogtp
16 provides.
19 Template:
20 ../../gogui-1.1.10/bin/gogui-twogtp -black  'gnugo --mode gtp --chinese-rules --capture-all-dead --level 10' -white './zzgo-77d2d games=5000,policy=ucb1amaf,playout=moggy' -alternate -auto -verbose -size 9 -komi 7.5 -games 100 -sgffile f1-77d2d
21 for i in *.dat; do ../../gogui-1.1.10/bin/gogui-twogtp -force -analyze $i; done
22 ./test_in_context.sh <directory with results> 9
24 ead8e   ucb1amaf        16.5% (+-4.5%)
26 b2185   ucb1amaf        50% (+-6%)
28 75fff   ucb1amaf        49% (+-4%)
30 c5bea   ucb1amaf        42.5% (+-2.5%)
32 95bf3   ucb1amaf        25.2% (+-4%)
34 c7249   ucb1amaf        34.2% (+-4.8%)
36 9367d   ucb1amaf        37% (+-8%)
38 ce540   ucb1amaf*       42% (+-2%)      selfatarirate=0
39 ce540   ucb1amaf        43% (+-2%)
41 62592   ucb1amaf*       47% (+-2.5%)    selfatarirate=0
42 62592   ucb1amaf        44% (+-2.5%)
43 62592   ucb1amaf*#      45.2% (+-2.5%)  selfatarirate=0,rave_prior
44 62592   ucb1amaf#       47.5% (+-2.5%)  rave_prior
46 1a1eb   ucb1            15% (+-2%)      selfatarirate=0:capturerate=0:lcapturerate=0
48 6e22f   ucb1amaf        49.5% (+-2.5%)
49 6e22f   ucb1amaf*0      48% (+-2.5%)    rave_equiv=6000
50 6e22f   ucb1amaf*1      49% (+-2.5%)    rave_equiv=500
51 6e22f   ucb1amaf#       43.2% (+-2.5%)  explore_p=0
52 6e22f   ucb1amaf#*0     45.8% (+-2.5%)  explore_p=0,rave_equiv=6000
53 6e22f   ucb1amaf#*1     48.8% (+-2.5%)  explore_p=0,rave_equiv=500
54 6e22f   ucb1amaf#0      49.5% (+-2.5%)  explore_p=0.01
55 6e22f   ucb1amaf#1      24.8% (+-2.5%)  explore_p=0.5
56 6e22f   19x19 ucb1amaf  0%
57 6e22f   19x19 ucb1amaf* 0%      explore_p=0.01,rave_equiv=100
59 88fe2   ucb1amaf        50.8% (+-2.5%)
60 88fe2   ucb1amaf*       49.5% (+-2.5%)  selfatarirate=0
62 04b7b   ucb1amaf        60.5% (+-2.4%)
63 04b7b   ucb1amaf*       60.2% (+-2.4%)  selfatarirate=0
64 04b7b   ucb1amaf%1      58.5% (+-2.5%)  rate=75
65 04b7b   ucb1amaf%2      60.8% (+-2.4%)  rate=100
66 04b7b   ucb1amaf#       54.5% (+-2.5%)  explore_p=0
67 04b7b   ucb1amaf^       63.5% (+-2.4%)  threads=2
68 04b7b   ucb1amaf+       71.2% (+-2.3%)  games=10000
69 04b7b   ucb1amaf!       79.5% (+-2%)    playout_amaf
70 04b7b   ucb1amaf!&      46% (+-2.5%)    playout_amaf,patternrate=0
72 82790   ucb1amaf        54.1% (+-2.9%)
73 82790   ucb1amaf!       79% (+-2.9%)    playout_amaf
75 129bb   ucb1amaf        64.5% (+-2.4%)
76 129bb   ucb1amaf!       77.2% (+-2.1%)  playout_amaf
78 <playout_amaf_nakade on by default>
80 605dd   ucb1amaf        56.2% (+-2.5%)
81 605dd   ucb1amaf!       63.5% (+-2.4%)  playout_amaf
83 <unknown playout_amaf regression>
85 c031a   ucb1amaf        52.5% (+-4.2%)
86 c031a   ucb1amaf!       63.4% (+-4.2%)  playout_amaf
88 87b9e   ucb1amaf        53.7% (+-2.1%)
89 87b9e   ucb1amaf#1      59.5% (+-1.7%)  explore_p_rave=0
90 87b9e   ucb1amaf#2      59.1% (+-1.7%)  explore_p=0.01,explore_p_rave=0.01
91 87b9e   ucb1amaf%       56.6% (+-2%)    local_assess
92 87b9e   ucb1amaf*       19% (+-1.3%)    patternrate=0
93 87b9e   ucb1amaf!$      62.8% (+-2.4%)  playout_amaf,rave_equiv=500
94 87b9e   ucb1amaf!#1     62.8% (+-1.7%)  playout_amaf,explore_p=0.01,explore_p_rave=0.01
95 87b9e   ucb1amaf!#2     61.6% (+-1.7%)  playout_amaf,explore_p_rave=0.01
96 87b9e   ucb1amaf!&      61.8% (+-2.4%)  playout_amaf,eqex=25
97 87b9e   ucb1amaf!       61.4% (+-2.1%)  playout_amaf
99 <playout_amaf is now default>
101 093e7   ucb1amaf        60.5% (+-2.4%)
102 093e7   ucb1amaf!       58.8% (+-2.5%)  plaout_amaf=0
103 093e7   ucb1amaf%       60.8% (+-2.4%)  ladders=0
105 <playout_amaf_nakade partially off>
107 635a3   ucb1amaf        65% (+-2.4%)
108 635a3   ucb1amaf        63% (+-2.4%)    explore_p_rave=0.01
110 <playout_amaf_nakade off by default>
112 eac23   ucb1amaf        77.4% (+-1.5%)
113 eac23   ucb1amaf#       76.6% (+-1.5%)  explore_p_rave=0.01
114 eac23   ucb1amaf!       74.3% (+-1.5%)  check_nakade=0
115 eac23   ucb1amaf!#      75.5% (+-1.6%)  check_nakade=0,explore_p_rave=0.01
116 eac23   ucb1amaf!#*     75% (+-1.5%)    check_nakade=0,explore_p_rave=0.01,explore_p=0.01
118 <explore_p_rave=0.01>
120 229b9   ucb1amaf 2k     65.5% (+-2.4%)
121 229b9   ucb1amaf 5k     77.5% (+-2.1%)
122 229b9   ucb1amaf 20k    83.8% (+-1.7%)
123 229b9   ucb1amaf 50k    90% (+-1.5%)
124 229b9   ucb1amaf! 2k    37.8% (+-2.4%)  playout_amaf=0
125 229b9   ucb1amaf! 5k    59% (+-2.5%)    playout_amaf=0
126 229b9   ucb1amaf! 20k   79% (+-2%)      playout_amaf=0
127 229b9   ucb1amaf! 50k   83.5% (+-1.9%)  playout_amaf=0
128 229b9   ucb1amaf% 5k    77.2% (+-2.1%)  ladders=0
129 229b9   ucb1amaf*# 5k   74.9% (+-2.2%)  explore_p=0.005,explore_p_rave=0.005
131 self-play:
132 229b9   ucb1amaf km5.5  B+57.5% (+-2.5%)
133 229b9   ucb1amaf km7.5  B+48.8% (+-2.5%)
135 2d54a   ucb1amaf        72.2% (+-2.2%)
137 8ac8a   ucb1amaf        77% (+-2.1%)
138 8ac8a   ucb1amaf@       77% (+-2.1%)    ladder catcher atari check disabled
139 8ac8a   ucb1amaf 50k    93.5% (+-1.2%)
142 fccfe   ucb1amaf        78% (+-2.1%)
143 fccfe   ucb1amaf#       78.5% (+-2.1%)  rave_prior=0
144 fccfe   ucb1amaf*0      76% (+-2.1%)    playout_amaf_cutoff=50
145 fccfe   ucb1amaf*0!     78.5% (+-2.1%)  playout_amaf_cutoff=50,playout_amaf_nakade=1
146 fccfe   ucb1amaf*1      79.8% (+-2%)    playout_amaf_cutoff=75
147 fccfe   ucb1amaf*1!     74% (+-2.2%)    playout_amaf_cutoff=75,playout_amaf_nakade=1
148 fccfe   ucb1amaf*2      76.7% (+-2.1%)  playout_amaf_cutoff=85
149 fccfe   ucb1amaf*2!     77% (+-2.1%)    playout_amaf_cutoff=85,playout_amaf_nakade=1
150 fccfe   ucb1amaf*3      72% (+-2.2%)    playout_amaf_cutoff=90
151 fccfe   ucb1amaf*3!     73% (+-2.2%)    playout_amaf_cutoff=90,playout_amaf_nakade=1
152 fccfe   ucb1amaf*3      72% (+-2.2%)    playout_amaf_cutoff=90
153 fccfe   ucb1amaf*3!     73% (+-2.2%)    playout_amaf_cutoff=90,playout_amaf_nakade=1
155 Threading test:
156 fccfe   ucb1amaf        78% (+-2.1%)
157 fccfe   ucb1amaf 10k    79.8% (+-2%)
158 fccfe   ucb1amaf t=2    75.5% (+-2.2%)
159 569d7   ucb1amaf t=2    82.9% (+-1.9%)
162 <Multiple board sizes from now on>
164 Fillboard investigations (only 4-lib fillboard yet):
166 569d7   9ucb1amaf!      81.2% (+-2%)    fillboardtries=10
167 569d7   9ucb1amaf 50k   90% (+-1.5%)
168 569d7   9ucb1amaf! 50k  90.8% (+-1.4%)  fillboardtries=10
170 ce382   13ucb1amaf      51.8% (+-2.5%)
171 ce382   13ucb1amaf 50k  79.6% (+-2.6%)
172 569d7   13ucb1amaf!     47% (+-2.5%)    fillboardtries=10
173 569d7   13ucb1amaf! 50k 82.8% (+-2.4%)  fillboardtries=10
176 <many optimizations>
178 4181b   9ucb1amaf       76% (+-2.4%)
179 4181b   13ucb1amaf      47.8% (+-2.5%)
180 4181b   19ucb1amaf      1.6% (+-0.9%)
181 4181b   19ucb1amaf!     1% (+-0.7%)     fillboardtries=10
184 0965e   9ucb1amaf       77.5% (+-2.1%)
185 0965e   9ucb1amaf#      9.5% (+-1.5%)   sylvain_rave=0
186 0965e   9ucb1amaf&      79% (+-2.1%)    self-atari protection turned off for single-stone groups
188 0965e   13ucb1amaf      45.2% (+-2.5%)
189 0965e   13ucb1amaf&     52.2% (+-2.5%)  self-atari protection turned off for single-stone groups
191 <permit snapbacks>
193 234b3   9ucb1amaf       77.2% (+-2.1%)
194 234b3   13ucb1amaf      47% (+-2.5%)
197 <add pattern2>
199 035fc   9ucb1amaf       70.5% (+-2.3%)
200 035fc   9ucb1amaf#      79.8% (+-2%)    pattern2=0
202 <add 2-liberty>
204 74b71   9ucb1amaf       74.2% (+-2.2%)
205 74b71   9ucb1amaf#      77% (+-2.1%)    pattern2=0
206 74b71   13ucb1amaf      46.8% (+-2.5%)
207 74b71   13ucb1amaf#     50.2% (+-2.5%)  pattern2=0
209 e34f9   9ucb1amaf       74.2% (+-2.2%)
210 e34f9   9ucb1amaf#      74% (+-2.2%)    pattern2=0
211 e34f9   9ucb1amaf*      76% (+-2.1%)    atarirate=0
212 e34f9   9ucb1amaf#*     79% (+-2%)      pattern2=0,atarirate=0
213 e34f9   13ucb1amaf      47.2% (+-2.5%)
214 e34f9   13ucb1amaf#     49.7% (+-2.8%)  pattern2=0
215 e34f9   13ucb1amaf#*    52.2% (+-2.5%)  pattern2=0,atarirate=0
217 ba2e1   9ucb1amaf       78.2% (+-2.1%)
218 ba2e1   9ucb1amaf#      81.8% (+-1.9%)  pattern2=0
219 ba2e1   9ucb1amaf*      74.5% (+-2.2%)  atarirate=0
220 ba2e1   9ucb1amaf#*     75.5% (+-2.2%)  pattern2=0,atarirate=0
221 ba2e1   9ucb1amaf#*+    78.5% (+-2.1%)  pattern2=0,atarirate=0,prior_cfgd=6
222 ba2e1   9ucb1amaf+%     81.2% (+-2%)    prior_cfgd=6,prior_b19=6
223 ba2e1   9ucb1amaf#+%    83% (+-1.9%)    pattern2=0,prior_cfgd=6,prior_b19=6
225 ba2e1   13ucb1amaf+     57% (+-2.5%)    prior_cfgd=6
226 ba2e1   13ucb1amaf+%    51.2% (+-2.5%)  prior_cfgd=6,prior_b19=6
227 ba2e1   13ucb1amaf#*+   54.8% (+-2.5%)  pattern2=0,atarirate=0,prior_cfgd=6
229 ba2e1   19ucb1amaf+!    13.8% (+-1.7%)  prior_cfgd=6,fillboard
230 ba2e1   19ucb1amaf+%2   21.2% (+-2%)    prior_cfgd=prior_b19=prior=20
231 ba2e1   19ucb1amaf+%2!  20.5% (+-2%)    prior_cfgd=prior_b19=prior=20,fillboard
232 ba2e1   19ucb1amaf+%3   20.8% (+-2%)    prior_cfgd=prior_b19=prior=30
233 ba2e1   19ucb1amaf+%4   25.8% (+-2.2%)  prior_cfgd=prior_b19=prior=40
234 ba2e1   19ucb1amaf+%5   23.2% (+-2.1%)  prior_cfgd=prior_b19=prior=50
235 ba2e1   19ucb1amaf+%4   24.5% (+-2.2%)  prior_cfgd=prior_b19=prior=40,amaf_prior=0
236 ba2e1   19ucb1amaf#*+%! 9.8% (+-1.5%)   pattern2=0,atarirate=0,prior_cfgd=prior_b19=6,fillboard
237 ba2e1   19ucb1amaf#*+%2 25% (+-2.2%)    pattern2=0,atarirate=0,prior_cfgd=prior_b19=prior=20
238 ba2e1   19ucb1amaf#+%2  26.5% (+-2.2%)  pattern2=0,prior_cfgd=prior_b19=prior=20
239 ba2e1   19ucb1amaf#+%3  24% (+-2.2%)    pattern2=0,prior_cfgd=prior_b19=prior=30
240 ba2e1   19ucb1amaf#+%4  27% (+-2.2%)    pattern2=0,prior_cfgd=prior_b19=prior=40
241 ba2e1   19ucb1amaf#+%2! 22.5% (+-2.1%)  pattern2=0,prior_cfgd=prior_b19=prior=20,fillboard
242 ba2e1   19ucb1amaf#+%2_ 23.5% (+-2.1%)  pattern2=0,prior_cfgd=prior_b19=prior=20,prior_policy=10
243 ba2e1   19ucb1amaf#+%2a 1% (+-0.7%)     pattern2=0,prior_cfgd=prior_b19=prior=20,playouts=1000
244 ba2e1   19ucb1amaf#+%2b 7.2% (+-1.4%)   pattern2=0,prior_cfgd=prior_b19=prior=20,playouts=2000
245 ba2e1   19ucb1amaf#+%2  28.2% (+-2.3%)  pattern2=0,prior_cfgd=prior_b19=prior=20,amaf_prior=0
247 <pattern2=0, prior_cfgd=prior_b19=-1, etc.>
248 <From now on, 19x19 always has % = prior=20>
250 49208   9ucb1amaf       80% (+-2%)
251 49208   9ucb1amaf&      76.8% (+-2.1%)  selfatarirate=0
252 49208   9ucb1amaf_      76.8% (+-2.1%)  can_capture_group() always true (really same rate)
253 49208   19ucb1amaf%     25.4% (+-2.3%)
254 49208   19ucb1amaf%&    18.8% (+-2%)    selfatarirate=0
255 49208   19ucb1amaf%_    19.5% (+-2%)    can_capture_group() always true (really same rate)
257 aef5c   19ucb1amaf%     24.5% (+-2.4%)
259 67561   19ucb1amaf%     29% (+-2.3%)
261 d11b1   9ucb1amaf       81.8% (+-1.9%)  
262 d11b1   9ucb1amaf_      81.5% (+-1.9%)  investigate all nakade neis only in case of snapback (945e5)
263 d11b1   9ucb1amaf*      81.2% (+-2%)    atarirate=0
264 d11b1   9ucb1amaf&      78.8% (+-2.1%)  explore_p_rave=0
265 d11b1   19ucb1amaf%     24% (+-2%)
267 f1c52   19ucb1amaf%     26.2% (+-2.4%)
268 08c0a   19ucb1amaf%     25.5% (+-2.4%)  <d11b1_&>
270 <explore coefficient outside of RAVE>
271 a0f85   9ucb1amaf       80.2% (+-2%)
272 a0f85   9ucb1amaf*1     80.8% (+-2%)    explore_p=0
273 a0f85   9ucb1amaf*2     81.2% (+-2%)    explore_p=0.01
274 a0f85   9ucb1amaf*3     40.2% (+-2.5%)  explore_p=0.6
275 a0f85   19ucb1amaf%     18.8% (+-2%)
277 <UCT value tracking>
279 5524c   9ucb1amaf       84.2% (+-1.8%)
280 5524c   9ucb1amaf^1     70.2% (+-3%)    fuego cfgd
281 5524c   9ucb1amaf^2     77% (+-2.1%)    fuego cfgd, 0.1 for pass
282 5524c   9ucb1amaf^2*    76.5% (+-2.1%)  fuego cfgd, 0.1 for pass, prior_cfgd=4
283 5524c   9ucb1amaf!      81.2% (+-2%)    prior_even is 0.1 for pass
285 5524c   19ucb1amaf%     19.8% (+-2%)
286 5524c   19ucb1amaf%^1   13.2% (+-1.7%)  fuego cfgd
287 5524c   19ucb1amaf%^2   12.5% (+-1.7%)  fuego cfgd, 0.1 for pass
288 5524c   19ucb1amaf%^2*  16.2% (+-1.8%)  fuego cfgd, 0.1 for pass, prior_cfgd=5
289 5524c   19ucb1amaf!     19.6% (+-2%)    prior_even is 0.3 for pass
291 2151a   9ucb1amaf       81.5% (+-1.9%)
292 443e1   9ucb1amaf_1     72.5% (+-2.2%)  Priors just like in Fuego
293 6c6cb   9ucb1amaf_2     70.5% (+-2.3%)  Priors just like in Fuego, including equivalent-best-move
295 2151a   19ucb1amaf      17.8% (+-1.9%)
296 443e1   19ucb1amaf_1    12.2% (+-1.6%)  Priors just like in Fuego
297 6c6cb   19ucb1amaf_2    19.5% (+-2%)    Priors just like in Fuego, including equivalent-best-move
299 03c36   19ucb1amaf%$    17.2% (+-1.9%)  ko=-1, without ko aging yet
301 09368   9ucb1amaf       80.2% (+-2%)
302 09368   9ucb1amaf$      80% (+-2%)      ko=-1
303 09368   9ucb1amaf^      79% (+-2%)      eye=0
304 09368   9ucb1amaf$^     77.2% (+-2.1%)  ko=-1,eye=0
306 a1353   19u1a%*         61.8% (+-3.2%)  10k
307 a1353   19u1a%^1 k-14.5 29.2% (+-2.3%)  dynkomi=150
308 a1353   19u1a% k-14.5   29% (+-2.3%)
309 a1353   19u1a%^1 k-7.5  30% (+-2.3%)    dynkomi=150
310 a1353   19u1a% k-7.5    26.5% (+-2.2%)
311 a1353   19u1a%*^1 k0.5  41.6% (+-3%)    10k, dynkomi=150
312 a1353   19u1a%* k0.5    45.1% (+-3%)    10k
313 a1353   19u1a% k0.5     24% (+-2.1%)
314 a1353   19u1a%^0 k0.5   25.8% (+-2.2%)  dynkomi=100
315 a1353   19u1a%^1 k0.5   24.2% (+-2.1%)  dynkomi=150
316 a1353   19u1a%^2 k0.5   25% (+-2.2%)    dynkomi=200
318 a1267   9ucb1amaf       80.1% (+-2%)
319 a1267   9ucb1amaf~20    20.3% (+-2%)    val_scale=0.15,val_points=10
320 a1267   9ucb1amaf~21    6% (+-1.2%)     val_scale=0.15,val_points=20
321 a1267   9ucb1amaf~22    2.5% (+-0.8%)   val_scale=0.15,val_points=30
322 a1267   9ucb1amaf~00    20.2% (+-1.2%)  val_scale=0.05,val_points=10
323 a1267   9ucb1amaf~11    5.8% (+-1.2%)   val_scale=0.10,val_points=20
324 a1267   9ucb1amaf~31    6.5% (+-2%)     val_scale=0.20,val_points=20
325 a1267   9ucb1amaf~a0    18% (+-1.9%)    val_scale=0.01,val_points=10
326 a1267   9ucb1amaf~a1    3.5% (+-0.9%)   val_scale=0.01,val_points=20
327 a1267   9ucb1amaf~b1    6.8% (+-1.3%)   val_scale=0.02,val_points=20
328 a1267   9ucb1amaf~bx    2.3% (+-0.7$)   val_scale=0.02,val_points=80
329 a1267   19ucb1amaf%     21.8% (+-2.1%)
331 2b830   9ucb1amaf       73% (+-2.2%)
332 2b830   9ucb1amaf_      79% (+-2%)      global atari check picks moves across all atari groups
333 2b830   9ucb1amaf~b1    3.8% (+-1%)     val_scale=0.02,val_points=20
334 2b830   19ucb1amaf%     20.7% (+-3%)
335 2b830   19ucb1amaf%_    20.1% (+-2.4%)  global group atari check picks move across all groups
337 <Bugfixing ensues>
339 cc80e   9ucb1amaf       76.8% (+-2.1%)
340 cc80e   19ucb1amaf%_    18.8% (+-2.7%)  8 neighbors are examined instead of 4 in local atari/2lib check
342 e2a49   9ucb1amaf       81.2% (+-2%)
343 e2a49   9ucb1amaf_      75.8% (+-2.1%)  liberal 2-liberty check (take even liberty where opponent can't play)
344 e2a49   9ucb1amaf 2k    71.2% (+-2.3%)
345 e2a49   9ucb1amaf 3k    65.5% (+-2.4%)
346 e2a49   19ucb1amaf%     25% (+-2.3%)    ??? suspicious bump in percentage
348 f3603   9ucb1amaf       75.8% (+-2.1%)
349 f3603   9ucb1amaf~b1    7% (+-1.3%)     val_scale=0.02,val_points=20
350 f3603   19ucb1amaf%     19.4% (+-2.1%)
352 <fixed non-integer results in AMAF>
354 fba31   9ucb1amaf 40k   94.2% (+-1.2%)
355 fba31   9ucb1amaf~b1    78% (+-2.1%)    val_scale=0.02,val_points=20
356 fba31   9ucb1amaf~ax    80.8% (+-2%)    val_scale=0.01,val_points=80
357 fba31   19ucb1amaf%     20.7% (+-2.2%)
359 c035e   9ucb1amaf       77.5% (+-2.1%)
360 1d4f8   9ucb1amaf       77% (+-2.1%)