tex/POSUDEK4

   1
   2 The reviewer does not seem to have read our paper or our reactions to
   3 his review carefully. Some of his remarks are simply invalid as they
   4 complain about things we have not written. Other remarks were addressed
   5 in our previous reply and the reviewer ignores our replies and simply
   6 repeats what he has said previously.
   7
   8 More detailed reply follows.
   9
  10 >Reviewer: 2
  11 > Comments to the Author The authors failed to properly address my
  12 > previous comments. They ignored some of the references I provided which
  13 > demonstrated a lack of novelty in their approach. Instead of discussing
  14 > these references properly to differentiate their work from previous
  15 > work in the literature, they chose to ignore that literature.
  16
  17 We explained our decision to ignore the 2 of 3 papers suggested in
  18 previous-previous-Reply To Rewievers, which I include below this reply
  19 for the sake of clarity.
  20
  21 We found the 2 of these 3 papers irrelevant and feebly useful. The papers
  22 deal with general go-unspecific Skill and Competence theory, which -
  23 judging by the results in papers provided - presents tools that do not
  24 perform nearly as good as our solution, as we mention in the paper.
  25
  26 > Moreover, the paper is written as a simple undergraduate
  27 > project. Describing the different basic classifiers which are all
  28 > available in Weka (noting that the authors did not acknowledge which
  29 > software they used) is not appropriate for a journal on the level
  30 > of CIAIG.
  31
  32 I shall leave the judging of whether our paper is or is not written as
  33 a simple undergraduate project to some other authority. Even though,
  34 a project does not have to be complex and/or postgraduate to be novel and
  35 interesting.
  36
  37 Were this content not appropriate for TCIAIG, the descriptions
  38 of the classifiers could be trimmed.  However, we consider a gentle
  39 introduction to data-mining methods used beneficial, regarding the fact
  40 that the paper is targeted for people who might not be familiar with
  41 data-mining.
  42
  43 The note about not acknowledging the software we used is simply false. We
  44 acknowledged and referenced the software used rigorously and thoroughly
  45 in the section III. G. (Data Mining > Implementation).
  46
  47 > Putting all of that aside, the approach does not scale and the fact
  48 > that they only focused on clusters with a specific group of ranking
  49 > does not prove the aim of the paper. Some statements demonstrate a lack
  50 > of understanding of classification. For example, how can you say that
  51 > neural networks do not work when you increase sample size? This does
  52 > not make any sense.
  53
  54 I do not understand how the reviewer means that our approach does not
  55 scale. The more data (the bigger the scale) the more precisely we can
  56 infer various characteristics of players. Moreover our feature extraction
  57 procedure can be used to infer different things one might be interested
  58 in. The examples of Style, Strength, Year of player presented in paper
  59 are just proofs of concept.
  60
  61 Our paper focused on devising Go-specific, good performing, informed
  62 approaches to feature extraction to describe a player (or generaly any
  63 group of players/games with some common relationship), a requirement
  64 we believe has been met.
  65
  66 The reviewer does not seem to have read our paper very deeply and did
  67 not understand our methodology of preparing the training vectors by
  68 sampling of the game set.  We said quite the opposite (to cite our paper,
  69 Section IV-C2):
  70         However, DUE TO THE DECREASING NUMBER OF TRAINING
  71         VECTORS with increasing game sample sizes, the neural network
  72         gets unusable for large sample sizes.
  73
  74 Understandably, given a fixed number of games in the database, the
  75 bigger the number of games we use to sample one training vector, the
  76 smaller the number of vectors.
  77
  78 We have tried to make this even clearer in this revision of the paper.
  79
  80 > There is no justification given as to why did you choose these
  81 > classifiers. There is no discussion whatsoever on generalization. The
  82 > results do not differentiate between training and testing. Overall, the
  83 > classification results are flawed from a machine learning perspective.
  84
  85 As presented in the paper, the classifiers were used to prove that the
  86 pattern trend analysis and feature extraction suggested in the paper
  87 work. As these machine learning tools simply learn a mapping, some other
  88 tools might be freely chosen to learn from our pattern vectors. We have
  89 shown that even with some basic classifiers we used, the pattern analysis
  90 and feature extraction approach suggested is viable, and it is perfectly
  91 possible to reliably infer non-trivial information even from a small
  92 sample of games.
  93
  94 From a machine learning perspective, our results are not flawed at all.
  95 As we write in the paper, we have strictly divided the data samples to
  96 Training and Testing data and performed a many-fold cross validation to
  97 maximize the reliability of our approach.
  98
  99 As clearly stated in the paper, the results presented in the
 100 tables are always the results for Testing data. Though we could add
 101 performance-tables of the methods for the Training data, these are not
 102 very interesting from our point of view and would practically double
 103 the current number of tables.
 104
 105 ======================================================================
 106 ====== Below is the aforementioned last reply to the reviewer ========
 107 ======================================================================
 108
 109
 110 > In this paper, the authors collected a large corpus of GO games and
 111 > analysed it using data mining techniques. The idea is not novel, as it
 112 > seems that the authors are not aware of the large literature that exists
 113 > on this topic. For example, you should discuss in details the following
 114 > work in your paper
 115 >
 116 > Ghoneim A., Essam D., and Abbass H.A. (2011) On Computations and
 117 > Strategies for Real and Artificial Systems, European Conference on
 118 > Artificial Life, Paris, August 8-12.
 119 >
 120 > Ghoneim A., Essam D., and Abbass H.A. (2011) Competency Awareness in
 121 > Strategic Decision Making, IEEE Conference on Cognitive Methods in
 122 > Situation Awareness and Decision Support, Florida, USA, February, 2011.
 123 >
 124 > Michael Harré, Terry Bossomaier, Allan Snyder: The Development of
 125 > Human Expertise in a Complex Environment. Minds and Machines 21(3):
 126 > 449-464 (2011)
 127
 128 We were not aware of this research, so we have altered our paper to
 129 mention the second conference paper, which seems to be relevant. However,
 130 we still consider our work novel, since the solution in the paper 1)
 131 uses GnuGo as a blackbox, making it hard to do any pattern analysis,
 132 diminishing the Go-theoretical and study usage. 2) does not develop any
 133 specialized Go-concerned techniques 3) performs poorly.
 134
 135 > The analysis of style is interesting. However, the whole paper is taking
 136 > a pure data analysis approach. The paper has a table after another,
 137 > with minimum discussion of the theory or the implications of the results.
 138 > On the theory side, the authors need to discuss the skill and competency
 139 > literature, which represent the foundation for this work. From the
 140 > implications side, what does this all mean? Putting together the list of
 141 > discoveries from this work, how will it translate into something useful
 142 > for playing go? What is the use of this research?
 143
 144 The tables and precise data are very important to back up the statements
 145 about the performance of our framework. Additionaly, precise numerical
 146 results allow for replication of our results and their comparison with
 147 other methods possibly developed in the future. In this manner our paper
 148 tries to honour the rigorous scientific methodology.
 149
 150 Although our work might be viewed through the skill and competency theory,
 151 we do not find these very useful or relevant for Go-analysis.
 152
 153 We believe that we have made the possible implications and uses for
 154 playing Go clear in Section VI (Proposed Applications), and Section VII
 155 (Future Work). We are currently preparing online application based on
 156 the research, which will help to pinpoint patterns to avoid, games to
 157 replay and possible study directions.