tex/POSUDEK4

   1 >Reviewer: 2
   2 > Comments to the Author The authors failed to properly address my
   3 > previous comments. They ignored some of the references I provided which
   4 > demonstrated a lack of novelty in their approach. Instead of discussing
   5 > these references properly to differentiate their work from previous
   6 > work in the literature, they chose to ignore that literature.
   7
   8 We explained our decision to ignore the 2 of 3 papers suggested in
   9 previous-previous-Reply To Rewievers, which I include below this reply
  10 for the sake of clarity.
  11
  12 We found the 2 other papers irrelevant and feebly useful. The papers deal
  13 with general go-unspecific Skill and Competence theory, which - judging
  14 by the results in papers provided - present tools that do not perform
  15 nearly as good as our solution, as we mention in the paper.
  16
  17 > Moreover, the paper is written as a simple undergraduate
  18 > project. Describing the different basic classifiers which are all
  19 > available in Weka (noting that the authors did not acknowledge which
  20 > software they used) is not appropriate for a journal on the level
  21 > of CIAIG.
  22
  23 I shall leave the judging of whether our paper is or is not written as
  24 a simple undergraduate project to some other authority. Even though,
  25 a project does not have to be complex and/or postgraduate to be novel and
  26 interesting.
  27
  28 We consider a gentle introduction to data-mining methods used
  29 as a positive thing regarding the fact that the paper is targeted for
  30 people who might not be familiar with data-mining.
  31
  32 The note about not acknowledging software we used is simply false. We
  33 acknowledged and referenced the software used rigorously and thoroughly
  34 in the section III. G. (Data Mining > Implementation).
  35
  36 > Putting all of that aside, the approach does not scale and the fact
  37 > that they only focused on clusters with a specific group of ranking
  38 > does not prove the aim of the paper. Some statements demonstrate a lack
  39 > of understanding of classification. For example, how can you say that
  40 > neural networks do not work when you increase sample size? This does
  41 > not make any sense.
  42
  43 I do not understand how does the reviewer mean that our approach does not
  44 scale. The more data (the bigger the scale) the more precisely we can
  45 infer various characteristics of players. Moreover our feature extraction
  46 procedure can be used to infer different things one might be interested
  47 in. The examples of Style, Strength, Year of player presented in paper
  48 are just proofs of concept.
  49
  50 Our paper focused on devising Go-specific, good performing, informed
  51 approaches to feature extraction to describe a player (or generaly any
  52 group of players/games with some common relationship), a requirement
  53 we believe has been met.
  54
  55 The reviewer does not seem to have read our paper very deeply and did
  56 not understand our methodology of preparing the training vectors by
  57 sampling of the game set.  We said quite the opposite (to cite our paper,
  58 Section IV-C2):
  59         However, DUE TO THE DECREASING NUMBER OF TRAINING
  60         VECTORS with increasing game sample sizes, the neural network
  61         gets unusable for large sample sizes.
  62
  63 Understandably, given a fixed number of games in the database, the
  64 biggger the number of games we use to sample one training vector, the
  65 smaller the number of vectors.
  66
  67 We have tried to make this even clearer in this revision of the paper.
  68
  69 > There is no justification given as to why did you choose these
  70 > classifiers. There is no discussion whatsoever on generalization. The
  71 > results do not differentiate between training and testing. Overall, the
  72 > classification results are flawed from a machine learning perspective.
  73
  74 As presented in the paper, the classifiers were used to prove that the
  75 pattern trend analysis and feature extraction suggested in the paper
  76 work. As these machine learning tools simply learn a mapping, some other
  77 tools might be freely chosen to learn from our pattern vectors. We have
  78 shown that even with some basic classifiers we used, the pattern analysis
  79 and feature extraction approach suggested is viable, and it is perfectly
  80 possible to reliably infer non-trivial information even from a small
  81 sample of games.
  82
  83 From a machine learning perspective, our results are not flawed at all.
  84 As we write in the paper, we have strictly divided the data samples to
  85 Training and Testing data and performed a many-fold cross validation to
  86 maximize the reliability of our approach.
  87
  88 As clearly stated in the paper, the results presented in the
  89 tables are always the results for Testing data. Though we could add
  90 performance-tables of the methods for the Training data, these are not
  91 very interesting from our point of view and would practically doubled
  92 the current number of tables.
  93
  94 ======================================================================
  95 ====== Below is the aforementioned last reply to the reviewer ========
  96 ======================================================================
  97
  98
  99 > In this paper, the authors collected a large corpus of GO games and
 100 > analysed it using data mining techniques. The idea is not novel, as it
 101 > seems that the authors are not aware of the large literature that exists
 102 > on this topic. For example, you should discuss in details the following
 103 > work in your paper
 104 >
 105 > Ghoneim A., Essam D., and Abbass H.A. (2011) On Computations and
 106 > Strategies for Real and Artificial Systems, European Conference on
 107 > Artificial Life, Paris, August 8-12.
 108 >
 109 > Ghoneim A., Essam D., and Abbass H.A. (2011) Competency Awareness in
 110 > Strategic Decision Making, IEEE Conference on Cognitive Methods in
 111 > Situation Awareness and Decision Support, Florida, USA, February, 2011.
 112 >
 113 > Michael Harré, Terry Bossomaier, Allan Snyder: The Development of
 114 > Human Expertise in a Complex Environment. Minds and Machines 21(3):
 115 > 449-464 (2011)
 116
 117 We were not aware of this research, so we have altered our paper to
 118 mention the second conference paper, which seems to be relevant. However,
 119 we still consider our work novel, since the solution in the paper 1)
 120 uses GnuGo as a blackbox, making it hard to do any pattern analysis,
 121 diminishing the Go-theoretical and study usage. 2) does not develop any
 122 specialized Go-concerned techniques 3) performs poorly.
 123
 124 > The analysis of style is interesting. However, the whole paper is taking
 125 > a pure data analysis approach. The paper has a table after another,
 126 > with minimum discussion of the theory or the implications of the results.
 127 > On the theory side, the authors need to discuss the skill and competency
 128 > literature, which represent the foundation for this work. From the
 129 > implications side, what does this all mean? Putting together the list of
 130 > discoveries from this work, how will it translate into something useful
 131 > for playing go? What is the use of this research?
 132
 133 The tables and precise data are very important to back up the statements
 134 about the performance of our framework. Additionaly, precise numerical
 135 results allow for replication of our results and their comparison with
 136 other methods possibly developed in the future. In this manner our paper
 137 tries to honour the rigorous scientific methodology.
 138
 139 Although our work might be viewed through the skill and competency theory,
 140 we do not find these very useful or relevant for Go-analysis.
 141
 142 We believe that we have made the possible implications and uses for
 143 playing Go clear in Section VI (Proposed Applications), and Section VII
 144 (Future Work). We are currently preparing online application based on
 145 the research, which will help to pinpoint patterns to avoid, games to
 146 replay and possible study directions.