A fix to the documentation makefile from John D. Mitchell.
[ragel.git] / TODO
blob85c5440ff03d5892c0203141679ff6cb91cfdca1
1 Guard against including a ragel file more than once (newsgroup).
3 Line numbers in included files refer to the master file. This needs to be
4 fixed -- from Manoj.
6 Remove old action embedding and condition setting syntax.
8 fbreak should advance the current char. Depreciate fbreak and add
9     fctl_break;
10     fctl_return <expr>;
11     fctl_goto <label>;
12 This is needed for better support of pull scanners.
14 Eliminate tokend, replace it with the marker variable and add ftokend/ftoklen.
16 Add the accept action embedding operator: like eof but only for states that end
17 up final. Add the combined pending/accept action. This becomes a good idea when
18 eof action execution is moved into the main loop.
20 Add a prefix operator which sets every state final.
22 Minimization should remove a condition when the character allows both
23 the positive and negative sense of the condition. This happens in:
24 test_every_10_chars = ( ( c when test_len ) c{0,9} )**;
25 In this example there is non-determinsm that is killed by the priorities, but
26 since conditions are expanded before priorities are tested, many transitions
27 end up with test_len || !test_len.
29 Should be possible to include scanner definitions in another scanner.
31 Need an "entry name;" feature, causing name to get written out with the other
32 entry points in the data.
34 Possibly bring back the old semantics of > in a new operator, or allow it to be
35 defined somehow.
37 When priorities are embedded without a name, the name of the current machine is
38 used. Perhaps a unique name for each instance of the current machine should be
39 used instead. This idea could work well if applied to user-defined embeddings. 
41 User defined embeddings <-name(a1,a2,...).
42 User defined operators expr1 <name> expr2.
44 Doesn't make make sense for [] to be the lambda (zero-length) machine. This
45 should be the empty set (the empty machine). But then would it be invalid in a
46 regular expression?
48 The |> guarded operator and the <| guarded operator need to be added.
50 An option to turn off the removal of duplicate actions might be useful for
51 analyzing unintentional nondeterminism.
53 Might be a good idea to add in some protection against using up all of a
54 system's memory. This protection could then be removed by people when someone
55 is sure they want to use a lot of memory.
58 If a scanner can be optimized into a pure state machine, maybe permit it to be
59 referenced as a machine definition. Alternately: inline scanners with an
60 explicit exit pattern.
62 The split codegen needs a profiler connected to a graph partitioning algorithm.
64 Die a graceful death when rlcodegen -F receives large alphabets.
66 It's not currently possible to have more than one machine in a single function
67 because of label conflicts. Labels should have a unique prefix.
69 Emit a warning when a subtraction has no effect.
71 Emit a warning when unnamed priorities are used in longest match machines.
72 These priorities may unexpectedly interact across longest-match items. Changing
73 the language such that unwated interaction cannot happen would require naming
74 longest-match items.
76 Testing facilities: Quick easy way to query which strings are accepted.
77 Enumerate all accepted strings. From Nicholas Maxwell Lester.
79 Add more examples, add more tests and write more documentation.
81 A debugger would be nice. Ragel could emit a special debug version that
82 prompted for debug commands that allowed the user to step through the machine
83 and get details about where they are in their RL.
85 A quick and easy alternative would be a trace code generation option. This
86 would open a trace file and list all the active machines at each step of the
87 input.
89 Frontend should allow the redefinition of fsm section delimiters.
91 Do more to obscure ragel's private variables. Just a leading underscore is not
92 enough. Maybe something more like __ri__.
94 Some talk about capturing data:
96 Separate tokstart/tokend from the backtracking.  One var for preservation,
97 called preserve.  Write delcarations;  produces the necessary variables used by
98 ragel.  Move pattern start pattern end concepts into the general?  The
99 variables which may need to influence the preserve is dependent on the state.
100 States have a concept of which variables are in use.  Can be used for length
101 restrictions.  If there is an exit pattern, it is the explicit way out,
102 otherwise the start state and all final states are a way out.