Make the Preprocessor more memory efficient and improve macro instantiation diagnostics.
commitb73377eeb3eff76be134203aebb6068244b177f3
authorArgyrios Kyrtzidis <akyrtzi@gmail.com>
Thu, 7 Jul 2011 03:40:34 +0000 (7 03:40 +0000)
committerArgyrios Kyrtzidis <akyrtzi@gmail.com>
Thu, 7 Jul 2011 03:40:34 +0000 (7 03:40 +0000)
treecc3730d588dda5839f94c4f45f76fa07d1e0aa88
parent8b86ef0b71900c64c0c2cfca54cac08a203a16a4
Make the Preprocessor more memory efficient and improve macro instantiation diagnostics.

When a macro instantiation occurs, reserve a SLocEntry chunk with length the
full length of the macro definition source. Set the spelling location of this chunk
to point to the start of the macro definition and any tokens that are lexed directly
from the macro definition will get a location from this chunk with the appropriate offset.

For any tokens that come from argument expansion, '##' paste operator, etc. have their
instantiation location point at the appropriate place in the instantiated macro definition
(the argument identifier and the '##' token respectively).
This improves macro instantiation diagnostics:

Before:

t.c:5:9: error: invalid operands to binary expression ('struct S' and 'int')
int y = M(/);
        ^~~~
t.c:5:11: note: instantiated from:
int y = M(/);
          ^

After:

t.c:5:9: error: invalid operands to binary expression ('struct S' and 'int')
int y = M(/);
        ^~~~
t.c:3:20: note: instantiated from:
\#define M(op) (foo op 3);
                ~~~ ^  ~
t.c:5:11: note: instantiated from:
int y = M(/);
          ^

The memory savings for a candidate boost library that abuses the preprocessor are:

- 32% less SLocEntries (37M -> 25M)
- 30% reduction in PCH file size (900M -> 635M)
- 50% reduction in memory usage for the SLocEntry table (1.6G -> 800M)

git-svn-id: https://llvm.org/svn/llvm-project/cfe/trunk@134587 91177308-0d34-0410-b5e6-96231b3b80d8
15 files changed:
include/clang/Basic/SourceManager.h
include/clang/Lex/MacroInfo.h
include/clang/Lex/TokenLexer.h
lib/ARCMigrate/TransformActions.cpp
lib/ARCMigrate/Transforms.cpp
lib/Basic/SourceManager.cpp
lib/Lex/Lexer.cpp
lib/Lex/MacroArgs.cpp
lib/Lex/MacroArgs.h
lib/Lex/MacroInfo.cpp
lib/Lex/TokenLexer.cpp
lib/Parse/ParseExpr.cpp
test/PCH/variables.c
test/PCH/variables.h
test/Parser/recovery.c