Re-enable i-atom type local mem prefetch in OpenCL
[gromacs/AngularHB.git] / docs / user-guide / environment-variables.rst
blob01a62e55936f0321311c69205299f5fbfa99508b
1 Environment Variables
2 =====================
4 |Gromacs| programs may be influenced by the use of
5 environment variables.  First of all, the variables set in
6 the ``GMXRC`` file are essential for running and
7 compiling |Gromacs|. Some other useful environment variables are
8 listed in the following sections. Most environment variables function
9 by being set in your shell to any non-NULL value. Specific
10 requirements are described below if other values need to be set. You
11 should consult the documentation for your shell for instructions on
12 how to set environment variables in the current shell, or in configuration
13 files for future shells. Note that requirements for exporting
14 environment variables to jobs run under batch control systems vary and
15 you should consult your local documentation for details.
17 Output Control
18 --------------
19 ``GMX_CONSTRAINTVIR``
20         Print constraint virial and force virial energy terms.
22 ``GMX_MAXBACKUP``
23         |Gromacs| automatically backs up old
24         copies of files when trying to write a new file of the same
25         name, and this variable controls the maximum number of
26         backups that will be made, default 99. If set to 0 it fails to
27         run if any output file already exists. And if set to -1 it
28         overwrites any output file without making a backup.
30 ``GMX_NO_QUOTES``
31         if this is explicitly set, no cool quotes
32         will be printed at the end of a program.
34 ``GMX_SUPPRESS_DUMP``
35         prevent dumping of step files during
36         (for example) blowing up during failure of constraint
37         algorithms.
39 ``GMX_TPI_DUMP``
40         dump all configurations to a :ref:`pdb`
41         file that have an interaction energy less than the value set
42         in this environment variable.
44 ``GMX_VIEW_XPM``
45         ``GMX_VIEW_XVG``, ``GMX_VIEW_EPS`` and ``GMX_VIEW_PDB``, commands used to
46         automatically view :ref:`xvg`, :ref:`xpm`, :ref:`eps`
47         and :ref:`pdb` file types, respectively; they default to ``xv``, ``xmgrace``,
48         ``ghostview`` and ``rasmol``. Set to empty to disable
49         automatic viewing of a particular file type. The command will
50         be forked off and run in the background at the same priority
51         as the |Gromacs| tool (which might not be what you want).
52         Be careful not to use a command which blocks the terminal
53         (e.g. ``vi``), since multiple instances might be run.
55 ``GMX_VIRIAL_TEMPERATURE``
56         print virial temperature energy term
58 ``GMX_LOG_BUFFER``
59         the size of the buffer for file I/O. When set
60         to 0, all file I/O will be unbuffered and therefore very slow.
61         This can be handy for debugging purposes, because it ensures
62         that all files are always totally up-to-date.
64 ``GMX_LOGO_COLOR``
65         set display color for logo in :ref:`gmx view`.
67 ``GMX_PRINT_LONGFORMAT``
68         use long float format when printing
69         decimal values.
71 ``GMX_COMPELDUMP``
72         Applies for computational electrophysiology setups
73         only (see reference manual). The initial structure gets dumped to
74         :ref:`pdb` file, which allows to check whether multimeric channels have
75         the correct PBC representation.
77 Debugging
78 ---------
79 ``GMX_PRINT_DEBUG_LINES``
80         when set, print debugging info on line numbers.
82 ``GMX_DD_NST_DUMP``
83         number of steps that elapse between dumping
84         the current DD to a PDB file (default 0). This only takes effect
85         during domain decomposition, so it should typically be
86         0 (never), 1 (every DD phase) or a multiple of :mdp:`nstlist`.
88 ``GMX_DD_NST_DUMP_GRID``
89         number of steps that elapse between dumping
90         the current DD grid to a PDB file (default 0). This only takes effect
91         during domain decomposition, so it should typically be
92         0 (never), 1 (every DD phase) or a multiple of :mdp:`nstlist`.
94 ``GMX_DD_DEBUG``
95         general debugging trigger for every domain
96         decomposition (default 0, meaning off). Currently only checks
97         global-local atom index mapping for consistency.
99 ``GMX_DD_NPULSE``
100         over-ride the number of DD pulses used
101         (default 0, meaning no over-ride). Normally 1 or 2.
103 There are a number of extra environment variables like these
104 that are used in debugging - check the code!
106 Performance and Run Control
107 ---------------------------
108 ``GMX_DO_GALACTIC_DYNAMICS``
109         planetary simulations are made possible (just for fun) by setting
110         this environment variable, which allows setting :mdp:`epsilon-r` to -1 in the :ref:`mdp`
111         file. Normally, :mdp:`epsilon-r` must be greater than zero to prevent a fatal error.
112         See webpage_ for example input files for a planetary simulation.
114 ``GMX_ALLOW_CPT_MISMATCH``
115         when set, runs will not exit if the
116         ensemble set in the :ref:`tpr` file does not match that of the
117         :ref:`cpt` file.
119 ``GMX_CUDA_NB_EWALD_TWINCUT``
120         force the use of twin-range cutoff kernel even if :mdp:`rvdw` equals
121         :mdp:`rcoulomb` after PP-PME load balancing. The switch to twin-range kernels is automated,
122         so this variable should be used only for benchmarking.
124 ``GMX_CUDA_NB_ANA_EWALD``
125         force the use of analytical Ewald kernels. Should be used only for benchmarking.
127 ``GMX_CUDA_NB_TAB_EWALD``
128         force the use of tabulated Ewald kernels. Should be used only for benchmarking.
130 ``GMX_CUDA_STREAMSYNC``
131         force the use of cudaStreamSynchronize on ECC-enabled GPUs, which leads
132         to performance loss due to a known CUDA driver bug present in API v5.0 NVIDIA drivers (pre-30x.xx).
133         Cannot be set simultaneously with ``GMX_NO_CUDA_STREAMSYNC``.
135 ``GMX_DISABLE_CUDALAUNCH``
136         disable the use of the lower-latency cudaLaunchKernel API even when supported (CUDA >=v7.0).
137         Should only be used for benchmarking purposes.
139 ``GMX_CYCLE_ALL``
140         times all code during runs.  Incompatible with threads.
142 ``GMX_CYCLE_BARRIER``
143         calls MPI_Barrier before each cycle start/stop call.
145 ``GMX_DD_ORDER_ZYX``
146         build domain decomposition cells in the order
147         (z, y, x) rather than the default (x, y, z).
149 ``GMX_DD_USE_SENDRECV2``
150         during constraint and vsite communication, use a pair
151         of ``MPI_Sendrecv`` calls instead of two simultaneous non-blocking calls
152         (default 0, meaning off). Might be faster on some MPI implementations.
154 ``GMX_DLB_BASED_ON_FLOPS``
155         do domain-decomposition dynamic load balancing based on flop count rather than
156         measured time elapsed (default 0, meaning off).
157         This makes the load balancing reproducible, which can be useful for debugging purposes.
158         A value of 1 uses the flops; a value > 1 adds (value - 1)*5% of noise to the flops to increase the imbalance and the scaling.
160 ``GMX_DLB_MAX_BOX_SCALING``
161         maximum percentage box scaling permitted per domain-decomposition
162         load-balancing step (default 10)
164 ``GMX_DD_RECORD_LOAD``
165         record DD load statistics for reporting at end of the run (default 1, meaning on)
167 ``GMX_DETAILED_PERF_STATS``
168         when set, print slightly more detailed performance information
169         to the :ref:`log` file. The resulting output is the way performance summary is reported in versions
170         4.5.x and thus may be useful for anyone using scripts to parse :ref:`log` files or standard output.
172 ``GMX_DISABLE_SIMD_KERNELS``
173         disables architecture-specific SIMD-optimized (SSE2, SSE4.1, AVX, etc.)
174         non-bonded kernels thus forcing the use of plain C kernels.
176 ``GMX_DISABLE_CUDA_TIMING``
177         timing of asynchronously executed GPU operations can have a
178         non-negligible overhead with short step times. Disabling timing can improve performance in these cases.
180 ``GMX_DISABLE_GPU_DETECTION``
181         when set, disables GPU detection even if :ref:`gmx mdrun` was compiled
182         with GPU support.
184 ``GMX_DISRE_ENSEMBLE_SIZE``
185         the number of systems for distance restraint ensemble
186         averaging. Takes an integer value.
188 ``GMX_EMULATE_GPU``
189         emulate GPU runs by using algorithmically equivalent CPU reference code instead of
190         GPU-accelerated functions. As the CPU code is slow, it is intended to be used only for debugging purposes.
191         The behavior is automatically triggered if non-bonded calculations are turned off using ``GMX_NO_NONBONDED``
192         case in which the non-bonded calculations will not be called, but the CPU-GPU transfer will also be skipped.
194 ``GMX_ENX_NO_FATAL``
195         disable exiting upon encountering a corrupted frame in an :ref:`edr`
196         file, allowing the use of all frames up until the corruption.
198 ``GMX_FORCE_UPDATE``
199         update forces when invoking ``mdrun -rerun``.
201 ``GMX_GPU_ID``
202         set in the same way as ``mdrun -gpu_id``, ``GMX_GPU_ID``
203         allows the user to specify different GPU id-s, which can be useful for selecting different
204         devices on different compute nodes in a cluster.  Cannot be used in conjunction with ``mdrun -gpu_id``.
206 ``GMX_IGNORE_FSYNC_FAILURE_ENV``
207         allow :ref:`gmx mdrun` to continue even if
208         a file is missing.
210 ``GMX_LJCOMB_TOL``
211         when set to a floating-point value, overrides the default tolerance of
212         1e-5 for force-field floating-point parameters.
214 ``GMX_MAXCONSTRWARN``
215         if set to -1, :ref:`gmx mdrun` will
216         not exit if it produces too many LINCS warnings.
218 ``GMX_NB_GENERIC``
219         use the generic C kernel.  Should be set if using
220         the group-based cutoff scheme and also sets ``GMX_NO_SOLV_OPT`` to be true,
221         thus disabling solvent optimizations as well.
223 ``GMX_NB_MIN_CI``
224         neighbor list balancing parameter used when running on GPU. Sets the
225         target minimum number pair-lists in order to improve multi-processor load-balance for better
226         performance with small simulation systems. Must be set to a non-negative integer,
227         the 0 value disables list splitting.
228         The default value is optimized for supported GPUs (NVIDIA Fermi to Maxwell),
229         therefore changing it is not necessary for normal usage, but it can be useful on future architectures.
231 ``GMX_NBLISTCG``
232         use neighbor list and kernels based on charge groups.
234 ``GMX_NBNXN_CYCLE``
235         when set, print detailed neighbor search cycle counting.
237 ``GMX_NBNXN_EWALD_ANALYTICAL``
238         force the use of analytical Ewald non-bonded kernels,
239         mutually exclusive of ``GMX_NBNXN_EWALD_TABLE``.
241 ``GMX_NBNXN_EWALD_TABLE``
242         force the use of tabulated Ewald non-bonded kernels,
243         mutually exclusive of ``GMX_NBNXN_EWALD_ANALYTICAL``.
245 ``GMX_NBNXN_SIMD_2XNN``
246         force the use of 2x(N+N) SIMD CPU non-bonded kernels,
247         mutually exclusive of ``GMX_NBNXN_SIMD_4XN``.
249 ``GMX_NBNXN_SIMD_4XN``
250         force the use of 4xN SIMD CPU non-bonded kernels,
251         mutually exclusive of ``GMX_NBNXN_SIMD_2XNN``.
253 ``GMX_NO_ALLVSALL``
254         disables optimized all-vs-all kernels.
256 ``GMX_NO_CART_REORDER``
257         used in initializing domain decomposition communicators. Rank reordering
258         is default, but can be switched off with this environment variable.
260 ``GMX_NO_LJ_COMB_RULE``
261         force the use of LJ paremeter lookup instead of using combination rules
262         in the non-bonded kernels.
264 ``GMX_NO_CUDA_STREAMSYNC``
265         the opposite of ``GMX_CUDA_STREAMSYNC``. Disables the use of the
266         standard cudaStreamSynchronize-based GPU waiting to improve performance when using CUDA driver API
267         ealier than v5.0 with ECC-enabled GPUs.
269 ``GMX_NO_INT``, ``GMX_NO_TERM``, ``GMX_NO_USR1``
270         disable signal handlers for SIGINT,
271         SIGTERM, and SIGUSR1, respectively.
273 ``GMX_NO_NODECOMM``
274         do not use separate inter- and intra-node communicators.
276 ``GMX_NO_NONBONDED``
277         skip non-bonded calculations; can be used to estimate the possible
278         performance gain from adding a GPU accelerator to the current hardware setup -- assuming that this is
279         fast enough to complete the non-bonded calculations while the CPU does bonded force and PME computation.
281 ``GMX_NO_PULLVIR``
282         when set, do not add virial contribution to COM pull forces.
284 ``GMX_NOPREDICT``
285         shell positions are not predicted.
287 ``GMX_NO_SOLV_OPT``
288         turns off solvent optimizations; automatic if ``GMX_NB_GENERIC``
289         is enabled.
291 ``GMX_NSCELL_NCG``
292         the ideal number of charge groups per neighbor searching grid cell is hard-coded
293         to a value of 10. Setting this environment variable to any other integer value overrides this hard-coded
294         value.
296 ``GMX_PME_NTHREADS``
297         set the number of OpenMP or PME threads (overrides the number guessed by
298         :ref:`gmx mdrun`.
300 ``GMX_PME_P3M``
301         use P3M-optimized influence function instead of smooth PME B-spline interpolation.
303 ``GMX_PME_THREAD_DIVISION``
304         PME thread division in the format "x y z" for all three dimensions. The
305         sum of the threads in each dimension must equal the total number of PME threads (set in
306         `GMX_PME_NTHREADS`).
308 ``GMX_PMEONEDD``
309         if the number of domain decomposition cells is set to 1 for both x and y,
310         decompose PME in one dimension.
312 ``GMX_REQUIRE_SHELL_INIT``
313         require that shell positions are initiated.
315 ``GMX_REQUIRE_TABLES``
316         require the use of tabulated Coulombic
317         and van der Waals interactions.
319 ``GMX_SCSIGMA_MIN``
320         the minimum value for soft-core sigma. **Note** that this value is set
321         using the :mdp:`sc-sigma` keyword in the :ref:`mdp` file, but this environment variable can be used
322         to reproduce pre-4.5 behavior with respect to this parameter.
324 ``GMX_TPIC_MASSES``
325         should contain multiple masses used for test particle insertion into a cavity.
326         The center of mass of the last atoms is used for insertion into the cavity.
328 ``GMX_USE_GRAPH``
329         use graph for bonded interactions.
331 ``GMX_VERLET_BUFFER_RES``
332         resolution of buffer size in Verlet cutoff scheme.  The default value is
333         0.001, but can be overridden with this environment variable.
335 ``MPIRUN``
336         the ``mpirun`` command used by :ref:`gmx tune_pme`.
338 ``MDRUN``
339         the :ref:`gmx mdrun` command used by :ref:`gmx tune_pme`.
341 ``GMX_NSTLIST``
342         sets the default value for :mdp:`nstlist`, preventing it from being tuned during
343         :ref:`gmx mdrun` startup when using the Verlet cutoff scheme.
345 ``GMX_USE_TREEREDUCE``
346         use tree reduction for nbnxn force reduction. Potentially faster for large number of
347         OpenMP threads (if memory locality is important).
349 .. _opencl-management:
351 OpenCL management
352 -----------------
353 Currently, several environment variables exist that help customize some aspects
354 of the OpenCL_ version of |Gromacs|. They are mostly related to the runtime
355 compilation of OpenCL kernels, but they are also used in device selection.
357 ``GMX_OCL_NOGENCACHE``
358         If set, disable caching for OpenCL kernel builds. Caching is
359         normally useful so that future runs can re-use the compiled
360         kernels from previous runs. Currently, caching is always
361         disabled, until we solve concurrency issues.
363 ``GMX_OCL_NOFASTGEN``
364         If set, generate and compile all algorithm flavors, otherwise
365         only the flavor required for the simulation is generated and
366         compiled.
368 ``GMX_OCL_FASTMATH``
369         Adds the option ``cl-fast-relaxed-math`` to the compiler
370         options (in the CUDA version this is enabled by default, it is likely that
371         the same will happen with the OpenCL version soon)
373 ``GMX_OCL_DUMP_LOG``
374         If defined, the OpenCL build log is always written to file.
375         The file is saved in the current directory with the name
376         ``OpenCL_kernel_file_name.build_status`` where
377         ``OpenCL_kernel_file_name`` is the name of the file containing the
378         OpenCL source code (usually ``nbnxn_ocl_kernels.cl``) and
379         build_status can be either SUCCEEDED or FAILED. If this
380         environment variable is not defined, the default behavior is
381         the following:
383            - Debug build: build log is always written to file
384            - Release build: build log is written to file only in case of errors.
386 ``GMX_OCL_VERBOSE``
387         If defined, it enables verbose mode for OpenCL kernel build.
388         Currently available only for NVIDIA GPUs. See ``GMX_OCL_DUMP_LOG``
389         for details about how to obtain the OpenCL build log.
391 ``GMX_OCL_DUMP_INTERM_FILES``
393         If defined, intermediate language code corresponding to the
394         OpenCL build process is saved to file. Caching has to be
395         turned off in order for this option to take effect (see
396         ``GMX_OCL_NOGENCACHE``).
398             - NVIDIA GPUs: PTX code is saved in the current directory
399               with the name ``device_name.ptx``
400             - AMD GPUs: ``.IL/.ISA`` files will be created for each OpenCL
401               kernel built.  For details about where these files are
402               created check AMD documentation for ``-save-temps`` compiler
403               option.
405 ``GMX_OCL_DEBUG``
406         Use in conjunction with ``OCL_FORCE_CPU`` or with an AMD device.
407         It adds the debug flag to the compiler options (-g).
409 ``GMX_OCL_NOOPT``
410         Disable optimisations. Adds the option ``cl-opt-disable`` to the
411         compiler options.
413 ``GMX_OCL_FORCE_CPU``
414         Force the selection of a CPU device instead of a GPU.  This
415         exists only for debugging purposes. Do not expect |Gromacs| to
416         function properly with this option on, it is solely for the
417         simplicity of stepping in a kernel and see what is happening.
419 ``GMX_OCL_DISABLE_I_PREFETCH``
420         Disables i-atom data (type or LJ parameter) prefetch allowig
421         testing.
423 ``GMX_OCL_ENABLE_I_PREFETCH``
424         Enables i-atom data (type or LJ parameter) prefetch allowig
425         testing on platforms where this behavior is not default.
427 ``GMX_OCL_NB_ANA_EWALD``
428         Forces the use of analytical Ewald kernels. Equivalent of
429         CUDA environment variable ``GMX_CUDA_NB_ANA_EWALD``
431 ``GMX_OCL_NB_TAB_EWALD``
432         Forces the use of tabulated Ewald kernel. Equivalent
433         of CUDA environment variable ``GMX_OCL_NB_TAB_EWALD``
435 ``GMX_OCL_NB_EWALD_TWINCUT``
436         Forces the use of twin-range cutoff kernel. Equivalent of
437         CUDA environment variable ``GMX_CUDA_NB_EWALD_TWINCUT``
439 ``GMX_DISABLE_OCL_TIMING``
440         Disables timing for OpenCL operations
442 ``GMX_OCL_FILE_PATH``
443         Use this parameter to force |Gromacs| to load the OpenCL
444         kernels from a custom location. Use it only if you want to
445         override |Gromacs| default behavior, or if you want to test
446         your own kernels.
448 Analysis and Core Functions
449 ---------------------------
450 ``GMX_QM_ACCURACY``
451         accuracy in Gaussian L510 (MC-SCF) component program.
453 ``GMX_QM_ORCA_BASENAME``
454         prefix of :ref:`tpr` files, used in Orca calculations
455         for input and output file names.
457 ``GMX_QM_CPMCSCF``
458         when set to a nonzero value, Gaussian QM calculations will
459         iteratively solve the CP-MCSCF equations.
461 ``GMX_QM_MODIFIED_LINKS_DIR``
462         location of modified links in Gaussian.
464 ``DSSP``
465         used by :ref:`gmx do_dssp` to point to the ``dssp``
466         executable (not just its path).
468 ``GMX_QM_GAUSS_DIR``
469         directory where Gaussian is installed.
471 ``GMX_QM_GAUSS_EXE``
472         name of the Gaussian executable.
474 ``GMX_DIPOLE_SPACING``
475         spacing used by :ref:`gmx dipoles`.
477 ``GMX_MAXRESRENUM``
478         sets the maximum number of residues to be renumbered by
479         :ref:`gmx grompp`. A value of -1 indicates all residues should be renumbered.
481 ``GMX_FFRTP_TER_RENAME``
482         Some force fields (like AMBER) use specific names for N- and C-
483         terminal residues (NXXX and CXXX) as :ref:`rtp` entries that are normally renamed. Setting
484         this environment variable disables this renaming.
486 ``GMX_PATH_GZIP``
487         ``gunzip`` executable, used by :ref:`gmx wham`.
489 ``GMX_FONT``
490         name of X11 font used by :ref:`gmx view`.
492 ``GMXTIMEUNIT``
493         the time unit used in output files, can be
494         anything in fs, ps, ns, us, ms, s, m or h.
496 ``GMX_QM_GAUSSIAN_MEMORY``
497         memory used for Gaussian QM calculation.
499 ``MULTIPROT``
500         name of the ``multiprot`` executable, used by the
501         contributed program ``do_multiprot``.
503 ``NCPUS``
504         number of CPUs to be used for Gaussian QM calculation
506 ``GMX_ORCA_PATH``
507         directory where Orca is installed.
509 ``GMX_QM_SA_STEP``
510         simulated annealing step size for Gaussian QM calculation.
512 ``GMX_QM_GROUND_STATE``
513         defines state for Gaussian surface hopping calculation.
515 ``GMX_TOTAL``
516         name of the ``total`` executable used by the contributed
517         ``do_shift`` program.
519 ``GMX_ENER_VERBOSE``
520         make :ref:`gmx energy` and :ref:`gmx eneconv`
521         loud and noisy.
523 ``VMD_PLUGIN_PATH``
524         where to find VMD plug-ins. Needed to be
525         able to read file formats recognized only by a VMD plug-in.
527 ``VMDDIR``
528         base path of VMD installation.
530 ``GMX_USE_XMGR``
531         sets viewer to ``xmgr`` (deprecated) instead of ``xmgrace``.