Changelog for 20091031+dfsg-1
[ltp-debian.git] / TODO
blob243ecd3562a22007f0f81c189dd61ccfb7f78604
1 The following items need fixing with the new Makefile infrastructure:
3 testcases/Makefile:
4 1. mce-test doesn't fit cleanly in the build, yet.
5 2. pounder21 is just broken (wasn't traversed before).
6 3. Not sure why realtime should still be disabled for build; the aggregated
7    list was the original list of disabled items for UCLINUX != 1.
9 testcases/ballista:
10 1. a) Not integrated with the Make infrastructure (and thus the output isn't
11       guaranteed to function with cross-compilation based envs).
12    b) Is a mess (there's a lot of shoddy Make and perl code that I'm cleaning
13       up right now).
14    c) Uses cshell for some weird arse reason, instead of using Bourne shell
15       compat scripts.
17 testcases/commands/ade/Makefile:
18 1. .../objdump's Makefile needs fixing. Basically some of the obj files used
19    as stimuli are .o files, which a) is a bad idea, and b) are intermediary's
20    for some apps. Either the tests or the Makefiles need to be fixed, and
21    this is a call that needs to be made by someone else including myself.
23 testcases/commands/unzip/Makefile:
25 1. This test requires a test zip file in order to function and it isn't
26    generated at build time anymore:
28 <<<test_start>>>
29 tag=unzip01 stime=1255544779
30 cmdline="unzip_tests.sh $LTPROOT/testcases/commands/unzip/tst_unzip_file.zip"
31 contacts=""
32 analysis=exit
33 <<<test_output>>>
34 stat: cannot stat `/tests/ltp/testcases/commands/unzip/tst_unzip_file.zip': No such file or directory
35 /tests/ltp/testcases/bin/31631.H31633 /tests/ltp/testcases/bin
36 /tests/ltp/testcases/bin
37 unzip01     0  TINFO  :  CLEAN: removing "31631.H31633"
38 <<<execution_status>>>
39 initiation_status="ok"
40 duration=1 termination_type=exited termination_id=1 corefile=no
41 cutime=2 cstime=1
42 <<<test_end>>>
44 testcases/kernel/containers/container_test.sh:
46 1. The check_for_unshare, check_mqns_enabled, check_pidns_enabled, and
47    check_netns_enabled commands applications were removed because (at first
48    glance) they appeared to only be used for conditional building when users
49    compiled LTP with the old makefile infrastructure. After inspecting the
50    runtime logs though, it appears to be used at runtime too. Maybe the logic
51    that was removed should be added to the testcases that require it as a
52    common file?
54 <<<test_start>>>
55 tag=Containers stime=1255508072
56 cmdline="container_test.sh"
57 contacts=""
58 analysis=exit
59 <<<test_output>>>
60 /tests/ltp/testcases/bin/container_test.sh: line 13: check_for_unshare: command not found
61 Running utsns tests.
62 unshare tests
64 /tests/ltp/testcases/bin/container_test.sh: line 49: check_pidns_enabled: command not found
65 Process id namespaces not enabled in kernel.  Not running pidns tests.
66 /tests/ltp/testcases/bin/container_test.sh: line 57: check_mqns_enabled: command not found
67 Posix message queues or ipc namespaces not enabled in kernel.
68 Not running mqns tests.
69 /tests/ltp/testcases/bin/container_test.sh: line 66: check_netns_enabled: command not found
70 Network namespaces not enabled in kernel.  Not running netns tests.
72 testcases/kernel/controllers/memcg/functional/Makefile:
73 1. For whatever reason this Makefile's are calling up relative CPPFLAGS
74    (the old ../../../../include value) for -I$(include), despite the fact that
75    the Makefile infra been updated. This should be investigated and fixed, but
76    for now it's just an observation; not a blocking point.
78 testcases/kernel/fs/dmapi/Makefile:
79 1. This test requires JFS support, which most systems don't have. So a set of
80    proper autoconf tests need to be added for this as well.
82 testcases/kernel/fs/doio/rwtest.sh:
83 1. rwtest.sh isn't determining where to pick up the files from appropriately
84    (bad relative path logic somewhere... not sure where).
86 testcases/kernel/sched/nptl/Makefile:
87 1. There's a $(shell ) call in the Makefile that needs to be replaced.
89 testcases/kernel/syscalls/utils/*.mk:
90 1. There are unused variables and unneeded logic that needs to be evaluated
91    and potentially removed.
93 testcases/misc/crash/crash02.c:
94 #if defined(__ia64__)
95       SYS_clone2,
96 #else
97       /*
98        * No SYS_fork(vfork) on IA-64. Instead, it uses,
99        * clone(child_stack=0, flags=CLONE_VM|CLONE_VFORK|SIGCHLD)
100        * clone2()
101        */
103       /*
104        * NOTE (garrcoop):
105        *  Could not find reference to SYS_fork(vfork) on mips32
106        *  with the Montavista / Octeon toolchain. Need to develop an
107        *  autoconf check for this item.
108        */
109 #if defined(__NR_vfork) && __NR_vfork
110       SYS_vfork,
111 #endif
112 #if defined(__NR_fork) && __NR_fork
113       SYS_fork,
114 #endif
115 #endif /* __ia64__ */
116 #if defined(__NR_clone) && __NR_clone
117       SYS_clone,
118 #endif
120 testcases/network/multicast/...:
121 1. These tests need to be fixed because they use make / install logic in the
122    tests:
124 <<<test_start>>>
125 tag=mc_opts stime=1255502705
126 cmdline="export TCsrc=$LTPROOT/testcases/network/multicast/mc_opts; mc_opts"
127 contacts=""
128 analysis=exit
129 <<<test_output>>>
130 gethostbyname*: Host name lookup failure
131 install: cannot stat `/tests/ltp/opts': No such file or directory
132 install: cannot stat `/tests/ltp/opts_e': No such file or directory
133 mc_opts: doing /tests/ltp/testcases/bin/mc_opts.
134 Running mc_opts opts_e on 
135 /tests/ltp/testcases/bin/mc_opts: line 86: /tests/ltp/bin/mc_opts13780/opts: No such file or directory
136 mc_opts: doing /tests/ltp/testcases/bin/mc_opts.
137 mc_opts: doing /tests/ltp/testcases/bin/mc_opts
138 Test Failed: opts  failed
139 <<<execution_status>>>
140 initiation_status="ok"
141 duration=1 termination_type=exited termination_id=1 corefile=no
142 cutime=1 cstime=6
143 <<<test_end>>>
145 testcases/network/rpc/rpc-tirpc-full-test-suite:
146 1. This needs to be integrated into the build with a Makefile, as it's not
147    getting copied over with the install.
149 testcases/network/tcp_cmds/perf_lan/Makefile:
150 1. There are duplicate sourcefiles because I don't feel confident as far as
151    the changes were concerned on the sourcefiles and I was running into
152    compile issues with the IPv6 code.
154 testcases/network/stress/udp/...:
155 1. Many of the scripts are installing themselves using the old-status quo
156    method of hardlinking into $(abs_top_srcdir)/testcases/bin, which means
157    that all of the scripts are being linked to the file
158    $(abs_top_srcdir)/testcases/bin .
160 tools/Makefile:
161 1. netpipe* needs fixing and reorg, because it's referencing /home/mpich, etc.
163 utils/benchmark/Makefile:
164 1. kernbench needs to be fixed because its makefile doesn't have support
165    out-of-build-tree building.
167 Other items of issue are listed below (from testscripts/ltp-missing-install-files.py):
169 io-output.log: Tag | App
170 io-output.log: runfstests.sh runfstests.sh
171 ipv6-output.log: Tag | App
172 ipv6-output.log: finger601 finger601
173 ipv6-output.log: ping601 ping601
174 ipv6-output.log: rlogin01 rlogin01
175 ipv6-output.log: tcpdump601 tcpdump601
176 ipv6-output.log: telnet01 telnet01
177 ipv6_expect-output.log: Tag | App
178 ipv6_expect-output.log: rlogin01 rlogin01
179 ipv6_noexpect-output.log: Tag | App
180 ipv6_noexpect-output.log: /scratch/ltp-install5/testcases/bin/echo01 /scratch/ltp-install5/testcases/bin/createfile
181 modules-output.log: Tag | App
182 modules-output.log: delete_module01 delete_module01
183 modules-output.log: delete_module02 delete_module02
184 modules-output.log: delete_module03 delete_module03
185 multicast-output.log: Tag | App
186 multicast-output.log: /scratch/ltp-install5/testcases/bin/mc_opts /scratch/ltp-install5/bin/mc_opts9521/opts
187 selinux-output.log: Tag | App
188 selinux-output.log: selinux_capable_file.sh selinux_capable_file.sh
189 selinux-output.log: selinux_capable_net.sh selinux_capable_net.sh
190 selinux-output.log: selinux_capable_sys.sh selinux_capable_sys.sh
191 selinux-output.log: selinux_domain_trans.sh selinux_domain_trans.sh
192 selinux-output.log: selinux_entrypoint.sh selinux_entrypoint.sh
193 selinux-output.log: selinux_execshare.sh selinux_execshare.sh
194 selinux-output.log: selinux_exectrace.sh selinux_exectrace.sh
195 selinux-output.log: selinux_execute_no_trans.sh selinux_execute_no_trans.sh
196 selinux-output.log: selinux_fdreceive.sh selinux_fdreceive.sh
197 selinux-output.log: selinux_file.sh selinux_file.sh
198 selinux-output.log: selinux_inherit.sh selinux_inherit.sh
199 selinux-output.log: selinux_ioctl.sh selinux_ioctl.sh
200 selinux-output.log: selinux_link.sh selinux_link.sh
201 selinux-output.log: selinux_mkdir.sh selinux_mkdir.sh
202 selinux-output.log: selinux_msg.sh selinux_msg.sh
203 selinux-output.log: selinux_open.sh selinux_open.sh
204 selinux-output.log: selinux_ptrace.sh selinux_ptrace.sh
205 selinux-output.log: selinux_readlink.sh selinux_readlink.sh
206 selinux-output.log: selinux_relabel.sh selinux_relabel.sh
207 selinux-output.log: selinux_rename.sh selinux_rename.sh
208 selinux-output.log: selinux_rxdir.sh selinux_rxdir.sh
209 selinux-output.log: selinux_sem.sh selinux_sem.sh
210 selinux-output.log: selinux_setattr.sh selinux_setattr.sh
211 selinux-output.log: selinux_setnice.sh selinux_setnice.sh
212 selinux-output.log: selinux_shm.sh selinux_shm.sh
213 selinux-output.log: selinux_sigkill.sh selinux_sigkill.sh
214 selinux-output.log: selinux_stat.sh selinux_stat.sh
215 selinux-output.log: selinux_sysctl.sh selinux_sysctl.sh
216 selinux-output.log: selinux_task_create.sh selinux_task_create.sh
217 selinux-output.log: selinux_task_getpgid.sh selinux_task_getpgid.sh
218 selinux-output.log: selinux_task_getscheduler.sh selinux_task_getscheduler.sh
219 selinux-output.log: selinux_task_getsid.sh selinux_task_getsid.sh
220 selinux-output.log: selinux_task_setnice.sh selinux_task_setnice.sh
221 selinux-output.log: selinux_task_setpgid.sh selinux_task_setpgid.sh
222 selinux-output.log: selinux_task_setscheduler.sh selinux_task_setscheduler.sh
223 selinux-output.log: selinux_wait.sh selinux_wait.sh
224 selinux-output.log: selinux_dyntrace.sh selinux_dyntrace.sh
225 selinux-output.log: selinux_dyntrans.sh selinux_dyntrans.sh
226 selinux-output.log: selinux_bounds.sh selinux_bounds.sh
227 stress.part3-output.log: Tag | App
228 stress.part3-output.log: /scratch/ltp-install5/testcases/bin/mc_opts /scratch/ltp-install5/bin/mc_opts4243/opts
229 tcp_cmds-output.log: Tag | App
230 tcp_cmds-output.log: /scratch/ltp-install5/testcases/bin/echo01 /scratch/ltp-install5/testcases/bin/createfile
231 tcp_cmds-output.log: rlogin01 rlogin01
232 tcp_cmds-output.log: telnet01 telnet01
233 tcp_cmds_expect-output.log: Tag | App
234 tcp_cmds_expect-output.log: rlogin01 rlogin01
235 tcp_cmds_expect-output.log: telnet01 telnet01
236 tcp_cmds_noexpect-output.log: Tag | App
237 tcp_cmds_noexpect-output.log: /scratch/ltp-install5/testcases/bin/echo01 /scratch/ltp-install5/testcases/bin/createfile
239 testcases/kernel/security/selinux:
240    Is disabled on purpose (doesn't fit within build and probably won't until
241    autoconf tests are created to detect SELinux).
243 Other missing items in an out-of-build-tree configuration:
245 /tests/ltp/output/power_management_tests-output.log:/tests/ltp/testcases/bin/runpwtests.sh: line 57: check_kv_arch: comman
246 d not found
247 /tests/ltp/output/power_management_tests-output.log:/tests/ltp/testcases/bin/runpwtests.sh: line 172: get_sched_values: co
248 mmand not found
249 /tests/ltp/output/power_management_tests-output.log:/tests/ltp/testcases/bin/runpwtests.sh: line 191: check_kv_arch: comma
250 nd not found
251 /tests/ltp/output/power_management_tests_exclusive-output.log:/tests/ltp/testcases/bin/runpwtests.sh: line 57: check_kv_ar
252 ch: command not found
253 /tests/ltp/output/power_management_tests_exclusive-output.log:/tests/ltp/testcases/bin/runpwtests.sh: line 172: get_sched_
254 values: command not found
255 /tests/ltp/output/power_management_tests_exclusive-output.log:/tests/ltp/testcases/bin/runpwtests.sh: line 191: check_kv_a
256 rch: command not found
257 /tests/ltp/output/tcp_cmds_noexpect-output.log:sendfile01    1  TFAIL  :  Test broken: gethost: command not found
259 /tests/ltp/output/io_floppy-output.log:sh: stress_floppy: command not found
260 /tests/ltp/output/ipv6-output.log:sh: echo601: command not found
261 /tests/ltp/output/ipv6-output.log:ftp01       1  TFAIL  :  Test broken: ftp: command not found
262 /tests/ltp/output/ipv6-output.log:sh: perf_lan6: command not found
263 /tests/ltp/output/ipv6-output.log:rcp01       1  TFAIL  :  Test broken: rcp: command not found
264 /tests/ltp/output/ipv6-output.log:rsh01       1  TFAIL  :  Test broken: rsh: command not found
265 /tests/ltp/output/ipv6-output.log:rwho01      1  TFAIL  :  Test broken: rsh: command not found
266 /tests/ltp/output/ipv6-output.log:sh: sendfile601: command not found