linux-user: Handle msgrcv error case correctly
commit99874f65526ed7827202c6e17c62f30d47652bdd
authorPeter Maydell <peter.maydell@linaro.org>
Fri, 20 May 2016 18:00:56 +0000 (20 19:00 +0100)
committerRiku Voipio <riku.voipio@linaro.org>
Fri, 27 May 2016 11:50:39 +0000 (27 14:50 +0300)
tree9b4c841ab6e659a298bdb051b8551f72d7b814bb
parentc7e35da348e2e4df072e6979c48fa5283e07d1db
linux-user: Handle msgrcv error case correctly

The msgrcv ABI is a bit odd -- the msgsz argument is a size_t, which is
unsigned, but it must fail EINVAL if the value is negative when cast
to a long. We were incorrectly passing the value through an
"unsigned int", which meant that if the guest was 32-bit longs and
the host was 64-bit longs an input of 0xffffffff (which should trigger
EINVAL) would simply be passed to the host msgrcv() as 0xffffffff,
where it does not cause the host kernel to reject it.
Follow the same approach as do_msgsnd() in using a ssize_t and
doing the check for negative values by hand, so we correctly fail
in this corner case.

This fixes the msgrcv03 Linux Test Project test case, which otherwise
hangs.

Signed-off-by: Peter Maydell <peter.maydell@linaro.org>
Signed-off-by: Riku Voipio <riku.voipio@linaro.org>
linux-user/syscall.c