The UTF-8 patch introduces several issues regarding the width of a highlighed (cyan-background) field, if it contains accented characters.

Long time ago I've created some patches to address them, and posted them to mc-devel. Probably they are already included in some major Linux distros as well. Please apply them to your UTF-8 patch, so that these fixes reach everyone who want UTF-8 in mc. Thanks!

I send multiple patches fixing multiple similar issues; I know it's generally not wise and I should probably file separate tickets, but they all rely on some common codebase, so I thought it'd be simpler this way.

The fixes are:
- Correct width for the bottom row's buttons (if they have accents)
- Correctly highlight the full line in hotlists (alt+H) (if the entry has accented letters)
- Correctly highlight quick filename search (ctrl+S) (if the currently matching filename prefix has accented letters)
- Fix filename/command completion (if the already typed prefix of the filename/command has accented letters - ok, this is not about highlighting, but it's the same story)

Patch provided by egmont, thanks for that

Signed-off-by: Patrick Winnertz <winnie@debian.org>

The UTF-8 patch introduces this regression: Ctrl+Left and Alt+Backspace proceed one more character than they should.

(Consistently with unpatched mc, bash, and probably lots of other tools, Alt+Backspace should remove a sequence of non-alphanumeric characters followed by a sequence of alphanumeric ones, but instead it removes one more non-alphanumeric character at the end. Similar for Ctrl+Left.)

Trivial patch is attached. I've created this patch years ago and posted to mc-devel; probably it's already included in some major Linux distributions as well.

Thanks to egmont, who provided this patch

Signed-off-by: Patrick Winnertz <winnie@debian.org>

Fix the line-editing widget not to go completely crazy when seeing a literal
newline (Shift+Enter or ^Q Enter).

The real cause of the problem is making no proper distinction between
length and width. Actually mbstrlen() returns the width (ignoring
non-printable characters), not the length. On the other hand, other pieces
of the code expect it to return the length. In fact, this function should be
called mbstrwidth() and we should have a completely different one called
mbstrlen(). A lot of problems regarding double-width characters still remain
due to this misconcept.

Another bug is counting non-printable characters (e.g. newline) as zero width.
The proper approach is to count them as 1 since we're printing a replacement
character for them.

Thanks to egmont who provided the patch

Signed-off-by: Patrick Winnertz <winnie@debian.org>

A major usability regression is introduced by the (unofficial) UTF-8 patch if mc is compiled with --disable-charset (which is the default).

If you press F5 or F6 to copy or move file(s), it's the "Dive into subdir" toggle that's focused by default, not the destination filename.

Thanks to egmont, who provided the patch!

Signed-off-by: Patrick Winnertz <winnie@debian.org>

Removed some leftovers from mhl...

Signed-off-by: Patrick Winnertz <winnie@debian.org>

charset: fixed crash of utf8_to_local(0)

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

utf8: fixed committed collisions

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

Fix some minor issues (compile time errors) & unused stuff

Added last patch from debian for utf8

  BE WARNED: THIS PATCH IS HIGHLY EXPERIMENTAL AND NOT OFFICIALLY SUPPORTED,
  USE IT ON YOUR OWN RISK!!

Added fifth patch from debian (mc-utf8-unbreak-visible-ws.patch)

  BE WARNED: THIS PATCH IS HIGHLY EXPERIMENTAL AND NOT OFFICIALLY SUPPORTED
  USE IT ON YOUR OWN RISK

Added recode patch from debian to enable utf8

  BE WARNED: THIS PATCH IS HIGHLY EXPERIMENTAL AND NOT OFFICIALLY SUPPORTED
  USE IT ON YOUR OWN RISK!

Fourth patch from debian to enable utf8 (mc-utf8-look-and-feel.patch )

 BE WARNED: THIS PATCH IS HIGHLY EXPERIMENTAL AND NOT OFFICIALLY SUPPORTED,
  USE IT ON YOUR OWN RISK!

Added third patch from debian for utf8 (mc-utf8-nlink.patch)

 BE WARNED: THIS PATCH IS HIGHLY EXPERIMENTAL AND IS NOT OFFICIALLY SUPPORTED
  USE IT ON YOUR OWN RISK

Add second patch from debian. (mc-utf8-8bit-hex.patch)

 BE WARNED: THIS IS HIGHLY EXPERIMENTAL AND NOT OFFICIALLY SUPPORTED,
  USE ON YOUR OWN RISK!!

Applied first patch from debian to enable utf8 for mc-4.6

 BIG FAT WARNING!!!:
   WE CURRENTLY DON'T SUPPORT UTF8, USE THIS ON YOUR OWN RISK!

Merge commit 'origin/179_fsblkcnt_t' into mc-4.6

* commit 'origin/179_fsblkcnt_t':
  mountlist: use fsblkcnt_t when available (fixes #179)

src/file.c: move_dir_dir():
    * changed type of move_over variable from int to gboolean;
    * fixed memory leak: destdir is not free'd when the same directory is copied;
    * don't use the non-valid dbuf variable if mc_stat(d, &dbuf) returns non-zero.

fileopctx.h: set definitely values for FileProgressStatus enum type.
file.c file.h: fixed types for file/dir operation functions.

src/file.c: modified error messages fro warn_same_file() function.
po/*.po: updated to sync with modified src/file.c file.

non-relevant comment removed

little fix for show message

 Denis Vlasenko posted a patch which would fix issue when no dialog for break operation. Trouble: recently i accidentally entered '.' instead of '..' in the file copy dialog on a relatively big tree ... for every file in the tree i got the <foo> and <bar> are the same file message box, without any way to escape except killing mc from the outside. Rework warn_same_file for more usage glib. ... msg = g_strdup_printf() ...

po/sk.po: translation update by Ivan Masár <helix84@centrum.sk>

Signed-off-by: Mikhail S. Pobolovets <styx.mp@gmail.com>

mountlist: use fsblkcnt_t when available (fixes #179)

When defined 64bit interface to filesystem we do not get overflow
when detect FS size.

Merge branch '284_mc-4.6-menu-ncurses' into mc-4.6

Fixed menu painting for NCurses screen library.

Backport: syntax/spec.syntax: .spec syntax update by adamw (#189)

Signed-off-by: Mikhail S. Pobolovets <styx.mp@gmail.com>

lib/mc.ext.in: command line options fix by adamw (#183)

Signed-off-by: Mikhail S. Pobolovets <styx.mp@gmail.com>

added fix by cppgx (#84)

Merge commit 'origin/revert_mhl_to_glib_mc-4.6' into mc-4.6

* commit 'origin/revert_mhl_to_glib_mc-4.6':
  fixed mismerge: completion stuff
  mismerge fix: g_concat -> g_strconcat
  header guard fix
  Remove some of the SHELL_ESCAPE_STR Stuff...
  Revert "introduced new type SHELL_ESCAPED_STR for more type safety"
  Last bunch of reverts and removal of mhl/*
  fixed canonicalize_pathname() breakage: fixed str_move() function (memmove semantics) again
  Revert some functions (mhl_mem_free to g_free, etc)
  Revert "replaced buggy concat_dir_and_file() by mhl_str_dir_plus_file()"
  Revert "mhl: mhl_shell_unescape_buf(): fixed memory array OOB."
  Revert "build fix: added missing declaration of mhl_dir_plus_file (reported by andrew_b)"
  Revert "cleanup: mhl_str_dir_plus_file(): int -> size_t (suggested by Andrew Borodin)"
  Revert "fixed #240"
  Revert "Fixing a theoretical buffer overflow which was reported by Roland Illig"
  Revert "Call va_end after the iteration as we need to free the list again."
  Revert "Added enhancements from Sergei which he attached to #241."
  Revert "Resolve some issues in mhl Rollang Illig pointed us to:"

Conflicts:
ChangeLog

backport: lt.po: update by stikonas (#274)

Signed-off-by: Mikhail S. Pobolovets <styx.mp@gmail.com>

backport: nl.po: update by mpol (#271)

Signed-off-by: Mikhail S. Pobolovets <styx.mp@gmail.com>

fixed mismerge: completion stuff

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

mismerge fix: g_concat -> g_strconcat

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

header guard fix

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

Remove some of the SHELL_ESCAPE_STR Stuff...

Signed-off-by: Patrick Winnertz <winnie@debian.org>

Revert "introduced new type SHELL_ESCAPED_STR for more type safety"

This reverts commit 90763ba82fc8fa5bc61904961f9e917eca895ada.

Conflicts:

ChangeLog
mhl/escape.h
src/complete.c
vfs/fish.c

Signed-off-by: Patrick Winnertz <winnie@debian.org>

Last bunch of reverts and removal of mhl/*

Signed-off-by: Patrick Winnertz <winnie@debian.org>

fixed canonicalize_pathname() breakage: fixed str_move() function (memmove semantics) again
and add shell_(un)escape again

This patch reintroduces fix firstly appeared in (and recently broken by mhl revert)
>   commit e48cb7c89ff3e54de70130a3de2136a9902a023d
>   Author: Sergei Trofimovich <st@anti-virus.by>
>   Date:   Fri Jan 30 09:31:28 2009 +0200
>
>        mhl: added mhl_strmove() function (memmove semantics)
...
>            Snippet of man strcpy:
>       DESCRIPTION
>               The  strcpy()  function copies the string pointed to by src, including the terminating
>               null byte ('\0'), to the buffer pointed to by dest.  ___The strings may not overlap___,
>               and the destination string dest must be  large enough to receive the copy.
>       We used strcpy to move data chunk in memory: "./foo" -> "foo", etc.
>
>       This patch introduces mhl_strmove and fixed canonicalize_pathname.

Conflicts:

src/util.h

Signed-off-by: Patrick Winnertz <winnie@debian.org>

Revert some functions (mhl_mem_free to g_free, etc)

Signed-off-by: Patrick Winnertz <winnie@debian.org>

Revert "replaced buggy concat_dir_and_file() by mhl_str_dir_plus_file()"

This reverts commit 54d6ec88dcb9648d77ae84d063fdaedb76233b39.

Conflicts:

ChangeLog
mhl/string.h
src/command.c
src/complete.c
src/util.c

Revert "mhl: mhl_shell_unescape_buf(): fixed memory array OOB."

This reverts commit 7a51b50d5ce442970eb3909cddae236b53025877.

Revert "build fix: added missing declaration of mhl_dir_plus_file (reported by andrew_b)"

This reverts commit c697fb3753fe9d3daddfed545115942506b90a23.

Revert "cleanup: mhl_str_dir_plus_file(): int -> size_t (suggested by Andrew Borodin)"

This reverts commit 80a68972718b68c5c5ae050999b187f1676c653b.

Revert "fixed #240"

This reverts commit 1d8ef0b089bcb6828b0dde62076493178ed185ec.

Conflicts:

ChangeLog

Revert "Fixing a theoretical buffer overflow which was reported by Roland Illig"

This reverts commit f148fc29d2737eef087a6ce62d6369b1260a5327.

Revert "Call va_end after the iteration as we need to free the list again."

This reverts commit 51388bd012248fa30d0d18209ad02d5a2ffb63a5.

Revert "Added enhancements from Sergei which he attached to #241."

This reverts commit 34fe2312b4aec7be01470bb7be2453a96b53413a.

Revert "Resolve some issues in mhl Rollang Illig pointed us to:"

This reverts commit 60f2d8d3c08e3dd7d53f5a5f14abc8ac1fed12de.

lib/mc.sh.in: fixes for non-bash shells (fixing #196)

Reverted Enricos backport from master which removes accidentially slang1.x support

Enrico has accidentially removed the slang1.x support in mc-4.6 branch as
this is a structural change which clearly doesn't belong into mc-4.6.

Signed-off-by: Patrick Winnertz <winnie@debian.org>

Merge branch '241_buffer_overflow' into mc-4.6

* 241_buffer_overflow:
  Resolve some issues in mhl Rollang Illig pointed us to:
  Added enhancements from Sergei which he attached to #241.
  Call va_end after the iteration as we need to free the list again.
  Fixing a theoretical buffer overflow which was reported by Roland Illig

Conflicts:
mhl/types.h

Signed-off-by: Patrick Winnertz <winnie@debian.org>

Resolve some issues in mhl Rollang Illig pointed us to:
  - isspace & toupper needs an unsigned char as arg
  - collision with compiler namespace __X
  - resolved some typos

Signed-off-by: Patrick Winnertz <winnie@debian.org>

Added enhancements from Sergei which he attached to #241.
This will remove the static coded max arguments to concat.

Signed-off-by: Patrick Winnertz <winnie@debian.org>

extfs/rpm,extfs/trpm: removed obsolete rpm tags

added patch from #194

fixed #240

Merge commit 'origin/219_keycodes' into mc-4.6

backported #199 branch

Call va_end after the iteration as we need to free the list again.

Signed-off-by: Patrick Winnertz <winnie@debian.org>

Fixing a theoretical buffer overflow which was reported by Roland Illig

 if the concat function was called with more than 32 parameters there will be
 a buffer overflow. This will add a small check to ensure that we concat only 32 parameters.

Signed-off-by: Patrick Winnertz <winnie@debian.org>

added patch by angel_il on #219

manually merged 232_fix_init_chown_advanced

Merge commit 'origin/230_fix_name_trunc' into mc-4.6

cleanup: moved int to size_t

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

cleanup: mhl_str_dir_plus_file(): int -> size_t (suggested by Andrew Borodin)

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

fixed unitialized var in init_chown_advanced() - patch from andrew_b

build fix: added missing declaration of mhl_dir_plus_file (reported by andrew_b)

    ./configure --enable-samba && make
../vfs/libvfs-mc.a(smbfs.o): In function `smbfs_get_path':
/home/andrew/work.c/mc/mc.master/vfs/smbfs.c:1214: undefined reference to `mhl_str_dir_plus_file'
collect2: ld returned 1 exit status

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

fixed name_trunc() on NULL or empty strings - patch from andrew_b

build fix: added missing declaration of mhl_dir_plus_file

./configure --enable-charset && make
    charsets.c: In function 'load_codepages_list':
    charsets.c:51: warning: implicit declaration of function 'mhl_str_dir_plus_file'
    charsets.c:51: warning: assignment makes pointer from integer without a cast

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

Fix typo in NEWS to prepare for 4.6.2

Signed-off-by: Patrick Winnertz <winnie@debian.org>

Updated NEWS file to reflect everything which will be fixed within the 4.6.2 release.

Signed-off-by: Patrick Winnertz <winnie@debian.org>

mhl: mhl_shell_unescape_buf(): fixed memory array OOB.

Function misbehaves whe input string ends with backslash.

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

completion: fixed complete already escaped secuences.

<winnie> ls -lQ /tmp/test
-rw-r--r-- 1 winnie winnie 0 30. Jan 13:05 "a"
-rw-r--r-- 1 winnie winnie 0 30. Jan 13:04 " test\"hallo"
-rw-r--r-- 1 winnie winnie 0 30. Jan 13:04 " test$hallo"
<winnie> and then cat /tmp/test/\ and ESC-tab in subshell...

unescape/escape sequences in command completion (it also solves
completiont of weirdweird escapy commands like ./<escapy-cmd><complete>, like:
$ ls -lQ
-rwxr-xr-x 1 slyfox slyfox 2037 Jan 15 21:18 "  'asd&&\"->build-glib1.sh"

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

Merge branch 'mc-4.6' into 147_escaping

* mc-4.6:
  replaced buggy concat_dir_and_file() by mhl_str_dir_plus_file()
  fixed out-of-tree-builds
  Updated the NEWS file for 4.6.2 and added the bugnumbers behind the items in the list.
  Update for OpenOffice and StarOffice viewer.
  changelog: added entry for python syntax
  syntax: python: keywords update (patch by NNemec) fixes #216
  AC_USE_SYSTEM_EXTENSIONS macro requires autoconf >= 2.60
  po/ru.po: In russian translation, there are some hotkey conficts in menu.
  ChangeLog/NEWS: added entry for #181 ticket (copy to deleted dir)
  Now a trailing slash will only be added in copy & move dialogs if the path itselfs
  copy/move dialog: add trailing '/' to default destination path (fix #181)
  fixed comments to /* ... */
  Not only comment it out but removing it
  Removed unneeded var to make build process a bit cleaner
  Add code snipplet by il.smind which should fix issues with putty and

Conflicts:
ChangeLog
mhl/string.h
src/command.c
src/complete.c
src/file.c
src/util.c

completion: added changelog entry for solved #147

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

completion: fixed completion of escaped commands in commandline

Changes:
 * added new flag: INPUT_COMPLETE_SHELL_ESC - forces
   filename completion return escaped names
 * cleaned up src/complete.c: removed global variables in
   favour of completion flags. Code changed respectively.

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

replaced buggy concat_dir_and_file() by mhl_str_dir_plus_file()

fixed out-of-tree-builds

Removed unused char*.

Signed-off-by: Patrick Winnertz <winnie@debian.org>

mhl: added mhl_strmove() function (memmove semantics)

valgrind detected an error in completion path:
==2962== Source and destination overlap in strcpy(0x459F068, 0x459F06A)
==2962==    at 0x4026056: strcpy (mc_replace_strmem.c:268)
==2962==    by 0x808F70B: canonicalize_pathname (string3.h:106)
==2962==    by 0x805ECBA: filename_completion_function (complete.c:125)
==2962==    by 0x805FB35: command_completion_function (complete.c:448)
==2962==    by 0x805EA34: completion_matches (complete.c:552)
==2962==    by 0x8060454: complete (complete.c:735)
==2962==    by 0x809AAC4: handle_char (widget.c:1545)
==2962==    by 0x807867E: midnight_callback (dialog.h:201)
==2962==    by 0x8061B27: dlg_process_event (dialog.c:664)
==2962==    by 0x8061ECE: run_dlg (dialog.c:786)
==2962==    by 0x807996C: main (main.c:1674)

Snippet of man strcpy:
DESCRIPTION
       The  strcpy()  function copies the string pointed to by src, including the terminating
       null byte ('\0'), to the buffer pointed to by dest.  ___The strings may not overlap___,
       and the destination string dest must be  large enough to receive the copy.
We used strcpy to move data chunk in memory: "./foo" -> "foo", etc.

This patch introduces mhl_strmove and fixed canonicalize_pathname.

Signed-off-by: Sergei Trofimovich <st@anti-virus.by>

Updated the NEWS file for 4.6.2 and added the bugnumbers behind the items in the list.

If you would like to see the corresponding ticket please have a look on:
  http://www.midnight-commander.org/ticket/$ticketnumber

Signed-off-by: Patrick Winnertz <winnie@debian.org>

completion: added escapes in command line on completion

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

Update for OpenOffice and StarOffice viewer.
odt2txt is now used.

Signed-off-by: Mikhail S. Pobolovets <styx.mp@gmail.com>

complete: cleanup: #define to enum INPUT_COMPLETION_FLAGS

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

added a new parameter for completion flags to input_new

changelog: added entry for python syntax

Signed-off-by: Sergei Trofimovich <st@anti-virus.by>

syntax: python: keywords update (patch by NNemec) fixes #216

    NNemec> updated list of keywords in python.syntax from ancient to 2.6

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

Merge branch '133_ac_prereq' into mc-4.6

* 133_ac_prereq:
  AC_USE_SYSTEM_EXTENSIONS macro requires autoconf >= 2.60

AC_USE_SYSTEM_EXTENSIONS macro requires autoconf >= 2.60
    Thanks to andrey_b for issue.

Merge branch 'mc-4.6' of ssh://midnight-commander.org:2222/git/mc into mc-4.6

po/ru.po: In russian translation, there are some hotkey conficts in menu.

This is a cherry-pick of 1150007bff08f7f1000eaf0e668cf20d1e343e47 from master.
It's unclear for me why Milestone 4.6.2 was set but this change wasn't merged into mc-4.6.

Conflicts:

po/ChangeLog

ChangeLog/NEWS: added entry for #181 ticket (copy to deleted dir)

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

Now a trailing slash will only be added in copy & move dialogs if the path itselfs
doesn't already have a trailing slash.

Signed-off-by: Patrick Winnertz <winnie@debian.org>

copy/move dialog: add trailing '/' to default destination path (fix #181)

Problem:
  When user tried to copy/move file (F5/F6) - he could run into trouble if
  destination directory is removed (it can be removed by user from another mc session).
  Operation is performed and(!) file is renamed.
  So when when user issues 'cp /tmp/a.file /tmp/b' - he gets not expected /tmp/b/a.file,
  but /tmp.b !

Solution:
  Add trailing space for destination directory for non-local copy/move(F5/F6) operations.
  So operation, given above will take form: 'cp /tmp/a.file /tmp/b/' disambiguating b
  meaning.

Signed-off-by: Sergei Trofimovich <slyfox@inbox.ru>

fish: cleanup: unboxed quoted strings when generate shell commands

Signed-off-by: Sergei Trofimovich <st@anti-virus.by>

Merge branch 'mc-4.6' of ssh://midnight-commander.org:2222/git/mc into mc-4.6

Merge branch '203_keypad_putty' into mc-4.6

introduced new type SHELL_ESCAPED_STR for more type safety

fixed comments to /* ... */