Version: 3.7.1 → 3.7.2

[skip ci]

Build: 3.7.1

[skip ci]

Minor Python3 script fixups.

Make some scripts executable and use the shebang line recommended at
https://docs.python.org/3/using/unix.html#miscellaneous

wslua: Port make-init-lua to Python3

Port the script that creates init.lua to Python3. The generated init.lua
removes one newline and adds another, otherwise the output is identical
to the Perl version.
Ping #18152.

wslua: Port make-taps to Python3

Port the script that creates taps_wslua.c and taps.txt to Python3. The
generated taps_wslua.c has one less newline, otherwise the output is
identical to the Perl version. Make the "taps" configuration file an
ConfigParser / .ini file.
Ping #18152.

CMake: Bump the minimum Python version to 3.6.

Make Python 3.6 the minimum required version. Version 3.6 added support
for f-strings.

dfilter: Fix undefined dereference and add null check

A value of ref could be accessed undefined and add additional
checks to ensure, that refs_array actually contains data or return
null immediately

Qt: Increase animation speed for progress frame

The progress frame animation is so slow, that it might not show
up on certain setups. Reduce the initial speed and duration for
the animation, which also speeds up calculations as well as dissection
as less animation has to be rendered/calculated

PTP: Improved robustness on wrong 2-step flag and 1-step

This code adds more robust handling of smaller issues with PTP messages,
like a missing 2-step flag of a not quite correct implementation of
802.1AS and improves 1-step support.

Changes:
- Handle 1-step syncs in analysis.
- Handle missing 2-step flag on pDelay more robust and warn in analysis.
- Handle missing F'up TLV in 802.1AS Sync more robust and warn.

stun: Tighten heuristic by rejecting restricted values

Reject the previous reserved and unassigned TURN channels and
STUN methods restricted by RFC 5764 and RFC 7983 to allow
multiplexing of STUN with DTLS-SRTP (and ZRTP) on the same
addresses and ports. (As an exception, allow the special MS
Multiplex TURN channel value.) Earlier versions of the specs
had these as unassigned (or did not support TURN Channels), and
no implementation has used them.

This prevents the STUN dissector from claiming RTP packets
going to the same port as set for STUN by Decode As, and should
allow us to set the STUN dissector as the dissector for a conversation
on UDP if we see any STUN message, not just a TURN message type.

IEEE1905: fix IPv6 type TLV parsing

 - Declare a separate type for the IPv6 TLV MAC address, otherwise its
   filter key is `ieee1905.ipv4_type.mac_addres` instead of the expected
   `ieee1905.ipv6_type.mac_addres` one which is confusing

 - Fix label for `hf_ieee1905_ipv6_type_count` to read "IPv6 address count"
   instead of the wrong "IPv4 address count"

 - Parse the IPv6 link local address which appears between the EUI-48 and
   the IPv6 address count in IPv6 type TLVs, without that, valid IPv6 TLVs
   are wrongly parsed and reported as malformed

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

TECMP: fix typo

STUN: Update some comments

[Automatic update for 2022-06-26]

Update manuf, services enterprise numbers, translations, and other items.

Qt: Only sort if there are actually lines to sort

Remove the sort for physical rows, if there are no rows to sort

Ping #18159

STUN: Fix MS-IMPLEMENTATION-VERSION value string

MS-IMPLEMENTATION-VERSION is not a duplicate of MS-VERSION, and
has a different interpretation. MS-VERSION is the version number
of MS-TURN, its values described in 2.2.2.17 of its spec, and
MS-IMPLEMENTATION-VERSION is the version of MS-ICE2, its values
described in section 3.1.5.2 of its spec.

The latter indicates whether the STUN message format must be that of
Internet-Draft behave-rfc3489bis-02 (that is, roughly the final
form of classic STUN, also used in MS-TURN) or whether that of
RFC 5389 is also supported.

HTTP: Add chunks as items instead of calling data dissector

HTTP chunked transfer encoding can have lots of chunks, and calling
the data dissector for each individual chunk adds a large number of
layers to the frame and doesn't really make sense. (As opposed to
calling the data dissector on the reassembled data if we can't handle
the content type, which does make sense.) In particular, this can
cause a failed assertion by adding more layers than
PINFO_LAYER_MAX_RECURSION_DEPTH.

Just add each data chunk as a FT_BYTES item. Fix #18130.

dfilter: Remove STTYPE_RANGE_NODE

STTYPE_RANGE_NODE is just a lexical token, it is
not used withi the syntax tree so remove it.

dfilter: Add layer support for references

This adds support for using the layers filter
with field references.

Before:
    $ dftest 'ip.src != ${ip.src#2}'
    dftest: invalid character in macro name

After:
    $ dftest 'ip.src != ${ip.src#2}'
    Filter: ip.src != ${ip.src#2}

    Syntax tree:
     0 TEST_ALL_NE:
       1 FIELD(ip.src <FT_IPv4>)
       1 REFERENCE(ip.src#[2:1] <FT_IPv4>)

    Instructions:
    00000 READ_TREE ip.src <FT_IPv4> -> reg#0
    00001 IF_FALSE_GOTO 5
    00002 READ_REFERENCE_R ${ip.src <FT_IPv4>} #[2:1] -> reg#1
    00003 IF_FALSE_GOTO 5
    00004 ALL_NE reg#0 != reg#1
    00005 RETURN

This requires adding another level of complexity to references.
When loading references we need to copy the 'proto_layer_num'
and add the logic to filter on that.

The "layer" sttype is removed and replace by a new
field sttype with support for a range. This is a nice
cleanup for the semantic check and general simplification.
The grammar is better too with this design.

Range sttype is renamed to slice for clarity.

dfilter: Change boolean string representation

Use "True" or "TRUE" instead of "true" and remove case insensivity.
Same for false. This should serve to differentiate booleans a bit
more from protocol names, which should be using lower-case.

X509IF: Fix duplicate filter name

Fixes #18155.

dftest: Print ftype of protocol fields

Regenerate ASN.1 dissectors

Qt: Fix endianness for an IPv4 value

ws_in4_addr is in network byte order (big endian) so convert from
BE to host byte order, not the other way around.

Doc: Port make-authors-short to Python3.

Port the script that creates AUTHORS-SHORT to Python3.
Ping #18152.

Make sure our Python scripts read and write UTF-8.

Explicitly set "encoding='utf-8'" for each of the files we read and
write in make-reg.py and generate_authors.py.

wslua: Port epan/wslua/make-reg.py to Python3

Port the script that creates
declare_wslua.h and register_wslua.c
to Python3.
Ping #18152.

Tools: Port tools/generate_authors.py to Python3.

Port the script that creates AUTHORS to Python3.
Ping #18152.

DNS: Note and dissect any extraneous payload bytes

Frame: Fix segmentation dump when parsing packet_verdict

This change fixes a segmentation fault core dump in tshark/Wireshark
when loading a pcapng file that contains the packet verdict option.

This problem got introduced in the commit mentioned below.

Fixes: 030b06ba3c8 ("pcapng: write packet and Netflix custom blocks the same as other blocks.")
Signed-off-by: Eelco Chaudron <echaudro@redhat.com>

GREbond: Add support for Huawei's GRE bonding (RFC8157) control protocol

This dissector is for the control messages of the GRE bonding protocol by
Huawei. These messages are encapsulated in GRE and can appear on both/all
bonding links.

During development, I made heavy use of traffic for Deutsche Telekom Hybrid
service. There fore, it also supports the first version which did not have an
IEEE assigned ethertype.

Signal-PDU: Fix performance degradation on config switch

By adding signal aggregation the time to change profiles changed
dramatically. This is due to unregistering header fields being a very
slow operation and for aggregation each signal line did not lead to 2
but to 5 hfs.

Unregistering header fields for 150k signal example config (debug build):
- 3.6:   50s
- 3.7:  592s (9:52!!!)

This patch brings the time back to 50s, if no aggregation is configured.

epan: Use host byte order with AT_NUMERIC

Use host byte-order with AT_NUMERIC to make it more generic
and practical.

Change openSAFETY to pass addresses in host byte-order (the
previous code assumed they were in little-endian).

Plus a few cleanups.

openSAFETY: Define broadcast address globaly

Cisco Mis-Cabling Protocol: Support strict mode PDUs

Content of the new Type is still to be determined.
Also hack around an unsolved "mystery".

epan: Make AT_NUMERIC behave more safely

Implement a better handling of byte sizes as well as preventing
possible memory bleeds

Fixes: 18147

wsdg: escape tick marks after backtick; fix typo

wsdg: docbook\README.adoc - filename

Qt: Fix compiler warning on macOS

Qt: Fix stream id display in context menu

It was displayed for every protocol, but should only be displayed
for TCP and UDP alone

Docs: Update the ftype description list in wireshark-filter(4).

Update a couple of ftype descriptions and update the list in the
wireshark-filter man page.

Qt: Fix a couple of slot names.

QComboBox emits currentTextChanged with a QString argument, not
currentIndexChanged.

Switch to new-style connections where we can.

RTP Analysis dialog: Fix of clock drift freq drift calculation

GTP: Several fixes and improvements to QoS IE GBR & MBR fields

The previous output was missing some fields under some conditions, and
some output text was wrong. This ended up in big confusion when looking
at the fields. Let's add the missing fields, fix the existing ones and
provide better formatting of the strings to understand which exact field
provides the info.

Qt: Fix our filter edit line lengths.

Make sure our bookmark border lines extend to the full height of the
text entry box.

Qt+docs: Capitalize JSON.

JSON is an abbreviation and should be displayed in all caps.
https://www.json.org/json-en.html

Fix Debian symbols

Qt: Work around a background fill issue with Qt 6.

It looks like QLineEdit no longer paints its background when it's a
QComboBox editor under Qt 6. Add a workaround for this to SyntaxLineEdit.

Docs: Updates to wireshark-filter manpage

dfilter: Add support for unicode escape sequences

Add support for entering unicode codepoints as \uNNNN or \uNNNNNNNN
for strings and charconsts (following the C standard).

dfilter: Add support for literal strings with null bytes

Before:
    Filter: frame matches "abc\x00def"
    dftest: \x00 (NUL byte) cannot be used with a regular string.
     frame matches "abc\x00def"
                       ^~~~
    Filter: _ws.ftypes.string == "a string with a \0 byte"
    dftest: \0 (NUL byte) cannot be used with a regular string.
     _ws.ftypes.string == "a string with a \0 byte"
                                           ^~

After:
    Filter: frame matches "abc\x00def"

    Syntax tree:
     0 TEST_MATCHES:
       1 FIELD(frame)
       1 PCRE(abc\0def)

    Instructions:
    00000 READ_TREE frame -> reg#0
    00001 IF_FALSE_GOTO 3
    00002 ANY_MATCHES reg#0 matches abc\0def
    00003 RETURN

    Filter: _ws.ftypes.string == "a string with a \0 byte"

    Syntax tree:
     0 TEST_ANY_EQ:
       1 FIELD(_ws.ftypes.string)
       1 FVALUE("a string with a \0 byte" <FT_STRING>)

    Instructions:
    00000 READ_TREE _ws.ftypes.string -> reg#0
    00001 IF_FALSE_GOTO 3
    00002 ANY_EQ reg#0 == "a string with a \0 byte" <FT_STRING>
    00003 RETURN

Fixes issue #16156.

wsutil/str_util: Escape string API extensions

Allow to specify the length instead of requiring a null terminated
string.

Add a function to escape embedded null bytes in a counted string.

Qt: Add stream number to conversations

Adding the stream id to UDP/TCP conversations and allowing
filtering on those values as well.

Fixes: #14184

Fix Debian symbols

ftypes: Add FT_UINT_STRING to IS_FT_STRING() macro

ftypes: Fix an error message

ftypes: Make accessor functions type safe

MCPTT: Fix dissection of FC Reject Phase field

ETSI TS 24.380 section 8.2.3.4 specifies that:
"The <Reject Phrase> value is a text string encoded the text string
in the SDES item CNAME as specified in IETF RFC 3550."

This does not mean that SDES tipe and length files are necessary,
only applies in the enconding of the text string.

DCT2000: call dissectors for R16 RRC

Revert "A small for for the Doxygen warning:"

This reverts commit 2faa7bc3132a4a0b5679231f2f9ac5a988d45084

A small for for the Doxygen warning:
  capture/airpcap.h:906: warning: end of file while inside a group

Since the syntax should be `/**@}*/` (or `/*!@}*/` works too.

Qt: Fix column hiding for traffic model

Instead of letting the model do the filtering and having
a bunch of exceptions in cases where columns are hidden
in between other columns, the model will present all columns
all the time, and it is the job of a top-level proxy to
filter out columns not required for current display

TPNCP: Simplify size tracking

This also fixes a crash when tpncp.dat is missing the events part.

[Automatic update for 2022-06-19]

Update manuf, services enterprise numbers, translations, and other items.

Qt: Hide columns for traffic tree

Allow columns to be hidden for the traffic tree dialogs
Conversations and Endpoints and store the information profile
specific

Qt: Fix TrafficTree typo

And also fix some prototypes

Prefs: Change the default UI layout to type "2".

Make the default UI layout "packet list on top, packet detail and bytes
side by side". This is more space efficient on modern displays and is
the first thing I change when using the default profile.

BSSGP: Correct BBSGP -> BSSGP in a few places

Qt: Remove our idle dissection wait period.

Set our idle dissection single-shot timer to 0, i.e. whenever the Qt
event loop can fit us in. This fixes a performance issue here with
libsinsp and doesn't appear to cause any issues otherwise.

ui: Add Logwolf software updates.

Set Logwolf information in the Appcast URL template as needed.

plugins.example: Fix an installation path

Qt: Sort tap list initially

By sorting the list of taps, the initial sorting is kept also
for the tab order

MEGACO: Reset bracket counters after a Topology Descriptor

After parsing a Topology Descriptor at the start of a request
or reply command, reset the left and right bracket counters
before going back to the top of the loop to parse the next
command, just like how done at the end of the while loop with
a normal command.

Prevents marking as malformed packets which have a Topology Descriptor
followed by a single command (e.g. Move) without any trailing
descriptors, and hence no more left brackets.

docbook: Adapt releasenotes for openSafety and AT_NUMERIC

[skip ci]

openSAFETY: Adding conversation handler code

Qt: Implement sort model for traffic type list

epan: Numeric address type

Add a numeric address type analog to StringZ for
protocols who only use numeric values as addresses
with no further handling.

e.g. IAT protocols which only enumerate the devices

epan: Finish converting endpoint_by_id to elements

Since the endpoint_by_id code uses elements and not the old
endpoint structure, it shouldn't set pinfo->use_endpoint to
TRUE when creating, and it should check if pinfo->conv_elements
is NULL, not pinfo->conv_endpoint.

Qt: Fix missing includes

On some compiler variations an error can occur due to missing
glib.h include

ethercat: Fix EEPROM Ctrl/Status bitmask fields

When the field width was corrected by commit
b240d5baa062a475ff0943b91205eb2aee2a0471, the masks got messed
up. There's 4 reserved bits that don't have fields and the bits
are in Little Endian order. Fix #18132.

RTCP: ensure that at least two bytes are captured for heuristic checks

Fixes #18136

Qt: Use a combobox for Decode As selectors if there are packet values

Don't require there to be at least two values in a packet for
a dissector table in order to have a combobox instead of a single
text box.

While perhaps having an editable combobox with only one drop down
option looks a bit funny, that is outweighed by the UI advantages
of being able to easily select the values that occur in the packet.

This makes it possible to change the dissector for the currently
selected packet's IP protocol or Ethertype when those are not the
last protocol layer without having to type it in manually, for
example.

SIGNAL-PDU: Fixing memory leak in Signal List UAT

woww: Change SMSG_AUTH_RESPONSE result field size from 4 to 1

I somehow mistook the size of this field for a u32 instead of a u8
earlier.

vmangos clearly shows that it's a u8:
https://github.com/vmangos/core/blob/cd896d43712ceafecdbd8f005846d7f676e55b4f/src/game/World.cpp#L322

and cmangos:
https://github.com/cmangos/mangos-classic/blob/98a53ea30db095ea88442449e3515fd20c9314c5/src/game/Server/WorldSession.cpp#L947

a615a: don't parse exception timer if A1

Trying to parse LUS and LNS files if the protocol version
was "A1" led to them being marked as a malformed packets.
THis is because protocol version A1 LUS and LNS files do
not have the exception timer field. So to fix it, we check if
the protocol version is not A1, and only if it isn't do we try to
parse the exception timer field.

editcap/mergecap: swap 'v'|'V' options to match other CLI utilities

Closes #18134

Docs: Add some protocols to the release notes.

GitLab CI: Fix our documentation globs

The correct glob pattern for a directory and its subdirectories is
"**/*". Use that in the change rules for the Documentation job.

Fix a sentence in AUTHORS file

ieee80211: Update reason codes as in IEEE Std 802.11-2020 and 802.11ax-2021

Add two more acknowledgements for external projects we use

Move an acknowledgement to authors section where it belongs.

Add two missing acknowledgements.

Refresh the AUTHORS file.

Qt: Remove some bogus entries from Authors list

Some lines in Acknowledgements are mistakenly matching the regular
expression to capture authors and email addresses, resulting in
bogus authors entries.

Stop matching authors after we reach the Acknowledgements section.
This matches the structure of the AUTHORS-SHORT file and fixes the
bogus entries.

Docs: Update documentation for redesigned Traffic Tabs

Update the documentation to document the change of features
that happen during the redesign of the UI as well as fix some
wordings in the data model.

ip: ip.flags field are 3 high bits not full byte

See https://ask.wireshark.org/question/27546/0x01-flag-on-last-of-fragmented-packets/

Qt: Fix Qt6 compile warnings for traffic tabs

Some conversions are warning, that qsizetype is implicitly
converted, this fixes that

Qt: Redesign TrafficTree Dialogs UI

The new UI should better group functionality and as well as better
showing which taps are available and can be used.

epan: Remove fragment_get_reassembled()

Because completed reassemblies are hashed in the reassembled_table for
all the frame numbers that contributed fragments,
fragment_get_reassembled_id() works wherever fragment_get_reassembled()
does, and also works where the fragment id is not the frame number.

However, since the reassembled_table hash key only depends on the
fragment id and the frame number, it only allows a frame to have
one reassembly with a given fragment id. Some protocols can have
more than one reassembly with a given fragment id (that differ on
addresses or other keys), such as GSM SMS, and the wrong reassembly
is retrieved on the second pass in those cases.

For this reason, we might want to add additional key elements to
reassembled_table, such as layer number. fragment_get_reassembled_id
already takes packet_info as a parameter and can accommodate that
without further changes, but fragment_get_reassembled cannot, so
remove the latter in favor of the former.

tftp: Handle TFTP servers that don't switch ports

If we get into the dissect_tftp call, we must have either matched
a WRQ/RRQ at some point and created a wildcarded UDP conversation,
or we matched the TFTP port. While it is contrary to the spirit
of RFC 1350 for the server not to switch ports, it basically works
and the port is IANA assigned, so it doesn't do harm to process these.
In the heuristic dissector, of course, we don't do this.

The conversation code doesn't automatically fill in wildcarded
ports for UDP (since it's connectionless), and the wildcarded
find_conversation call in the TFTP dissector was twisted around
so it didn't actually fill in the second port before anyway.
Filling in the server port would make sense, but then the necessary
logic to find the right conversations would be more complicated.
(The default find_conversation logic prefers any conversation with
both ports to a wildcarded conversation, but the TFTP dissector would
then want the most recent conversation, whether wildcarded or with
both ports.)

These packets were handled prior to the 3.6 changes. Fix #18122

MCPTT: Fix dissection of Track Info field

Unlike most of the FC fields, Track info participant type string file
padding is not considered in the dissector. This causes that all the FC
message dissection fails the string contains padding.

According to ETSI TS 24.380 Section 8.2.3.13:
If the length of the <Participant Type> value is not a multiple
of 4 bytes, the <Participant Type> value is padded to a
multiple of 4 bytes. The value of the padding bytes is set to zero.
The padding bytes are ignored by the receiver.

WSUG: Typo

Add a missing comma