Ruby io_splice 4.4.2 - URL + doc updates

doc: update URLs to point to YHBT.net

bogomips.org is going away since .org isn't going to
be affordable, anymore.  While we're at it, stop requiring
olddoc to just build the gem.

doc: update URLs to point to YHBT.net

bogomips.org is going away since .org isn't going to
be affordable, anymore.  While we're at it, stop requiring
olddoc to just build the gem.

Ruby io_splice 4.4.1 - minor updates

This release fixes mismatched indentation warnings in
Ruby 2.6+.  There are also some minor doc updates.

Of course, all the relevant functionality is also in the
"sleepy_penguin" RubyGem.  So chances are you won't need
this package and increase overhead from DSOs(*)

4 changes since v4.4.0

      io/splice: fix mismatched indentation warnings
      pkg.mk: build system updates
      doc: update URLs to HTTPS and remove refs to mail software
      README: add a note on sleepy_penguin providing splice + tee

(*) https://udrepper.livejournal.com/8790.html

README: add a note on sleepy_penguin providing splice + tee

doc: update URLs to HTTPS and remove refs to mail software

No need to market or promote anything, here.

pkg.mk: build system updates

Mainly, pass --local to "'gem install"

io/splice: fix mismatched indentation warnings

Ruby 2.6.0dev warns about these

Ruby io_splice 4.4.0 - minor updates

Most notably the mailing list is now subscription-optional
on the bogomips.org server:

    ruby-io-splice@bogomips.org

If you want to keep receiving email updates, you'll need to
resubscribe by sending a message to:

    ruby-io-splice+subscribe@bogomips.org

Migrating subscribers can't be done automatically as librelist
(our old host) doesn't publish subscriber lists.  But you don't
have to subscribe, either, HTTP archives are available at:

    http://bogomips.org/ruby-io-splice/

There you'll also find links to ssoma/public-inbox for
extracting the mail archives to git.

shortlog:
      move mailing list to ruby-io-splice@bogomips.org
      switch documentation to olddoc
      pack internal structs for 64-bit systems
      favor comparisons against zero instead of -1
      doc updates

Again, the io_splice 5.x will remove the mistake of the
IO::Splice.copy_stream method.  Users are encouraged to use
IO.copy_stream in Ruby (1.9+) itself instead.

gemspec: remove dead wrongdoc stuff

Old wrongdoc cruft, update for olddoc.

doc updates

Remove LATEST from being rdoc-ed at all, and update the
(mostly useless) private email address.

favor comparisons against zero instead of -1

This should allow faster instructions to be used in some cases.
Technically this may be less pedantically correct, but there is
enough existing code out there which does the same thing to
discourage kernel/libc developers from overloading negative
return values.

...And glibc even favors comparison against zero, too.

pack internal structs for 64-bit systems

This reduces stack usage in some places, perhaps providing a
miniscule improvement in GC performance.

struct          before  after   difference
splice_args 48 40 8
vmsplice_args 32 24 8

switch documentation to olddoc

wrongdoc was difficult to maintain because of the tidy-ffi
dependency and the HTML5 changes in Darkfish could not be
handled well by Tidy.

olddoc is superior as it generates leaner HTML which loads faster,
requires less scrolling and less processing power to render.
Aesthetic comparisons are subjective of course but completely
unimportant compared to speed and accessibility.

ref: http://80x24.org/olddoc/

move mailing list to ruby-io-splice@bogomips.org

The public-inbox + mlmmj setup on bogomips.org allows posting
without subscription and offers downloadable archives via git.
The lack of rsyncable archives on librelist nowadays and
subscription-required nature of librelist are points against it.

Repliers are now encouraged to Cc: all recipients (using the
reply-all function of their mail client) since many readers are
not subscribed.

This project has never accepted or encouraged HTML email, but
librelist accepted it.  The bogomips.org mail server is
configured to treat HTML mail as spam, so do not send HTML mail
if you expect a response.

Users who wish to subscribe may send a message to:

ruby-io-splice+subscribe@bogomips.org

Similarly, they may unsubscribe via:

ruby-io-splice+unsubscribe@bogomips.org

HTTP archives are available via:

http://bogomips.org/ruby-io-splice/

ssoma users may also use: git://bogomips.org/ruby-io-splice
(see README change)

Old messages to the librelist addresses will continue to
get routed to the new mailing list.

ref: http://public-inbox.org/

io_splice 4.3.0 - cleanups and compatibility fixes

This release fixes compatibility with Ruby trunk r44955 and onwards.
There are also numerous cleanups.
Note: usage of IO::Splice::WAITALL is deprecated and will be removed
in 5.x along with IO::Splice.copy_stream.

avoid deprecated rb_thread_blocking_region on 2.0+

rb_thread_blocking_region is not in ruby trunk as of r44955

deprecate and remove docs for IO::Splice::WAITALL

This functionality should not be implemented in Ruby, at least.
This flag could also conflict with future flags used by the
underlying syscalls.

remove copy_stream tests and references

It is deprecated, so stop testing and advertising it.

prepare for rb_thread_blocking_region removal

It'll be OK to use rb_thread_call_without_gvl when
rb_thread_blocking_region is not detectable at all.
We still use rb_thread_blocking_region for Ruby 2.0-2.1 because
rb_thread_call_without_gvl was detectable in 1.9.3, but not
usable as an internal symbol.

ref: https://bugs.ruby-lang.org/issues/9502

Rakefile: kill raa_update task

RAA is dead

avoid RARRAY_PTR usage for vmsplice

In case somebody finds vmsplice useful in Ruby, we avoid incurring
the performance loss from RARRAY_PTR under Ruby 2.1.0 and Rubinius.
However, I still haven't found a useful use of vmsplice under
Ruby (or any high-level languages).

.gitignore: add .rbx

Newer versions of Rubinius generate files in .rbx.

io/splice: deprecated potentially unsafe methods

In retrospect, these methods are too infrequently useful and
causes problems too easily to be worth supporting.

set close-on-exec in pipe size modification check

This prevents a file descriptor leak in case another thread
forks and execs while we are in the middle of loading.  This
places a hard dependency on pipe2, but pipe2 appeared in Linux
before pipe size modification.

io_splice 4.2.0 - several bugfixes and workarounds

We now limit maximum splice length to (1<<30) to avoid EINVAL
errors on 64-bit hosts.

vmsplice no longer raises Errno::EFAULT optimizations in newer
GCC (not that I've found a good use for vmsplice at all with
Ruby...)

There are several other small cleanups.

Eric Wong (6):
      copy_stream: small cleanup for pipe splicing
      limit maximum splice length to 1 << 30
      avoid uname() for pipe size modification checks
      doc: s/librelist.com/librelist.org/
      vmsplice: avoid referencing invalid stack address for strings
      vmsplice: more consistent fileno retry handling

vmsplice: more consistent fileno retry handling

While vmsplice is hardly useful, its FD-closed-while-GVL-less
handling should be as good as our splice and tee wrappers.

vmsplice: avoid referencing invalid stack address for strings

Newer GCC more aggressively optimizes stack allocations away,
so we need to avoid passing out-of-scope addresses to vmsplice.
Not that vmsplice is useful in Ruby...

doc: s/librelist.com/librelist.org/

.org makes us look less commercial, which may be
important to some folks.  Yes, this project is
run by a dirty hippie.

avoid uname() for pipe size modification checks

The uname comparison is fragile and we can better
detect this during the Init_* function by just using
a pipe.

limit maximum splice length to 1 << 30

This is the same value haproxy has to work around the same
issue on 64-bit platforms.

ref: a9de333aa58e6cb76f08a50e8ba2c5931184068f in
     http://git.1wt.eu/git/haproxy.git

copy_stream: small cleanup for pipe splicing

No need to loop on IO::Splice.full, it already loops
internally whenever it makes sense.

io_splice 4.1.1 - workaround socket -> pipe issues

IO::Splice.copy_stream now uses SPLICE_F_NONBLOCK whenever the
destination is a pipe.  Our documentation is also updated to
reflect the issue of splicing from sockets into pipes.

ref: http://lkml.org/lkml/2009/1/13/478

expand doc for non-blocking splice into a pipe

We should warn our users to avoid a blocking splice() from a
socket into a pipe if the socket buffers are full unless there's
a blocking read/splice on the other end of the pipe.

copy_stream: always use SPLICE_F_NONBLOCK for partial copy

The pipe may be full from small buffers due to how TCP
works, so we need to use non-blocking I/O on the pipe.

ref: http://lkml.org/lkml/2009/1/13/478

io_splice 4.1.0 - copy_stream enhancement for 1.9

IO::Splice.copy_stream coerces based on the availability of
the #to_path method in source and destination arguments.

This is to be compatible with IO.copy_stream and also
Rack::File since this may be used in web servers.

This is NOT visible with Ruby 1.8 since File.open
doesn't coerce with #to_path on the given object.

copy_stream coerces based on #to_path

This is to be compatible with IO.copy_stream and also
Rack::File since this may be used in web servers.

This is NOT compatible with Ruby 1.8 since File.open
doesn't coerce with #to_path on the given object.

io_splice 4.0.0 - easier to use!

Methods now automatically retry on EINTR after checking
IO#closed? and executing interrupts.

There is a new IO::Splice::WAITALL flag (implemented in
userspace) which may be used to cause IO.splice and IO.tee
to retry (while the GVL is released) until the operation
is complete.

IO::Splice.copy_stream now works correctly for large copies
if source offset is specified.

MRI 1.8 is only weakly supported now, MRI 1.9 is the
preferred platform though Rubinius appears to work, too.

fix up documentation for fd vs IO objects

We support both, but IO objects are easier to use so
refer to those in the documentation.

copy_stream: enough to get this working under MRI 1.8

This way at least 1.8 users can have something akin to
IO.copy_stream.

test_copy_stream: fix userspace buffering assumption

And enable UNIX socket tests for this

add copy_stream test from MRI

This helps flesh out some inconsistencies between our
implementation and IO.copy_stream in MRI.  Some things
we won't care about though, like userspace buffering.

copy_stream: update src_offset on retries

Oops :x

copy_stream attempts to use IO::Splice::WAITALL

This reduces Ruby method dispatches

test_io_splice: disable timeout-related tests in non-MRI

timeout doesn't seem to interrupt C extensions reliably
in some cases...

add IO::Splice::WAITALL flag support

This allows splice-in-full and tee-in-full behavior
to simplify user code.

test_io_splice_eintr: beef up test

Also works under Rubinius

use ssize_t/size_t instead of long/unsigned long

Easier to read this way since it matches upstream
functions.

EINTR test only works under 1.9

Not that we feel like supporting 1.8 any longer..

detect closed descriptors on EINTR

We don't want to retry with the same FD if it somehow
got closed and reopened in a different thread.  We
could possibly have Errno::EBADF, too, but
rb_thread_io_blocking_region doesn't allow multiple
file descriptors...

my_fileno: use FIX2INT instead of NUM2INT

No chance in hell a file descriptor can be a Bignum...

retry on EINTR

This makes things consistent with Ruby core IO methods

io_splice 3.1.0 - IO::Splice.copy_stream improvement

IO::Splice.copy_stream no longer modifies the actual file offset
of the given source file (if it's a regular file).  This follows
IO.copy_stream and IO#sendfile semantics, allowing multiple
threads/processes to simultaneously stream a single regular file
descriptor to multiple sockets/pipes.

minor documentation updates

IO::Splice.copy_stream is more useful, now

IO::Splice.copy_stream doesn't change offset of source file

This is for compatibility with IO.copy_stream and IO#sendfile,
both of which use pread()-semantics when given a source file
offset.   This allows multiple threads/processes to copy from
the same file handle.

extconf: remove unnecessary dir_config statement

I didn't know mkmf at the time :<

io_splice 3.0.0 - kinder, gentler Linux zero-copy

This release adds the IO.trysplice and IO.trytee interfaces
to avoid expensive EAGAIN exceptions for non-blocking I/O.

There is no IO.tryvmsplice method as we still haven't figured
out a good use for IO.vmsplice in Ruby, and non-blocking I/O
with iovecs is just painful!  If you want more zero-copy fun
without needing mmap(2), check out the "sendfile" RubyGem and
IO.copy_stream (1.9).  As of Linux 2.6.33+, sendfile(2) can copy
mmap-able files to +any+ descriptor, not just sockets.

Please email us at ruby.io.splice@librelist.com if you can think
of a good use for IO.vmsplice or IO.trysplice in Ruby.

doc: more notes for IO.vmsplice

HALP!

remove VERSION constant

Needless cruft and maintenance overhead.

doc: RDoc for new interfaces and changes

And yes, encourage them for non-blocking I/O users.

IO.vmsplice flags argument defaults to zero

For consistency with all of our other methods.

add IO.trytee interface

This allows more-efficient use of non-blocking I/O with
tee(2) and will return :EAGAIN instead of generating an
expensive Errno::EAGAIN exception.

trysplice implies SPLICE_F_NONBLOCK for flags

It makes more sense this way if non-blocking I/O is expected.

flags are optional for splice and trysplice

No point in requiring the flags argument if it's going to be
zero, so default them to zero if they're unset.

shorten calls to rb_thread_blocking_region

Long lines bother me

avoid signed vs unsigned comparison

Caught when compiling with the CFLAGS of Ruby 1.9.3dev

copy_stream: File.open encoding doesn't matter

No need to open in binary mode since no file data
goes through luserspace!

test: fix broken assertions on Ruby 1.9.3dev

Oops :x

copy_stream uses IO.trysplice instead of IO.splice

Things should be slightly faster this way.

test: remove unused_port function

It's wholly unnecessary when we don't do exec() for other
processes.

add IO.trysplice interface

This reduces the cost of EAGAIN and EOF since they
are not considered exceptional conditions.

io/splice: unindent

This seems to fix the issue we had with older RDoc, too

test: cleanup unused_port function

Duh!

clean up packaging and use pkg.mk

doc: switch to wrongdoc

No more JavaScript!

GNUmakefile: sync examples for documentation publishing

The examples on our site were out-of-date.

GNUmakefile: update RAA on new releases

Ruby io_splice 2.2.0 - updates for Linux 2.6.35

This release adds IO#pipe_size and IO#pipe_size= accessors for
resizing the kernel pipe buffer under Linux 2.6.35+.  This
functionality may be used to either reduce memory footprint or
make large copies with fewer method dispatches and system calls.

These methods are only available when run under Linux 2.6.35 or
later (but always built, so there's no need to recompile this
library after upgrading your kernel).

http://bogomips.org/ruby_io_splice/doc/IO.html#method-i-pipe_size
http://bogomips.org/ruby_io_splice/doc/IO.html#method-i-pipe_size%3D

add IO#pipe_size and IO#pipe_size= accessors

These are friendly wrappers around F_GETPIPE_SZ
and F_SETPIPE_SZ fcntl()s in Linux 2.6.35.

test_io_splice: fix broken test

Apparently timing variations were allowing it to succeed under
Ruby 1.8/1.9, but Rubinius tripped and exposed the bug.

Ruby io_splice 2.1.0 - IO::Splice.copy_stream fixes

This fixes the issue with our copy_stream where non-pipe
descriptors with the O_NONBLOCK flag set were not handled
correctly.  Like IO.copy_stream in Ruby 1.9, our
IO::Splice.copy_stream will _always_ block until IO is available
(or raise if there are errors).

IO::Splice.copy_stream now closes all file descriptors that were
opened within the method, reducing pressure on the garbage
collector.

There are also new singleton convenience methods:

  * IO::Splice.full - blocks and splices the full amount
  * IO::Splice.partial - blocks until something is spliceable

  They are used internally to implement IO::Splice.copy_stream,
  but may also be useful to end users.

Rcov shows 100% test coverage \o/

doc: help RDoc read IO::Splice singleton methods

document +src+ and +dst+ for IO::Splice.{full,partial}

Unlike IO::Splice.copy_stream, these require at least
one of the source or destination parameters to be a
pipe.

GNUmakefile: add rcov target

copy_stream: handle and block on EAGAIN from the non-pipe IO

splice(2) (called without SPLICE_F_NONBLOCK) only blocks on the
pipe descriptor, but may trigger EAGAIN from the non-pipe
descriptor.  So use IO.select to deal with the case where the
non-pipe descriptor is non-blocking and wait on it.

While we're at it, add the IO::Splice.partial and
IO::Splice.full singleton methods to make our life easier
to implement copy_stream with.  These methods may also
be used directly by users who may find them useful.

GNUmakefile: allow passing options to test/unit

copy_stream: cleanup after ourselves

It's a good idea to clean up any file descriptors
opened within our method to avoid unnecessary GC
invocations.

COPYING: bundle the LGPLv2.1 instead of LGPLv3

The choice of version is up to the user, but bundle the one
more likely to be invoked.

Ruby io_splice 2.0.0

There is a new IO::Splice.copy_stream method which is similar to
the IO.copy_stream method in 1.9 core, but uses splice()
internally to avoid copies to userspace in situations where
sendfile() is not possible.

With Linux 2.6.35 (and header files to match), we will also
export the F_GETPIPE_SZ and and F_SETPIPE_SZ constants so
they can be used with fcntl() to resize pipe buffers.

The documentation is also updated to reflect the returned
usefulness of the IO::Splice::F_MOVE constant for FUSE
filesystems under Linux 2.6.35.

I've also relicensed to LGPLv2.1+ (from LGPLv3-only) to allow
bundling with GPLv2-only applications (I'm currently the sole
copyright holder).

Signed-off-by: Eric Wong <normalperson@yhbt.net>

update PIPE_CAPA documentation for Linux 2.6.35

relicense to LGPLv2.1+ (from LGPLv3 only)

This allows GPLv2-only programs to bundle us.

Signed-off-by: Eric Wong <normalperson@yhbt.net>

GNUmakefile: make our unit tests PHONY

examples/splice-cp: simplify with IO::Splice.copy_stream

io_splice_ext: require errno.h

It seems needed for Rubinius

copy_stream takes source offset like the non-splice version

This should make it a drop-in replacement for IO.copy_stream,
except it won't deal with things like StringIO.

allow IO.vmsplice to take a single string

This could be useful if a Ruby implementation eventually gives
us page-aligned strings that we can IO::Splice::F_GIFT

copy_stream: always try to move pages instead of copying

For most case in the forseeable future it's a no-op, but
since FUSE will support it in 2.6.35, some folks will be
able to use it again.

preliminary support for F_GETPIPE_SZ and F_SETPIPE_SZ

One day soon (2.6.35), we'll be able to resize pipes.  We may
support this independently of the C library since that can take
a few months/years to catch up, taking distro release cycles
into account, too.

update IO::Splice::F_MOVE documentation for 2.6.35

FUSE devices will finally gain splice() support and also
support SPLICE_F_MOVE in 2.6.35.  SPLICE_F_MOVE is still
ignored for non-FUSE devices.

simplify examples for 1.0.0 API

implement IO::Splice.copy_stream

This is like IO.copy_stream in Ruby 1.9, but uses
the splice() system call internally.