socket: fix broken connect for non broadcast traffic

commit 1c1e09a completely broke connects for non broadcast
traffic since it forgot to copy the server address into
the socket_storage struct.

Signed-off-by: Peter Lieven <pl@kamp.de>

slist.h: Change SLIST_* to LIBNFS_LIST_* to avoid name clash on *BSD

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

docs: add a prebuilt manpage to the distribution

Add a prebuilt manpage for nfs-ls and change the makefiles to not build the
manpage by default. This is because the manpages change rarely and this removes
the need for an internet connection when building the library.
(previously building the library required downloading a template from
sourceforge)

Update the README and mention that you now need to manually rebuild the
manpages if the manpage sources change.

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

Merge pull request #74 from alexsn/master

nfs-ls: Fix crash when called with no arguments

nfs-ls: Fix crash when called with no arguments

When called with no argument we jump to 'finished' label
after which nfs_destroy_url is called with *url having
some garbage stack value.

nfs_open: add support for O_APPEND

Merge branch 'xid-hash'

Merge pull request #71 from Memphiz/nolinger

[socket] - disable linger by setting SO_LINGER to 0 seconds

Merge pull request #72 from Memphiz/fixosxcompile

[osx] - fix compile

[osx] - fix compile

[socket] - disable linger by setting SO_LINGER to 0 seconds

Fix the file position handling of the read and write calls

Since the interface is modelled after the libc calls we should try to match
their behaviour to avoid unpleasant surprises:
* read / write (sync and async flavours) update the file position
* pread / pwrite (sync and async flavours) do not update the file position
.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

libnfs-sync: nfs_{read,write}: use their _async counterparts internally

Previously nfs_read and nfs_write used to use nfs_pread and nfs_pwrite respectively.
In preparation of getting the file position handling right this has to be detangled.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_lseek{,_async}: allow negative offsets and guard against file positions < 0

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

Track waiting requests in a hash table, by xid

NFS servers can respond to requests in any order, and they do. In our
tests there is also some clustering to the responses; it could be
because eg. requests are served synchronously if the data is in the cache.

Introduce a hash table so that we are able to find the pdu quickly in
all cases, assuming random distribution of the responses.

Ensure the next pointer is correct

Fixes a bug where the next pointer was not being explicitly set. We
were ok much of the time due to zero-filled memory, and also we need
this if the same pdu is re-queued.

Optimisations to the pdu queues

When making many concurrent requests (as is likely in any performance
criticial application), the use of SLIST_REMOVE and SLIST_ADD_END are
a severe bottleneck because of their linear search.

I considered using a double-linked list but it was unnecessary to
allocate the additional memory for each list entry.

Instead, continue to use a single-linked list but retain:

* a pointer to the end of the list; and
* a pointer to the previous entry during a linear search.

The former would makes append operations O(1) time, and the latter
does the same for removal. We can do this because removal only happens
within the linear search, and there is no random access to the queue.

RPM: Fix the specfile

INCLUDES: Don't install libnfs-provate.h or slist.h

AUTOTOOLS: Add Makefile.am to utils

SPECFILE: Fix syntax error in the spec file

NFS-LS: Build nfs-ls as utils and make it install under bin

DOC: Add manpage for nfs-ls

examples/Makefile.am Remove stuff we do not need

PORTMAP: Add some comments about the origin of definitions

nfs_normalize_path: don't strip trailing slash from "/"

Otherwise end up with a null string which is not permitted (RFC 1813, 3.2;
the code checks for it right after the now fixed nullification of "/").

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_opendir2_cb: plug potential memory leak

Spotted by clang analyzer.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

PORTMAP client: Pass length as sockaddr_storage, not sockaddr_in6

PORTMAP client: Parse and print the actual sockaddr that UADDR2TADDR returned

IPV6: Update the README and specify ipv6 is supported

PORTMAP client: Add commands to send v3 SET/UNSET

PORTMAP: Rename pmap3_getaddr_result to pmap3_string_result

PORTMAP: Add support for v3 TADDR2UADDR

PORTMAP: Add PMAP v3 UADDR2TADDR support

PORTMAP: Add support for PORTMAP v3 CALLIT

PORTMAP: Add v3 GETTIME support

IPv6: If we use IPv6 then we need to use PMAP v3 GETADDR

PORTMAP: Add support for SET UNSET procedures

PORTMAP: Add support for PORTMAP v3 GETADDR

PORTMAPv3: Add NULL and DUMP commands. Also add portmap example client.

GETEXPORT: Use rpc_connect_program_async() flow during list exports

and get rid of several now redundant callbacks.

RPC_CONNECT:  Use the rpc_connect_program_async() flow during nfs_mount()

PORTMAP: Rename the functions in PMAP to PMAP2 to desribe the version of PMAP we use.

Future patches will add PMAP3 which we will need for IPv6 support.

IPV6: Add basic IPv6 support

This adds basic IPv6 support to libnfs.
Since libnfs currently only support PORTMAPPER protocol up to version 2
the IPv6 support only works if the server runs Both MOUNT and NFS protocols
on the same ports for IPv6 as for IPv4.

To get full IPv6 support we need to add support for PORTMAPPER version 3
and use it for discovery when using IPv6

New version:  1.9.3

 Wed Mar 19 2014: Version 1.9.3
 - Add O_TRUNC support to nfs_open()
 - Add a simple but incomplete LD_PRELOAD tool
 - Fixes for some memory leaks and C++ compile support
 - Make ANDROID default uid/gid to 65534
 - Allow the READDIRPLUS emulation to still work if some objects
   in the direcotry can not be lookedup (NFSv4 ACL denying READ-ATTRIBUTES)
 - Have libnfs retry any read/write operations where the server responds
   with a short read/write. Some servers do this when they are overloaded?

Merge pull request #69 from plieven/for-1.9.3

nfs_{pread,pwrite}_async: fix oom handling and comments

nfs_{pread,pwrite}_async: fix oom handling and comments

Signed-off-by: Peter Lieven <pl@kamp.de>

Merge pull request #68 from plieven/for-1.9.3

examples/nfs-ls: fix summary output

examples/nfs-ls: fix summary output

Signed-off-by: Peter Lieven <pl@kamp.de>

PORTMAP: Add support for V3 DUMP command

This implements the missing procedure from Issue #65

Merge pull request #67 from plieven/for-1.9.3

For 1.9.3

{pread,pwrite}_async: fix potential segfault in out of memory condition

if there are already requests in flight we cannot return with an error immediately
from the functions since the caller will likely tidy up his data structures directly
and later on we call his callback with private_data that has likely already
been freed.

Signed-off-by: Peter Lieven <pl@kamp.de>

nfs_pread_async: handle short reads

the RFC allows the server to read less bytes than requested even
if not at the EOF.
this patch implements a reissue logic for the reminder of the
read request(s).

Signed-off-by: Peter Lieven <pl@kamp.de>

nfs_pwrite_async: handle short writes

the RFC allows the server to write less bytes than requested.
this patch implements a reissue logic for the reminder of the
write request(s).

Signed-off-by: Peter Lieven <pl@kamp.de>

fix possible wrong cast to 32-bit unsigned

when calculation the max_offset the (unsigned) leads to a cast
to a 32-bit unsigned integer depending on the platform. as a result
we update the max_offset everytime when it grows beyond 2^32.
this leads to a wrong return max_offset value if the callbacks
are received out of order.

Signed-off-by: Peter Lieven <pl@kamp.de>

introduce nfs_fill_{READ,WRITE}3args

Signed-off-by: Peter Lieven <pl@kamp.de>

fix potential overflow in nfs_pread_mcb

Signed-off-by: Peter Lieven <pl@kamp.de>

Improve error messages when READDIRPLUS emulation fails.

This addresses issue #62

Dont check for NFS errors in the LOOKUP during READDIRPLUS emulation

On servers with extended attributes, a server copuld be set up to
deny READ-ATTRIBUTES for the libnfs user.
This means that READDIRPLUS will no longer work since it will need to
stat() and thus READ-ATTRIBUTE in order to prepare the response.

Libnfs has READDIRPLUS emulation for the cases where this command fails
by switching to old READDIR to scan all the file names and then a LOOKUP loop for getting the file attributes.

Most of the time the purpose for this emulation is to handle the case where the server simply does not support READDIRPLUS at all, which sometimes is the case for embedded systems with userspace nfs servers.
In this case, where files just have READ-ATTRIBUTE deny for the libnfs user,
this will also fail and trigger the fallback to READDIR + LOOKUP-loop.

If the LOOKUP fails for this loop, then just ignore trying to update the attributes we have for this object, but do not fail the actual READDIRPLUS emulation.

This addresses a permissions issue reported by a XBMC user in issue #60

Set default uid/gid to 65534/nobody for ANDROID

We only need to spend CPU computing a new error string IFF there was an error
when unmarshalling the reply.

Improve error reporting when unmarshalling of message headers fail.

Add a new nfs_stat64() function that operates on a always-64-bit stat structure

nfs_pread_async: plug potential memleaks

Spotted by clang analyzer.

This also introduces asserts to help clang analyzer avoid reporting
false positives.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_write_async: plug potential memory leaks

Spotted by clang analyzer.

This also introduces asserts to help clang analyzer avoid
reporting false positives.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

rpc_read_from_socket: fix use-after-free due to missing return

Spotted by clang analyzer.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

socket.c: fix format string issues (too few arguments)

These were uncovered by the previously added __attribute__((format(printf))).

Emacs also removed trailing whitespace while at it.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

{nfs,rpc}_set_error: add __attribute__((format(printf))) annotations

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_rename_continue_1_internal: fix use-after-free

Spotted by clang analyzer.
This introduces another allocation to create a copy of the target path
of a rename in case it needs to be reported via rpc_set_error - it might
be a better idea to avoid the allocation and have a slightly less informative
error message?

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_unlink_async: plug potential memory leak

Spotted by clang analyzer

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_rmdir_async: fix potential memory leak

Spotted by clang analyzer.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_mkdir_async: fix potential memory leak

Pointed out by clang analyzer

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_mknod_async: fix use-after-free

Spotted by clang analyzer

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_fchown_async: fix use-after-free

Spotted by clang analyzer.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_fchmod_async: fix use-after-free

Spotted by clang analyzer

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_opendir2_cb: plug potential memleaks

Spotted by clang analyzer

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

free_nfs_cb_data: make static and drop superfluous nullptr checks / assignments

free() can cope with nullptrs and there's no point in null-ing free'd members
as the containing struct is free'd as well.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

free_nfs_cb_data: add assert(data->free_continue_data)

Non-debug builds will trip over the nullptr too - do we rather
want to leak the memory there?

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_fchown_async: fix nullptr dereference

nfs_chown_data is hooked up under nfs_cb_data->continue_data but
no ->free_continue_data is configured, so once free_nfs_cb_data is
invoked it will trip over a nullptr.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_fchown_async: plug potential memleak

Spotted by clang analyzer.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_creat_async: plug potential memleak

Spotted by clang analyzer.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_mknod_async: plug potential memory leak

Pointed out by clang analyzer.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_lookuppath_async: plug potential memleak

Spotted by clang analyzer.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_opendir_cb: plug potential memory leak

Spotted by clang analyzer.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

libnfs-raw.h: rename export -> exportname to avoid clash with C++ keyword

From http://en.cppreference.com/w/cpp/keyword/export :

  Until C++11:
  "Used to mark a template definition exported, which allows the same
   template to be declared, but not defined, in other translation units."

  Since C++11:
  "The keyword is unused and reserved."

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

libnfs.h: wrap in extern "C" for C++ compatibility

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_normalize_path: fix using the results of assignments in while loops

Spotted by clang:
 ../../libnfs.git/lib/libnfs.c:1002:13: warning: using the result of an assignment as a condition without parentheses
       [-Wparentheses]
         while (str = strstr(path, "//")) {
                ~~~~^~~~~~~~~~~~~~~~~~~~
 ../../libnfs.git/lib/libnfs.c:1002:13: note: place parentheses around the assignment to silence this warning
         while (str = strstr(path, "//")) {
                    ^
                (                       )
 ../../libnfs.git/lib/libnfs.c:1002:13: note: use '==' to turn this assignment into an equality comparison
         while (str = strstr(path, "//")) {
                    ^
                    ==

Make the intent clear by adding extra parentheses, and also
remove trailing whitespace from libnfs.c while at it.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

libnfs-zdr.h: wrap in extern "C" for C++ compatibility

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

libnfs-raw.h: wrap in extern "C" for C++ compatibility

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

libnfs-private.h: wrap in extern "C" for C++ compatibility

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

slist.h: add include guards

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

libnfs-private.h: add include guards

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

libnfs-raw.h: remove trailing whitespace

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

libnfs.h: add include guards

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

Change license for the ld preload hack to gplv3

Add a simple LD_PRELOAD toy to make cat and cp nfs-aware

We need to pass a filehandle back for open(O_TRUNC) or else the app will
be unhappy

Add support for O_TRUNC with nfs_open()

O_TRUNC will attempt to truncate the file when opened with O_RDWR
or O_WRONLY.

Normal posix open(O_RDONLY|O_TRUNC) is undefined.

libnfs nfs_open() only uses the O_TRUNC flag when used in combination with either O_RDWR or O_WRONLY.
When O_TRUNC is used together with O_RDONLY libnfs will silently ignore the O_TRUNC flag.

Libnfs nfs_open(O_RDONLY|O_TRUNC) is thus the same as nfs_open(O_RDONLY)

Rename the nfs_open() argument from mode to flags

Add a rpc_set_fd() fucntion which can be used to swap the underlying socket file descriptor

This is mainly needed when having to track and control the file descriptors that are used by libnfs, for example when trying to emulate dup2() ontop
of libnfs.