Merge tag 'libnfs-1.9.6' of https://github.com/sahlberg/libnfs into upstream

Tag for 1.9.6

Signed-off-by: Jérôme Benoit <jerome.benoit@piment-noir.org>
Conflicts:
README
configure.ac
examples/fuse_nfs.c
include/nfsc/libnfs-zdr.h
include/nfsc/libnfs.h
lib/Makefile.am
lib/libnfs-sync.c
lib/libnfs-zdr.c
lib/libnfs.c
lib/socket.c
nfs/Makefile.am
nfs/libnfs-raw-nfs.c
nfs/libnfs-raw-nfs.h
nfs/nfs.c
nfs/nfs.x
nlm/libnfs-raw-nlm.c
nlm/libnfs-raw-nlm.h
nlm/nlm.x
packaging/RPM/libnfs.spec.in

New version 1.9.6

 - Add O_TRUNC support for nfs_create
 - Handle OOM during create
 - Return more stats fields as part of readdir since we get these for "free"
   when we use READDIRPLUS
 - Follow symlinks during path resolution
 - Add lchown, lstat and lutimes
 - Replace all [u_]quad types with [u]int types in our RPC layer
 - Solaris build fixes

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

Issue READIRPLUS calls with a sensible dircount maxcount ratio

The NFS spec states:

"The ratio of the directory entry size to the size of the attributes plus the
size of the file handle is usually at least 8 to 1."

Though implementation dependent the spec implies that the previous 1 to 1 ratio
could have a detrimental impact on the performance of the server due to most of
the data per VOP_READDIR call being wasted.

The Linux kernel uses the 8 to 1 ratio.

Signed-off-by: Stefan Blanke <stefan.blanke@framestore.com>
Signed-off-by: Mark Hills <mark.hills@framestore.com>

Merge pull request #100 from rosslagerwall/access-improve

access() improvements

libnfs: Add access2()

Add nfs_access2(), like nfs_access() but it returns the individual
statuses of R_OK, W_OK and X_OK rather than a single success or failure
status.  This saves the latency and overhead of multiple lookups if an
application tries to determine the status of each of R_OK, W_OK and
X_OK.

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

libnfs: Give correct access() results for directories

Map ACCESS3_{MODIFY,EXTEND,DELETE} to W_OK and ACCESS3_{LOOKUP,EXECUTE}
to X_OK so that nfs_access() gives sensible results for directories.

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

README.win32.txt: delete this obsolete file

This file has been obsolete for a long time. At least since libfs got
its own internal marshalling support: ZDR.

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

solaris: we need -lsocket and -lnsl for all builds not just examples

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

types: remove the [u_]quad type and replace with [u]int64

All current platforms have a quad type that maps to a 64bit scalar.
But there are platforms where quad maps to a 64bit non-scalar.

Replace quad with int64 in the protocol definitions and the ZDR layer
so that these fields will map to a 64 bit scalar also on those platforms
where quad can not be used.

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

Merge pull request #99 from mheijkoop/fuse-nfs-usage

Fix help message for fuse_nfs example

Print usage when missing mandatory arguments

Fix usage message to match expected arguments

fix linebreak in README

socket.c: we need netinet/in.h on some platforms

Merge pull request #97 from rosslagerwall/read-close-crash

libnfs: Don't perform operations on nfsfh after user callback

Merge pull request #96 from rosslagerwall/enotempty

Map NFS3ERR_NOTEMPTY to ENOTEMPTY

fix implicit decls of rpc_{g,s}et_error

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

fix typo in chmod funcs

These were accidentally calling chown instead of chmod.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

fix implicit decl warnings

Include the proper headers to fix warnings like:
libnfs-sync.c:1529:3: warning: implicit declaration of function 'gettimeofday' [-Wimplicit-function-declaration]
libnfs-zdr.c:506:2: warning: implicit declaration of function 'getuid' [-Wimplicit-function-declaration]

Signed-off-by: Mike Frysinger <vapier@gentoo.org>
sys/time.h needs to be protected with an ifdef

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

libnfs: Don't perform operations on nfsfh after user callback

Since the user callback may perform operations on the nfsfh (e.g. it
might close it), all updates should be done before the user callback is
called.

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

Map NFS3ERR_NOTEMPTY to ENOTEMPTY

Map NFS3ERR_NOTEMPTY to ENOTEMPTY rather than EEXIST.  POSIX allows
either EEXIST or ENOTEMPTY for rmdir on a non-empty directory but
ENOTEMPTY is more explicit and in line with Linux, OS X, FreeBSD and
OpenBSD's behavior.

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

libnfs: Fix segfault if O_TRUNC fails when creating

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

Merge pull request #92 from rosslagerwall/symlink-resolution

Follow symlinks during path resolution

libnfs: Add lchmod

Add lchmod which is like chmod but operates on the symbolic link itself
if the destination is a symbolic link.

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

libnfs: Add lutimes

Add lutimes which is like utimes but operates on the symbolic link
itself if the destination is a symbolic link.

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

libnfs: Add lstat

Add lstat which is like stat but operates on the symbolic link itself if
the destination is a symbolic link.

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

libnfs: Add lchown

Add lchown which is like chown but operates on the symbolic link itself
if the destination is a symbolic link.

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

libnfs.c: Follow symlinks during path resolution

Follow symlinks during path resolution.  If the symlink points outside
the mount, -ENOENT is returned.  This is slightly different behavior
from the in-kernel NFS client where symlinks pointing outside the mount
get resolved to local paths.

The algorithm for symlink resolution is simple and stupid.  If a symlink
is encountered, the path is rewritten and path resolution begins again
from the root filehandle.  A count is kept to prevent loops.  This is
not particularly efficient but it is good enough for now.

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

libnfs.c: Fix a warning

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

Imported Upstream version 1.9.5

Merge pull request #90 from rosslagerwall/stat-improvements

Stat improvements

libnfs: Add fstat64, analagous to stat64

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

libnfs: Set as much stat information as possible

Set as much stat information as possible for stat, stat64, fstat and
readdir.

Fill in dev to the given fsid.
Fill in rdev to the given major and minor numbers.
Set the file type bits in the mode from the type returned by the server.
Set the number of blocks used based on the number of bytes used in
blocks of size 512 (which is what stat(2) uses), rounded up.
Fill in the nanosecond timestamps.

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

Merge pull request #89 from rosslagerwall/create-trunc

Support use of O_TRUNC with nfs_create

libnfs.h: Update open() flags docs

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

libnfs.c: Handle OOM condition

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

libnfs.c: Support use of O_TRUNC with nfs_create

Simplify usage for application programmers by supporting the use of
O_TRUNC with nfs_create.

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

Merge pull request #88 from rosslagerwall/76-no-autoreconnect

libnfs.c: Fix autoreconnect

Merge pull request #86 from rosslagerwall/75-create

libnfs.c: add nfs_create

Merge pull request #87 from rbalint/master

Use sockaddr_in6 on FreeBSD

New version 1.9.5

This version removes old ONC-RPC symbols and automatically includes the
RPC/ZDR layer include from the raw low level headers.

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

Use sockaddr_in6 instead of sockaddr6_in

libnfs.c: Fix autoreconnect

Since rpc_connect_async sets autoreconnect to 0, turn autoreconnect on
after the connection has completed, not before.

This fixes #76.

Signed-off-by: Ross Lagerwall <rosslagerwall@gmail.com>

libnfs.c: add nfs_create

Add a new family of functions, nfs_create, like nfs_creat but takes an
additional flags argument which allows extra flags like O_SYNC, O_EXCL
and O_APPEND to be specified.

RPC: include libnfs-zdr.h from all raw libnfs-raw-*.h files

Include the zdr header from all raw lowlevel headers so that we don't have to
include it manually from apps.

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

Merge pull request #85 from rsahlberg/remove-zhr.h-dependency

Remove zhr.h dependency

ZDR: remove dependency on zdr.h from the examples and nfs-ls

Signed-off-by: Ronnie Sahlberg <sahlberg@localhost>

RPC: get rid of bool_t

Signed-off-by: Ronnie Sahlberg <sahlberg@localhost>

RPC: get rid of references to SCVXPRT

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

RPC: get rid of all references to CLIENT

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

Imported Upstream version 1.9.4

New version 1.9.4

New version of libnfs:

- IPv6 support
- Support for Portmapper version 3 and an example portmap client.
- Directory caching top make repeated opendir() calls faster
- Readahead support
- Build manpages for the utilities (==nfs-ls)
- Support for O_APPEND
- Rename the list macros to avoid collission on *BSD

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

libnfs.c: Change the directory cache to a smaller more reasonable value

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

Merge pull request #82 from plieven/readahead

add readahead support

add readahead support

This patch add support for an internal readahead machanism. The maximum readahead
size can be specified via URL parameter readahead. This should significantly
speed up small sequential reads.

Signed-off-by: Peter Lieven <pl@kamp.de>

update copyright bilerplates also in generated files

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

libnfs.c: add nlink to nfsdirent so we can get it for 'free'

update the nfs-ls utility to just use nfsdirent as is instead of having to
stat the files.

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

libnfs.c: add a simple dircache to libnfs

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

libnfs.c: always pass the attributes to the callback for recursive lookups

Always pass a fattr3 structure to the callbacks for the internal function
to perform recursive lookups : nfs_lookuppath_async().
This will allow us to access for example the mtime for an object before we
start performing any expensive functions.

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

win32_errnowrapper.h: add licence boilerplate

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

aros: add licence to aros_compat.h

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

proto files: add a simplified bsd licence to the dot-x files

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

init.c: fixup the mangled lgplv2.1 boilerplate

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

init.c: use list macro when removing pdus from the wait list

Use the macro when removing the pdus in the wait list from the queues.
Also make sure to remove them from the right queue, from waitqueue and not
the outqueue for PDUs we have already sent out.

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

Merge pull request #79 from plieven/readahead

socket: fix broken connect for non broadcast traffic

socket: fix broken connect for non broadcast traffic

commit 1c1e09a completely broke connects for non broadcast
traffic since it forgot to copy the server address into
the socket_storage struct.

Signed-off-by: Peter Lieven <pl@kamp.de>

slist.h: Change SLIST_* to LIBNFS_LIST_* to avoid name clash on *BSD

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

docs: add a prebuilt manpage to the distribution

Add a prebuilt manpage for nfs-ls and change the makefiles to not build the
manpage by default. This is because the manpages change rarely and this removes
the need for an internet connection when building the library.
(previously building the library required downloading a template from
sourceforge)

Update the README and mention that you now need to manually rebuild the
manpages if the manpage sources change.

Signed-off-by: Ronnie Sahlberg <ronniesahlberg@gmail.com>

Merge pull request #74 from alexsn/master

nfs-ls: Fix crash when called with no arguments

nfs-ls: Fix crash when called with no arguments

When called with no argument we jump to 'finished' label
after which nfs_destroy_url is called with *url having
some garbage stack value.

nfs_open: add support for O_APPEND

Imported Upstream version 1.9.3

Merge branch 'xid-hash'

Merge pull request #71 from Memphiz/nolinger

[socket] - disable linger by setting SO_LINGER to 0 seconds

Merge pull request #72 from Memphiz/fixosxcompile

[osx] - fix compile

[osx] - fix compile

[socket] - disable linger by setting SO_LINGER to 0 seconds

Fix the file position handling of the read and write calls

Since the interface is modelled after the libc calls we should try to match
their behaviour to avoid unpleasant surprises:
* read / write (sync and async flavours) update the file position
* pread / pwrite (sync and async flavours) do not update the file position
.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

libnfs-sync: nfs_{read,write}: use their _async counterparts internally

Previously nfs_read and nfs_write used to use nfs_pread and nfs_pwrite respectively.
In preparation of getting the file position handling right this has to be detangled.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_lseek{,_async}: allow negative offsets and guard against file positions < 0

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

Track waiting requests in a hash table, by xid

NFS servers can respond to requests in any order, and they do. In our
tests there is also some clustering to the responses; it could be
because eg. requests are served synchronously if the data is in the cache.

Introduce a hash table so that we are able to find the pdu quickly in
all cases, assuming random distribution of the responses.

Ensure the next pointer is correct

Fixes a bug where the next pointer was not being explicitly set. We
were ok much of the time due to zero-filled memory, and also we need
this if the same pdu is re-queued.

Optimisations to the pdu queues

When making many concurrent requests (as is likely in any performance
criticial application), the use of SLIST_REMOVE and SLIST_ADD_END are
a severe bottleneck because of their linear search.

I considered using a double-linked list but it was unnecessary to
allocate the additional memory for each list entry.

Instead, continue to use a single-linked list but retain:

* a pointer to the end of the list; and
* a pointer to the previous entry during a linear search.

The former would makes append operations O(1) time, and the latter
does the same for removal. We can do this because removal only happens
within the linear search, and there is no random access to the queue.

RPM: Fix the specfile

INCLUDES: Don't install libnfs-provate.h or slist.h

AUTOTOOLS: Add Makefile.am to utils

SPECFILE: Fix syntax error in the spec file

NFS-LS: Build nfs-ls as utils and make it install under bin

DOC: Add manpage for nfs-ls

examples/Makefile.am Remove stuff we do not need

PORTMAP: Add some comments about the origin of definitions

nfs_normalize_path: don't strip trailing slash from "/"

Otherwise end up with a null string which is not permitted (RFC 1813, 3.2;
the code checks for it right after the now fixed nullification of "/").

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

nfs_opendir2_cb: plug potential memory leak

Spotted by clang analyzer.

Signed-off-by: Arne Redlich <arne.redlich@googlemail.com>

PORTMAP client: Pass length as sockaddr_storage, not sockaddr_in6

PORTMAP client: Parse and print the actual sockaddr that UADDR2TADDR returned

IPV6: Update the README and specify ipv6 is supported

PORTMAP client: Add commands to send v3 SET/UNSET

PORTMAP: Rename pmap3_getaddr_result to pmap3_string_result

PORTMAP: Add support for v3 TADDR2UADDR

PORTMAP: Add PMAP v3 UADDR2TADDR support