9330 stack overflow when creating a deeply nested dataset
[unleashed.git] / usr / src / man / man3c / iconv.3c
blobe26d6267dd3f79dc8f9fafe28d1ff5f4cc1df688
1 .\"
2 .\" Sun Microsystems, Inc. gratefully acknowledges The Open Group for
3 .\" permission to reproduce portions of its copyrighted documentation.
4 .\" Original documentation from The Open Group can be obtained online at
5 .\" http://www.opengroup.org/bookstore/.
6 .\"
7 .\" The Institute of Electrical and Electronics Engineers and The Open
8 .\" Group, have given us permission to reprint portions of their
9 .\" documentation.
10 .\"
11 .\" In the following statement, the phrase ``this text'' refers to portions
12 .\" of the system documentation.
13 .\"
14 .\" Portions of this text are reprinted and reproduced in electronic form
15 .\" in the SunOS Reference Manual, from IEEE Std 1003.1, 2004 Edition,
16 .\" Standard for Information Technology -- Portable Operating System
17 .\" Interface (POSIX), The Open Group Base Specifications Issue 6,
18 .\" Copyright (C) 2001-2004 by the Institute of Electrical and Electronics
19 .\" Engineers, Inc and The Open Group.  In the event of any discrepancy
20 .\" between these versions and the original IEEE and The Open Group
21 .\" Standard, the original IEEE and The Open Group Standard is the referee
22 .\" document.  The original Standard can be obtained online at
23 .\" http://www.opengroup.org/unix/online.html.
24 .\"
25 .\" This notice shall appear on any product containing this material.
26 .\"
27 .\" The contents of this file are subject to the terms of the
28 .\" Common Development and Distribution License (the "License").
29 .\" You may not use this file except in compliance with the License.
30 .\"
31 .\" You can obtain a copy of the license at usr/src/OPENSOLARIS.LICENSE
32 .\" or http://www.opensolaris.org/os/licensing.
33 .\" See the License for the specific language governing permissions
34 .\" and limitations under the License.
35 .\"
36 .\" When distributing Covered Code, include this CDDL HEADER in each
37 .\" file and include the License file at usr/src/OPENSOLARIS.LICENSE.
38 .\" If applicable, add the following below this CDDL HEADER, with the
39 .\" fields enclosed by brackets "[]" replaced with your own identifying
40 .\" information: Portions Copyright [yyyy] [name of copyright owner]
41 .\"
42 .\"
43 .\" Copyright (c) 1992, X/Open Company Limited.  All Rights Reserved .
44 .\" Portions Copyright (c) 2004, Sun Microsystems, Inc.  All Rights Reserved.
45 .\"
46 .TH ICONV 3C "Oct 6, 2004"
47 .SH NAME
48 iconv \- code conversion function
49 .SH SYNOPSIS
50 .SS "Default"
51 .LP
52 .nf
53 #include <iconv.h>
55 \fBextern size_t\fR \fBiconv\fR(\fBiconv_t\fR \fIcd\fR, \fBconst char **restrict\fR \fIinbuf\fR,
56      \fBsize_t *restrict\fR \fIinbytesleft\fR, \fBchar **restrict\fR \fIoutbuf\fR,
57      \fBsize_t *restrict\fR \fIoutbytesleft\fR);
58 .fi
60 .SS "SUSv3"
61 .LP
62 .nf
63 #include <iconv.h>
65 \fBsize_t\fR \fBiconv\fR(\fBiconv_t\fR \fIcd\fR, \fBchar **restrict\fR \fIinbuf\fR,
66      \fBsize_t *restrict\fR \fIinbytesleft\fR, \fBchar **restrict\fR \fIoutbuf\fR,
67      \fBsize_t *restrict\fR \fIoutbytesleft\fR);
68 .fi
70 .SH DESCRIPTION
71 .sp
72 .LP
73 The \fBiconv()\fR function converts the sequence of characters from one code
74 set,  in the array specified by \fIinbuf\fR, into a sequence of corresponding
75 characters in another code set, in the array specified by \fIoutbuf\fR. The
76 code sets are those specified in the \fIiconv_open\fR(\|) call that returned
77 the conversion descriptor, \fIcd\fR. The \fIinbuf\fR argument points to a
78 variable that points to the first character in the input buffer and
79 \fIinbytesleft\fR indicates the number of bytes to the end of the buffer to be
80 converted. The \fIoutbuf\fR argument points to a variable that points to the
81 first available byte in the output buffer and \fIoutbytesleft\fR indicates the
82 number of the available bytes to the end of the buffer.
83 .sp
84 .LP
85 For state-dependent encodings, the conversion descriptor \fIcd\fR is placed
86 into its initial shift state by a call for which \fIinbuf\fR is a null pointer,
87 or for which \fIinbuf\fR points to a null pointer. When \fBiconv()\fR is called
88 in this way, and if  \fIoutbuf\fR is not a null pointer or a pointer to a null
89 pointer, and \fIoutbytesleft\fR points to a positive value, \fBiconv()\fR will
90 place, into the output buffer,  the byte sequence to change the output buffer
91 to its initial shift state.  If the output buffer is not large enough to hold
92 the entire reset sequence, \fBiconv()\fR will fail and set  \fIerrno\fR to
93 \fBE2BIG\fR. Subsequent calls with \fIinbuf\fR as other than a null pointer or
94 a pointer to a null pointer cause the  conversion to take place from the
95 current state of the conversion descriptor.
96 .sp
97 .LP
98 If a sequence of input bytes does not form a valid character in the specified
99 code set, conversion stops  after the previous successfully converted
100 character. If the input buffer ends with an incomplete character or shift
101 sequence, conversion stops after the previous successfully converted bytes. If
102 the output buffer is not large enough to hold the entire converted input,
103 conversion stops just prior to the input bytes that would cause the output
104 buffer to overflow. The variable pointed to by \fIinbuf\fR is updated to point
105 to the byte following the last byte successfully used in the conversion.  The
106 value pointed to by \fIinbytesleft\fR is decremented to reflect the number of
107 bytes still not converted in the input buffer. The variable pointed to by
108 \fIoutbuf\fR is updated to point to the byte following the last byte of
109 converted output data. The value pointed to by \fIoutbytesleft\fR is
110 decremented to reflect the number of bytes still available in the output
111 buffer. For state-dependent encodings, the conversion descriptor is updated to
112 reflect the shift state in effect at the end of the last  successfully
113 converted byte sequence.
116 If  \fBiconv()\fR encounters a character in the input buffer that is legal, but
117 for which an identical character does not exist in the target code set,
118 \fBiconv()\fR performs an implementation-defined conversion on this character.
119 .SH RETURN VALUES
122 The  \fBiconv()\fR function updates the variables pointed to by the arguments
123 to reflect the extent of the conversion and returns the number of non-identical
124 conversions performed.  If the entire string in the input buffer is converted,
125 the value pointed to by \fIinbytesleft\fR will be \fB0\fR. If the input
126 conversion is stopped due to any conditions mentioned above, the value pointed
127 to by  \fIinbytesleft\fR will be non-zero and  \fBerrno\fR is set to indicate
128 the condition.  If an error occurs \fBiconv()\fR returns \fB(size_t)\fR
129 \fB\(mi1\fR and sets \fIerrno\fR to indicate the error.
130 .SH ERRORS
133 The \fBiconv()\fR function will fail if:
135 .ne 2
137 \fB\fBEILSEQ\fR\fR
139 .RS 10n
140 Input conversion stopped due to an input byte that does not belong to the input
141 code set.
145 .ne 2
147 \fB\fBE2BIG\fR\fR
149 .RS 10n
150 Input conversion stopped due to lack of space in the output buffer.
154 .ne 2
156 \fB\fBEINVAL\fR\fR
158 .RS 10n
159 Input conversion stopped due to an incomplete  character or shift sequence at
160 the end of the input buffer.
165 The \fBiconv()\fR function may fail if:
167 .ne 2
169 \fB\fBEBADF\fR\fR
171 .RS 9n
172 The \fIcd\fR argument is not a valid open conversion descriptor.
175 .SH EXAMPLES
177 \fBExample 1 \fRUsing the \fBiconv()\fR Functions
180 The following example uses the \fBiconv()\fR functions:
183 .in +2
185 #include <stdio.h>
186 #include <errno.h>
187 #include <string.h>
188 #include <iconv.h>
189 #include <stdlib.h>
192  * For state-dependent encodings, changes the state of the
193  * conversion descriptor to initial shift state.  Also, outputs
194  * the byte sequence to change the state to initial state.
195  * This code is assuming the iconv call for initializing the
196  * state will not fail due to lack of space in the output buffer.
197  */
198 #define INIT_SHIFT_STATE(cd, fptr, ileft, tptr, oleft) \e
199     { \e
200         fptr = NULL; \e
201         ileft = 0; \e
202         tptr = to; \e
203         oleft = BUFSIZ; \e
204         (void) iconv(cd, &fptr, &ileft, &tptr, &oleft); \e
205         (void) fwrite(to, 1, BUFSIZ - oleft, stdout); \e
206     }
209 main(int argc, char **argv)
211     iconv_t cd;
212     char    from[BUFSIZ], to[BUFSIZ];
213     char    *from_code, *to_code;
214     char    *tptr;
215     const char  *fptr;
216     size_t  ileft, oleft, num, ret;
219     if (argc != 3) {
220         (void) fprintf(stderr,
221             "Usage: %s from_codeset to_codeset\e\en", argv[0]);
222         return (1);
223     }
225     from_code = argv[1];
226     to_code = argv[2];
228     cd = iconv_open((const char *)to_code, (const char *)from_code);
229     if (cd == (iconv_t)-1) {
230         /*
231          * iconv_open failed
232          */
233         (void) fprintf(stderr,
234             "iconv_open(%s, %s) failed\e\en", to_code, from_code);
235         return (1);
236     }
238     ileft = 0;
239     while ((ileft +=
240         (num = fread(from + ileft, 1, BUFSIZ - ileft, stdin))) > 0) {
241         if (num == 0) {
242             /*
243              * Input buffer still contains incomplete character
244              * or sequence.  However, no more input character.
245              */
247             /*
248              * Initializes the conversion descriptor and outputs
249              * the sequence to change the state to initial state.
250              */
251             INIT_SHIFT_STATE(cd, fptr, ileft, tptr, oleft);
252             (void) iconv_close(cd);
254             (void) fprintf(stderr, "Conversion error\e\en");
255             return (1);
256         }
258         fptr = from;
259         for (;;) {
260             tptr = to;
261             oleft = BUFSIZ;
263             ret = iconv(cd, &fptr, &ileft, &tptr, &oleft);
264             if (ret != (size_t)-1) {
265                 /*
266                  * iconv succeeded
267                  */
269                 /*
270                  * Outputs converted characters
271                  */
272                 (void) fwrite(to, 1, BUFSIZ - oleft, stdout);
273                 break;
274             }
276             /*
277              * iconv failed
278              */
279             if (errno == EINVAL) {
280                 /*
281                * Incomplete character or shift sequence
282                  */
284                 /*
285                  * Outputs converted characters
286                  */
287                 (void) fwrite(to, 1, BUFSIZ - oleft, stdout);
288                 /*
289                  * Copies remaining characters in input buffer
290                  * to the top of the input buffer.
291                  */
292                 (void) memmove(from, fptr, ileft);
293                 /*
294                  * Tries to fill input buffer from stdin
295                  */
296                 break;
297             } else if (errno == E2BIG) {
298                 /*
299                  * Lack of space in output buffer
300                  */
302                 /*
303                  * Outputs converted characters
304                  */
305                 (void) fwrite(to, 1, BUFSIZ - oleft, stdout);
306                 /*
307                  * Tries to convert remaining characters in
308                  * input buffer with emptied output buffer
309                  */
310                 continue;
311             } else if (errno == EILSEQ) {
312                 /*
313                  * Illegal character or shift sequence
314                  */
316                 /*
317                  * Outputs converted characters
318                  */
319                 (void) fwrite(to, 1, BUFSIZ - oleft, stdout);
320                 /*
321                  * Initializes the conversion descriptor and
322                  * outputs the sequence to change the state to
323                  * initial state.
324                  */
325                 INIT_SHIFT_STATE(cd, fptr, ileft, tptr, oleft);
326                 (void) iconv_close(cd);
328                 (void) fprintf(stderr,
329                  "Illegal character or sequence\e\en");
330                 return (1);
331             } else if (errno == EBADF) {
332                 /*
333                  * Invalid conversion descriptor.
334                  * Actually, this shouldn't happen here.
335                  */
336                 (void) fprintf(stderr, "Conversion error\e\en");
337                 return (1);
338             } else {
339                 /*
340                  * This errno is not defined
341                  */
342                 (void) fprintf(stderr, "iconv error\e\en");
343                 return (1);
344             }
345         }
346     }
348     /*
349      * Initializes the conversion descriptor and outputs
350      * the sequence to change the state to initial state.
351      */
352     INIT_SHIFT_STATE(cd, fptr, ileft, tptr, oleft);
354     (void) iconv_close(cd);
355     return (0);
358 .in -2
360 .SH FILES
362 .ne 2
364 \fB\fB/usr/lib/iconv/*.so\fR\fR
366 .sp .6
367 .RS 4n
368 conversion modules for 32-bit
372 .ne 2
374 \fB\fB/usr/lib/iconv/sparcv9/*.so\fR\fR
376 .sp .6
377 .RS 4n
378 conversion modules for 64-bit sparc
382 .ne 2
384 \fB\fB/usr/lib/iconv/amd64/*.so\fR\fR
386 .sp .6
387 .RS 4n
388 conversion modules for 64-bit amd64
392 .ne 2
394 \fB\fB/usr/lib/iconv/geniconvtbl/binarytables/*.bt\fR\fR
396 .sp .6
397 .RS 4n
398 conversion binary tables
401 .SH ATTRIBUTES
404 See \fBattributes\fR(5) for descriptions of the following attributes:
409 box;
410 c | c
411 l | l .
412 ATTRIBUTE TYPE  ATTRIBUTE VALUE
414 Interface Stability     Standard
416 MT-Level        MT-Safe
419 .SH SEE ALSO
422 \fBgeniconvtbl\fR(1), \fBiconv\fR(1), \fBiconv_close\fR(3C),
423 \fBiconv_open\fR(3C), \fBgeniconvtbl\fR(4), \fBattributes\fR(5),
424 \fBiconv\fR(5), \fBiconv_unicode\fR(5), \fBstandards\fR(5)