Многобайтовые строки с завершающим нулём

Многобайтовая строка с завершающим нулём (NTMBS - null-terminated multibyte string) или просто "многобайтовая строка" это последовательность ненулевых байтов, которая завершается байтом со значением ноль (завершающий нулевой символ).

Каждый символ, хранящийся в строке, может занимать больше одного байта. Кодировка, используемая для представления символов в многобайтовой символьной строке, зависит от локали: это может быть UTF-8, GB18030, EUC-JP, Shift-JIS и т.д. Например, массив символов {'\xe4','\xbd','\xa0','\xe5','\xa5','\xbd','\0'} представляет собой NTMBS, содержащую строку "你好" в многобайтовой кодировке UTF-8: первые три байта кодируют символ 好, следующие три байта кодируют символ 好. Та же строка, закодированная в GB18030 представляет собой массив символов {'\xc4', '\xe3', '\xba', '\xc3', '\0'}, где каждый из двух символов закодирован как двухбайтовая последовательность.

В некоторых многобайтовых кодировках любая заданная последовательность многобайтовых символов может представлять собой разные символы в зависимости от предыдущих байтовых последовательностей, известных как "сдвиг последовательностей". Такие кодировки больше известны как зависимые от состояния: для интерпретации каждого символа требуется знание текущего состояния сдвига. NTMBS действительна только в том случае, если она начинается и заканчивается в начальном состоянии сдвига: если использовался сдвиг последовательности, должен присутствовать соответствующий обратный сдвиг последовательности перед завершающим нулевым символом. Примерами таких кодировок являются 7-битная JIS, BOCU-1 и SCSU.

Многобайтовая символьная строка структурно-совместима с байтовой строкой с завершающим нулём (NTBS - null-terminated byte string), то есть может храниться, копироваться и проверяться с использованием тех же средств, за исключением вычисления количества символов. Если выбрана корректная локаль, функции Ввода/Вывода также обрабатывают многобайтовые строки. Многобайтовые строки могут быть преобразованы в широкие строки и наоборот с помощью функций-элементов std::codecvt, std::wstring_convert или с помощью следующих функций преобразования, зависимых от локали:

Преобразование многобайтовых/широких символов

Типы

Макросы

Смотрите также