Кодировки

Разрабатывая просмотрщик текста в кодировке Win1251, нативной поддержки которой так не хватает Android-платформе, я поймал себя на мысли, что использую этот класс:
Корни этого класса уходят в далёкий 2005 год, когда некий VMX создавал SieFM. 8 лет прошло, а этот класс еще используется в моих программах. Пора бы отправить его на заслуженный отдых! Напишем собственный класс, который будет поддерживать не только Win1251, но и DOS (CP-866), KOI8-R и еще кучу других кодировок. Поехали!

  Существует понятие кодовая страница (code page) - это таблица соответствия каждому байту определённого символа. Символов у нас максимум 65536 (в unicode), а байт имеет лишь 255 значений, поэтому как ни крути, а все символы мы в один байт не закинем. Потому то и существуют различные кодировки. И для каждой кодировки существует своя кодовая таблица.
  Вот, пример кодовых таблиц двух кодировок: Win1251 и KOI8-R.
 
Как видно, отличаются они лишь 128 байтами (от 0x80 до 0xFF). Это всё потому, что значения от 0 до 127 (0x7F) постоянны (стандарт ASCII). То есть, для реализации однобайтовой кодировки, нам нужно заполнить таблицу из 128 значений символов, соответствующих каждому байту с 0x80 по 0xFF. Чтобы не загромождать классы кучей массивов, информацию будем считывать из файла.

  Вот класс для Java SE, который создаёт кодовые таблицы для всех поддерживаемых кодировок.
  CodepageCreator.java

  Для загрузки файлов из папки assets, нам понадобится класс CharsetLoader

Открыть спойлер

Закрыть спойлер

[копировать] [скачать]

1. public class CharsetLoader {
2.  
3.     private static AssetManager assets;
4.  
5.     public static void setAssetManager(AssetManager assets) {
6.         CharsetLoader.assets = assets;
7.     }
8.  
9.     public static char[] getCodepage(String charsetName) throws IOException {
10.         String assetPath = charsetName + ".cp";
11.  
12.         DataInputStream dis = new DataInputStream( assets.open(assetPath) );
13.         char[] codepage = new char[0x80];
14.         for (int i = 0; i < codepage.length; i++) {
15.             codepage[i] = dis.readChar();
16.         }
17.         dis.close();
18.  
19.         return codepage;
20.     }
21. }

Теперь декодировать байт можно вот этой функцией:
К тому же можно выполнить и обратную операцию - закодировать символ в байт:
 
  Осталось только написать класс, который кодирует/декодирует не символы, а целые строки/массивы байт.
  Класс StringCoder

Открыть спойлер

Закрыть спойлер

[копировать] [скачать]

1. public class StringCoder {
2.  
3.     public static byte[] encodeString(String s, String enc) throws UnsupportedEncodingException {
4.         byte[] bs;
5.         try {
6.             bs = s.getBytes(enc);
7.         } catch (UnsupportedEncodingException x) {
8.             Charset charset = new Charset(enc);
9.             charset.loadCodepage();
10.  
11.             bs = new byte[s.length()];
12.             for (int i = 0; i < s.length(); i++) {
13.                 bs[i] = charset.encodeChar(s.charAt(i));
14.             }
15.         }
16.         return bs;
17.     }
18.  
19.     public static String decodeString(byte[] bs, String enc) throws UnsupportedEncodingException {
20.         try {
21.             return new String(bs, enc);
22.         } catch (UnsupportedEncodingException x) {
23.             Charset charset = new Charset(enc);
24.             charset.loadCodepage();
25.  
26.             StringBuilder sb = new StringBuilder();
27.             for (int i = 0; i < bs.length; i++) {
28.                 sb.append( charset.decodeChar(bs[i]) );
29.             }
30.             return sb.toString();
31.         }
32.     }
33. }

Пример использования:

Готовые проекты с исходниками:
  CodepageCreator (Java SE)
  Encodings (Android)