Откуда этот "?" ?

Вопрос по задаче

Решен

Ребят, может кто знает...

StringBuilder sb = new StringBuilder("");
            while (br.ready()){sb.append(br.readLine());}br.close();
            System.out.println(sb);

            byte [] b = sb.toString().getBytes(Charset.forName("ASCII"));
            for (byte k:b){
                System.out.println(k);
            }

Комментарии (9)

популярные
новые
старые

Для того, чтобы оставить комментарий Вы должны авторизоваться

IceBerg

Уровень 41

Master

15 мая 2019, 21:04

решение

Это BOM

Dima

Уровень 35

16 мая 2019, 10:24

byte order mark, скажи, а почему он тут появляется? потому что, когда я записывал в StringBuilder, то использовалась кодировка, использующая ВОМ? Скажите, а как этого в дальнейшем избежать? наверное сначала опрежелить, если кодировка относиться к одной из : 00 00 FE FF UTF-32, big-endian FF FE 00 00 UTF-32, little-endian FE FF UTF-16, big-endian FF FE UTF-16, little-endian EF BB BF UTF-8 Но чтобы определить кодировку (по нету поискал), то нам придется использовать стороннюю библиотеку? одну из GuessEncoding ICU4j juniversalchardet Можете, пожалуйста, прокоментировать?)

IceBerg

Уровень 41

Master

16 мая 2019, 10:46

В файле, который ты пишешь в StringBuilder, стоит кодировка, использующая ВОМ. Вообще BOM это маркер юникода, и должен присутствовать в UTF-ках, отключить его можно вручную, в Idea это "file" -> "remove BOM", в блокноте нужно выбрать "UTF-8 без BOM". Для определения кодировки кодом, нужны танцы с бубном, но ведь можно просто посмотреть что стоит в редакторе.

Dima

Уровень 35

16 мая 2019, 11:10

спасибо за ответ! Если не сложно, еще один вопрос. Сделал вот такой код

try {
            //BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(new FileInputStream(args[0])));

           BufferedReader bufferedReader = new BufferedReader(new FileReader(("D:\\huk2.txt")));


            TreeMap<Integer, Integer> map = new TreeMap<>();
            Integer count;

            while(bufferedReader.ready()){
                int a=bufferedReader.read();
                count = map.get(a);
                if (count!=null){
                    count++;
                }
                else count=1;
                map.put(a, count);
            }

            bufferedReader.close();

            for(Map.Entry<Integer, Integer> entry : map.entrySet()) {
                int k = entry.getKey();
                int v = entry.getValue();

                System.out.println((char)k + " " + v);
            }

        }

Вывод (если преобразованию к символу убрать): 10 2 --откуда эти символы? 13 2 --откуда эти символы? 3 1 ----? 107 3 -----k 108 3 -----l 65279 1 --откуда этот символ?

IceBerg

Уровень 41

Master

16 мая 2019, 11:24

полезный

10/13 перевод строки и каретки соответственно. 65279 это и есть BOM. 3 - по таблице ASCII, отвечает за конец текста, хз как он появляется. У меня UTF-8 и "3" не вылазит

Dima

Уровень 35

16 мая 2019, 18:35

Спасибо за обьяснение!!!

Сергеев Виктор

Уровень 40

Master

15 мая 2019, 20:34

а че весь код в одну строку не написал?

Dima

Уровень 35

15 мая 2019, 20:18

вывод след.: lklklk? 63 108 107 108 107 108 107 63

Dima

Уровень 35

15 мая 2019, 20:19

Видите, когда я печатаю строку, все окей. А когда на байты ее раскладываю и печатаю их, то в начале первым байтом идет вопросительный знак... откуда он там?