bominputstream - ufeff java

Lectura UTF-8-marcador BOM

Question

Estoy leyendo un archivo a través de un FileReader - el archivo está decodificado en UTF-8 (con BOM) ahora mi problema es: leo el archivo y saco una cadena, pero tristemente el marcador BOM también se saca. ¿Por qué ocurre esto?

fr = new FileReader(file);
br = new BufferedReader(fr);
String tmp = null;
while ((tmp = br.readLine()) != null) {
String text;
text = new String(tmp.getBytes(), "UTF-8");
content += text + System.getProperty("line.separator");
}

salida después de la primera línea

?<style>

Answer 1

Así es como uso Apache BOMInputStream, usa un bloque try-with-resources. El argumento "falso" le dice al objeto que ignore las siguientes listas de materiales (utilizamos archivos de texto "BOM-less" por razones de seguridad, jaja):

try( BufferedReader br = new BufferedReader(
new InputStreamReader( new BOMInputStream( new FileInputStream(
file), false, ByteOrderMark.UTF_8,
ByteOrderMark.UTF_16BE, ByteOrderMark.UTF_16LE,
ByteOrderMark.UTF_32BE, ByteOrderMark.UTF_32LE ) ) ) )
{
// use br here
} catch( Exception e)
}

Answer 2

Considera UnicodeReader de Google, que hace todo este trabajo por ti.

Charset utf8 = Charset.forName("UTF-8"); // default if no BOM present
try (Reader r = new UnicodeReader(new FileInputStream(file), utf8)) {
....
}

Dependencia de Maven:

<dependency>
<groupId>com.google.gdata</groupId>
<artifactId>core</artifactId>
<version>1.47.1</version>
</dependency>

Answer 3

En Java, debe consumir manualmente la BOM UTF8 si está presente. Este comportamiento está documentado en la base de datos de errores de Java, here y here . No habrá una solución por ahora porque romperá las herramientas existentes como los analizadores JavaDoc o XML. Apache IO Commons proporciona un BOMInputStream para manejar esta situación.

Eche un vistazo a esta solución: Maneje el archivo UTF8 con BOM

Answer 4

La forma más fácil que encontré para pasar por alto la lista de materiales

BufferedReader br = new BufferedReader(new InputStreamReader(fis));
while ((currentLine = br.readLine()) != null) {
//case of, remove the BOM of UTF-8 BOM
currentLine = currentLine.replace("","");

Answer 5

La solución más sencilla probablemente sea eliminar el /uFEFF resultante de la cadena, ya que es muy poco probable que aparezca por cualquier otro motivo.

tmp = tmp.replace("/uFEFF", "");

Ver también este informe de error de guayaba

Answer 6

Luego se me ocurrió esta subclase Reader

/*
* Copyright (C) 2016 donizyo
*
*/
package net.donizyo.io;
public class BOMReader extends BufferedReader {
public static final String DEFAULT_ENCODING = "UTF-8";
public BOMReader(File file) throws IOException {
this(file, DEFAULT_ENCODING);
}
private BOMReader(File file, String encoding) throws IOException {
this(new FileInputStream(file), encoding);
}
private BOMReader(FileInputStream input, String encoding) throws IOException {
this(new BOMInputStream(input), encoding);
}
private BOMReader(BOMInputStream input, String encoding) throws IOException {
super(new InputStreamReader(input, getCharset(input, encoding)));
}
private static String getCharset(BOMInputStream bomInput, String encoding) throws IOException {
ByteOrderMark bom;
bom = bomInput.getBOM();
return bom == null ? encoding : bom.getCharsetName();
}
}

Answer 7

Se menciona here que esto suele ser un problema con los archivos en Windows.

Una posible solución sería ejecutar el archivo a través de una herramienta como dos2unix primero.

Answer 8

Use la biblioteca de Apache Commons .

Clase: org.apache.commons.io.input.BOMInputStream

Ejemplo de uso:

String defaultEncoding = "UTF-8";
InputStream inputStream = new FileInputStream(someFileWithPossibleUtf8Bom);
try {
BOMInputStream bOMInputStream = new BOMInputStream(inputStream);
ByteOrderMark bom = bOMInputStream.getBOM();
String charsetName = bom == null ? defaultEncoding : bom.getCharsetName();
InputStreamReader reader = new InputStreamReader(new BufferedInputStream(bOMInputStream), charsetName);
//use reader
} finally {
inputStream.close();
}

Answer 9

Utilice Apache Commons IO .

Por ejemplo, echemos un vistazo a mi código (usado para leer un archivo de texto con caracteres latinos y cirílicos) a continuación:

String defaultEncoding = "UTF-16";
InputStream inputStream = new FileInputStream(new File("/temp/1.txt"));
BOMInputStream bomInputStream = new BOMInputStream(inputStream);
ByteOrderMark bom = bomInputStream.getBOM();
String charsetName = bom == null ? defaultEncoding : bom.getCharsetName();
InputStreamReader reader = new InputStreamReader(new BufferedInputStream(bomInputStream), charsetName);
int data = reader.read();
while (data != -1) {
char theChar = (char) data;
data = reader.read();
ari.add(Character.toString(theChar));
}
reader.close();

Como resultado, tenemos un ArrayList llamado "ari" con todos los caracteres del archivo "1.txt", excepto la lista de materiales.