ruby 1.9: secuencia de bytes no válida en UTF-8

Estoy escribiendo un rastreador en Ruby (1.9) que consume mucho HTML de muchos sitios aleatorios.
Al intentar extraer enlaces, decidí usar simplemente en .scan(/href="(.*?)"/i)lugar de nokogiri / hpricot (mayor aceleración). El problema es que ahora recibo muchos " invalid byte sequence in UTF-8" errores.
Por lo que entendí, la net/httpbiblioteca no tiene opciones específicas de codificación y las cosas que vienen, básicamente, no están etiquetadas correctamente.
¿Cuál sería la mejor manera de trabajar realmente con esos datos entrantes? Intenté .encodecon el conjunto de opciones de reemplazo y no válidas, pero no tuve éxito hasta ahora ...

En Ruby 1.9.3 es posible usar String.encode para "ignorar" las secuencias UTF-8 inválidas. Aquí hay un fragmento que funcionará tanto en 1.8 ( iconv ) como en 1.9 ( String # encode ):

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

o si tiene una entrada realmente problemática, puede hacer una doble conversión de UTF-8 a UTF-16 y volver a UTF-8:

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

La respuesta aceptada ni la otra respuesta funcionan para mí. Encontré esta publicación que sugirió

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '')

Esto me solucionó el problema.

Mi solución actual es ejecutar:

my_string.unpack("C*").pack("U*")

Esto al menos eliminará las excepciones, que era mi principal problema.

Prueba esto:

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end

Te recomiendo que uses un analizador HTML. Solo encuentra el más rápido.

Analizar HTML no es tan fácil como parece.

Los navegadores analizan secuencias UTF-8 no válidas, en documentos HTML UTF-8, simplemente poniendo el símbolo " ". Entonces, una vez que se analiza la secuencia UTF-8 no válida en el HTML, el texto resultante es una cadena válida.

Incluso dentro de los valores de los atributos, debe decodificar entidades HTML como amp

Aquí hay una gran pregunta que resume por qué no puede analizar HTML de manera confiable con una expresión regular: RegEx coincide con las etiquetas abiertas, excepto las etiquetas autocontenidas XHTML

Esto parece funcionar:

def sanitize_utf8(string)
  return nil if string.nil?
  return string if string.valid_encoding?
  string.chars.select { |c| c.valid_encoding? }.join
end

attachment = file.read

begin
   # Try it as UTF-8 directly
   cleaned = attachment.dup.force_encoding('UTF-8')
   unless cleaned.valid_encoding?
     # Some of it might be old Windows code page
     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )
   end
   attachment = cleaned
 rescue EncodingError
   # Force it to UTF-8, throwing out invalid bits
   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil)
 end

Encontré cadenas, que tenían mezclas de inglés, ruso y algunos otros alfabetos, lo que causó una excepción. Solo necesito ruso e inglés, y esto actualmente me funciona:

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>""
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>""
t = ec2.convert ec1.convert t

Si bien la solución de Nakilon funciona, al menos en lo que respecta a superar el error, en mi caso, tuve este extraño carácter f-ed up que se originó en Microsoft Excel convertido a CSV que se registraba en ruby ​​como (obtenga esto) cirílico K que en ruby era una K en negrita. Para arreglar esto, usé 'iso-8859-1' a saber. CSV.parse(f, :encoding => "iso-8859-1"), que convirtió mis extrañas K cirílicas deaky en una mucho más manejable /\xCA/, que luego pude eliminar constring.gsub!(/\xCA/, '')

Antes de usar scan, asegúrese de que el Content-Typeencabezado de la página solicitada sea text/html, ya que puede haber enlaces a cosas como imágenes que no están codificadas en UTF-8. La página también podría ser no html si seleccionó hrefalgo como un <link>elemento. La forma de comprobar esto varía según la biblioteca HTTP que esté utilizando. Luego, asegúrese de que el resultado sea solo ascii con String#ascii_only?(no UTF-8 porque se supone que HTML solo usa ascii, las entidades se pueden usar de lo contrario). Si ambas pruebas pasan, es seguro de usar scan.

Si no le "importan" los datos, puede hacer algo como:

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

Solía valid_encoding?pasarlo. El mío es un campo de búsqueda, por lo que estaba encontrando la misma rareza una y otra vez, así que usé algo como: solo para que el sistema no se rompa. Dado que no controlo la experiencia del usuario para autovalidar antes de enviar esta información (como retroalimentación automática para decir "¡tonto!"), Puedo simplemente asimilarlo, eliminarlo y devolver resultados en blanco.