XPose Image Captioner

• Autores: Christopher Millsap
• Versión actual: 0.8.9 estable, 0.8.4 beta
• Compatibilidad con NVDA: de 2022.1 en adelante
• Ver este complemento en la web de la comunidad internacional
• Descargar versión estable
• Descargar versión beta
• Ver código fuente en GitHub

Este complemento puede crear un rótulo descriptivo de cualquier imagen JPG o
PNG en el explorador de archivos, Microsoft Edge, Google Chrome y
Firefox. Lo hace utilizando inteligencia artificial y y presenta la
descripción en una ventana de tal forma que se pueda examinar el texto del
rótulo, así como verbalizarlo.

Modo de uso

Primero, selecciona un archivo de imagen en el explorador de archivos o en
un navegador web. Se soportan Chrome, Edge y Firefox. Con la imagen
seleccionada, pulsa NVDA+x. El complemento responderá diciendo «rotulando,
espera por favor…» mientras el módulo de inteligencia artificial analiza
la imagen y la rotula. Dependiendo de la velocidad de tu procesador, el
rotulado puede tardar de dos a cinco segundos. Después de completar el
rotulado, se abrirá una ventana con el título de la imagen y este se
leerá. Cuando acabes de explorar el título, puedes pulsar escape para cerrar
la ventana de rotulado.

Sacar el máximo partido de XPoseImageCaptioner

Se deben tener en cuenta varias cosas al usar XPoseImageCaptioner para
obtener los mejores resultados:

1. El rotulado de XPoseImageCaptioner funciona mejor con fotografías,
   dibujos animados y otras obras de arte. También funciona bastante bien
   con memes y anuncios. No funciona bien con gráficas y no es un sustituto
   de un OCR. Si tienes una imagen de un documento de texto, utiliza un
   complemento de OCR en lugar de XPoseImageCaptioner.
2. El rotulado mediante IA puede decir qué hay en una imagen, pero no por
   qué está ahí. El texto alternativo debería seguir usándose para averiguar
   el contexto de una imagen. Por ejemplo, puedes ver una imagen en un sitio
   web de noticias con el texto alternativo «Un general testifica en una
   audiencia del congreso sobre el presupuesto militar», y la descripción de
   la IA puede ser algo como «Un hombre con uniforme militar habla a un
   micrófono sentado en una sala con paneles de madera». La IA te dice lo
   que hay en la imagen, pero el texto alternativo debería idealmente contar
   por qué está ahí.
3. La red neuronal BLIP, en la que se basa el complemento
   XPoseImageCaptioner, sólo puede devolver texto en inglés. Volver a
   entrenar el modelo para que soporte idiomas distintos al inglés no es
   factible en este momento.
4. Aunque los títulos producidos están muy cercanos al estado del arte de la
   descripción de imágenes con IA, no son siempre precisos al 100%. Usa el
   complemento con cuidado y sentido común y nunca para sustituir un OCR. No
   confíes en el contenido en situaciones peligrosas o de alto riesgo.
5. Actualmente, XPoseImageCaptioner sólo funciona en sitios web que no
   requieren inicio de sesión. Por ejemplo, las páginas públicas de
   organizaciones como Guiding Eyes for the
   Blind o CNN. No se
   soportan todavía las páginas que requieren iniciar sesión, como Facebook
   o Twitter, porque el complemento necesita descargar la imagen del sitio
   web para describirla y no puede hacerlo si hay que iniciar sesión. Como
   solución temporal, se puede descargar una imagen de cualquier sitio web
   que requiera iniciar sesión en el equipo local y reconocerla con el
   complemento usando el explorador de archivos.
6. XPoseImageCaptioner sólo funciona en Firefox cuando la imagen no tiene
   texto alternativo. Firefox no proporciona un enlace directo al archivo de
   imagen a los lectores de pantalla si dicha imagen tiene texto
   alternativo. Sin esta información, el complemento no puede descargar la
   imagen para que la IA la describa. Chrome y Microsoft Edge no tienen esta
   limitación, y funcionan independientemente de que la imagen tenga o no
   tenga texto alternativo.

Copyright:

Copyright (c) 2023 Christopher Millsap

He aprendido mucho del complemento OCR NAO en términos de cómo trata con el
explorador de archivos de Windows en NVDA. Gracias a Alessandro Albano,
Davide De Carne, y Simone Dal Maso por su trabajo en ese
complemento. Además, XPoseImageCaptioner usa los modelos de red neuronal
BLIP y el código de Salesforce.com, pero no está afiliado ni respaldado por
salesforce.com de forma alguna.

Licencia

Licenciado bajo la licencia BSD de 3 cláusulas. Este complemento no cuenta
con el respaldo de salesforce.com en modo alguno.