¿Cómo funciona?

1. Preproceso y segmentación de las imágenes

Para garantizar un modelo fiable, es fundamental contar con una base de datos de imágenes de alta calidad, que incluya manzanas en buen estado y con distintos tipos de defectos (golpes, manchas, agujeros).

Estas imágenes se someten a un proceso de preprocesamiento, donde se eliminan ruidos, se umbralizan y se redimensionan. Luego, en la etapa de segmentación, se identifican los elementos clave de la imagen, como la manzana y sus posibles imperfecciones.

Una segmentación precisa es esencial, ya que de ella depende la capacidad del sistema para detectar defectos con alta precisión.

2. Etiquetado y modelo KNN

Una vez segmentadas correctamente las manzanas y sus imperfecciones, procedemos al etiquetado de cada objeto. Cada manzana detectada se encierra en un bounding box que incluye un centroide, lo que nos permite conocer su posición exacta sobre la cinta transportadora y asignarle una identidad única.

A cada manzana se le asignan etiquetas clave como su ID y su estado:

• OK (en buen estado)

• BAD (con defectos)

• OTHER (casos especiales o no clasificados)

Con esta información, entrenamos nuestro modelo de clasificación basado en K-Nearest Neighbors (KNN). Una vez finalizado el entrenamiento, el sistema es capaz de detectar manzanas, identificar su estado, clasificarlas y ubicar su posición con precisión en tiempo real. 

3. Tracking y posicionamiento

Para representar de forma clara el funcionamiento de nuestro sistema de visión artificial, hemos desarrollado un entorno virtual interactivo. A medida que el modelo detecta las manzanas, estas se posicionan en tiempo real dentro del entorno, reflejando su ubicación exacta sobre la cinta transportadora.

Cada detección se marca con un punto verde si la manzana está en buen estado, o con un punto rojo si presenta algún defecto. Esta visualización permite observar de forma inmediata cómo actúa la inteligencia artificial y cómo clasifica cada fruta.

Dado que en la realidad las manzanas están en movimiento constante sobre la cinta, se implementa un sistema de tracking. Este seguimiento continuo es fundamental para que el robot pueda conocer la trayectoria de cada manzana y ejecutar correctamente el proceso de pick and place, es decir, recoger la fruta y colocarla en su caja correspondiente con precisión.