Reporte de Proyecto Final

En esta entrada hablaré sobre el proyecto final que mostré en la clase de visión computacional.

El proyecto que elegí fue el reconocimiento de gestos de las manos usando Python y OpenCV en Ubuntu 12.04. Lo más relevante del proyecto se encuentra en la presentación que di en clase, la cual adjunto a continuación:

FORTALEZAS
Con el programa se logra mover el cursor de la computadora y hacer click's derecho e izquierdo.

Lo que descubrí fue que se necesitó menos código del que esperaba. Con relativamente pocas líneas de código, gracias a OpenCV se logra hacer el procesamiento de las imagenes de la mano. En este procesamiento se aplican algunos filtros para lograr obtener una mejor imagen con la cual trabajar y además se realiza el convex hull para, en pocas palabras, rastrear los dedos de la mano.

Para el movimiento del cursor se utilizó xdotool, que como lo dice la página de ubuntu manuals permite simular actividad del mouse, entre otras cosas (http://manpages.ubuntu.com/manpages/lucid/man1/xdotool.1.html)

La combinación del procesamiento en Python+OpenCV y xdotool dió un buen resultado que permite mover el mouse mediante las coordenadas que se obtienen del procesamiento de las imagenes.

DEBILIDADES
Lo que se notó, y se planea mejorar, es la identificación de la mano, ya que el código procesa todos los objetos que se le pongan en frente. Debido a esto, el cursor puede descontrolarse un poco, o se puede dificultar un poco la realización de las demás acciones.

Para esto, así como lo sugirió la Dra. Elisa Schaeffer, sería útil aplicar un filtrado usando el método de medidas de similitud que se usó en las tareas de laboratorio de visión computacional. De esta forma se podría crear una "plantilla" que le diga al programa qué forma debería tener una mano, y así al procesar una imagen, descarte todo aquello que no tenga forma de mano.

PLANES A FUTURO
Mi deseo es entender y aprender más sobre reconocimiento en visión computacional. Esta es un área que me interesa mucho y quisiera poder trabajar más con cosas relacionadas en un futuro.

En cuanto a lo hecho en este proyecto, me gustaría añadir más funcionalidades y me gustaría ver que tuviera un uso provechoso con personas que lo necesiten.