Guía de Evaluación de Aplicaciones

Contexto DAL

DAL es un encuentro de gente con la intención de construir productos tecnológicos con fines sociales. La estructura e incentivos de DAL presentan una dualidad valórica que hace bastante compleja la evaluación de los productos desarrollados. Los siguientes son algunas de las duplas que coexisten en DAL:

1. integración – especificidad: DAL valora que los productos integren mundos tradicionalmente separados, encontrando riquezas en la interacción de ellos, pero también espera que los productos tengan funciones específicas y claras que permitan su uso en la sociedad
2. colaboración – competencia: DAL confía en el poder de la colaboración, espera y promueve colaboración entre los participantes, pero a la vez incentiva con premios para los ganadores.
3. localidad – globalidad: DAL considera contextos nacionales para cada evento, sabiendo que los desafíos son distintos en cada país, pero también considera que hay similitudes entre los países y que la solución encontrada a un problema en un lugar puede ser también solución para el problema en otro país.
4. presencial-virtual: DAL promueve la generación de redes sociales (humanas), que personas reales conozca a otras personas reales, que haya conversaciones reales que inspiren soluciones reales, por eso el evento es presencial en cada país, pero también ocurre en simultaneidad con otros países que se conectan virtualmente generando un sentimiento de pertenencia a un evento mayor posible gracias a la virtualidad de la relaciones que permite la tecnología actual.

Considerando las complejidades expuestas -y otras que se nos escapan- hemos desarrollado una guía de evaluación que pone en un crisol los aspectos más importantes para DAL intentando hacer de la evaluación algo estándar pero a la vez flexible para poder cubrir la infinita creatividad de los participantes.

Conceptos generales considerados
La pauta de evaluación considera 5 ejes principales que una buena aplicación debiera tener bien desarrollados para ser coherente con los objetivos de DAL.

Escalabilidad

Entendemos por escalabilidad la posibilidad del producto de crecer, mejorar, extender y adaptar sus funcionalidades, alcance, usuarios, etc de manera fluida y sin perder calidad.
En términos prácticos nos referimos a la capacidad del producto de ser utilizado y reutilizado en otros países, ciudades, idiomas. La capacidad de soportar los usuarios de una universidad, de un pueblo, de una ciudad o un país completo. La capacidad de funcionar con los datos obtenidos de múltiples fuentes, etc.

Ejemplo de Mala Escalabilidad

Esta aplicación está muy cerca de una visualización estática. La mantención del contenido es absolutamente manual y depende demasiado en la existencia de un documento oficial para sobre las peticiones de las partes involucradas.

http://www.acuerdoeducacion.cl/

Ejemplo de Buena Escalabilidad

La arquitectura y simpleza de esta aplicación permite almacenar tantas cuentas de twitter y agrupaciones (partidos, gobiernos, etc) como se quiera sin tener que modificar su código.
http://politwoops.nl/: Almacenamiento de Tweets borrados

Eficacia

Entendemos eficacia la capacidad del producto para incidir en el problema abordado, es decir, la capacidad de transformar el estado original (sin uso de la aplicación) a un estado deseado mediante el uso de la aplicación.

Ejemplo de Alta Eficacia

El problema de encontrar comida a domicilio puede ser más que sólo un directorio de teléfonos. En este sitio se puede encontrar los restaurantes cuyas áreas de cobertura incluyen el punto de interés, además permite ver los menús y ordenar el pedido desde el mismo sitio, es decir, entras al sitio y solucionas tu próxima cena.
http://www.quehambre.cl sitio de información sobre restaurantes con despacho a domicilio.

Ejemplo de Baja Eficacia

El directorio de “páginas amarillas” de sobre restaurantes no es eficaz al momento de solucionar el problema de la próxima cena.

 

Espectacularidad

Entendemos por Espectacularidad esa mezcla rara entre innovación – creatividad –  ingenio – belleza – originalidad – usabilidad que hace que una aplicación destaque sobre otra haciendo exactamente lo mismo.

Ejemplo de Alta Espectacularidad

http://www.hipmunk.com/

Ejemplo de Baja Espectacularidad

http://www.expedia.com

 

Uso y Reuso de Tecnología y Datos

En DAL amamos la tecnología, la apertura y la reutilización de los esfuerzos anteriores. DAL es innovación tecnológica y social que pretende ser la demostración empírica de lo positivo de la mezcla entre tecnologías abiertas e innovadoras y datos abiertos, por eso valoramos especialmente las aplicaciones que hagan un buen uso de la tecnología y los datos, transformándose en argumentos irrefutables para que pidamos más apertura a las instituciones. Este eje de evaluación premia a los que hacen un buen uso de la tecnología y los datos disponibles.

Ejemplo de Alto Uso y Reuso de Tecnología y Datos

Esta aplicación detecta entidades (empresas, políticos, empresarios, deportistas, etc) en artículos en los medios, en correos electrónicos, etc. Luego de detectar estas entidades busca en una fuentes de datos central las relaciones que han tenido con otras entidades y más.

http://poligraft.com Detector de influencias

 

Ejemplo de Bajo Uso y Reuso de Tecnología y Datos

Este es un proyecto muy interesante, con un fin muy noble, pero que no usa mucha tecnología ni datos par acumplir su misión.

http://betweenthebars.org proyecto de blog para personas privadas de libertad.

Profundidad y Coherencia Temática

Entendemos por Profundidad y Coherencia Temática el nivel de importancia del problema abordado y su coherencia con los temas planteados como desafíos en cada país. No es lo mismo hacer una aplicación que te ayuda a elegir la mejor pastelería infantil que una que permite microcrédito a familias vulnerables.

Ejemplo de Alta Profundidad y Coherencia Temática

http://www.ipaidabribe.com/

Ejemplo de Baja Profundidad y Coherencia Temática

http://2011.nycbigapps.com/submissions/5824-nyc-health-ratings-for-android

General y Otros

En DAL sabemos que la creatividad de los participantes es infinita. También sabemos que los conceptos anteriores son limitados, por eso hemos explicitado este eje, General y Otros, que debe cubrir esas características que cuesta mucho clasificar y poner en palabras:

• “Da confianza”
• “Tiene potencial”
• “Se nota que está bien pensada, es una idea sensata”
• “Parecen un buen equipo, pueden llevar a muy buen término este proyecto”

 

 

Procedimiento de Evaluación Nacional

El procedimiento sugerido para evaluar la aplicaciones en cada país se basa en fases y en los conceptos explicados anteriormente. A continuación se explica cronológicamente.

Fase 1: Exposición de los proyectos (5min x #Proyectos)

Todos los equipos exponen resumidamente sus proyectos a los jueces. La exposición mínima debe incluir el nombre del proyecto, miembros del equipo, el o los temas abordados, la solución planteada, sus objetivos, el desarrollo actual y el futuro. Cada equipo debe proporcionar a la organización un documento tipo Power Point que incluya la información señalada. La exposición será grabada en video (para revisión en la evaluación internacional).
El tiempo máximo de exposición por equipo será de 5 minutos incluyendo 2 preguntas de los jueces, por lo que se recomienda 3,5 min por presentación.
La labor que se espera de los jueces es captar lo mejor posible el proyecto presentado. Se recomienda anotar algún comentario en cada eje:

 

 

Fase 2: Reevaluación Individual (10min)

Al terminar las presentaciones cada juez, individualmente, revisará sus anotaciones y podrá ajustar los puntajes asignados a cada proyecto (esta información podría ser compartida con los participantes, para que todos los equipos tengan feedback y no sólo los seleccionados). Teniendo esta nueva versión de las evaluaciones se construirá un ranking de los 3 proyectos preferidos. Para esto puede usarse la siguiente plantilla que calcula un puntaje total según los números puestos entre paréntesis.

Fase 3: Deliberación (30min)

Una vez elegidos los 3 proyectos individuales se compartirá con los otros jueces, según la posición en que cada juez ponga los proyectos en el ranking se asignará un puntaje: 5 puntos al primer puesto, 3 puntos al segundo puesto y 1 punto al tercer puesto. Se sumará el puntaje total resultante de de cada proyecto. Finalmente se discutirá sobre los 5 proyectos con más puntos. El jurado deberá deliberar sobre estos 5 proyectos y entregar un nuevo ranking ordenándolos de mejor a peor. Este ordén se comunicará como:

1. Primer Lugar.
2. Segundo Lugar.
3. Tercer Lugar.
4. Primera Mención Honrosa.
5. Segunda Mención Honrosa.

 

 

Procedimiento de Evaluación Internacional

El procedimiento para el jurado internacional será una réplica del nacional pero sobre los 5 proyectos galardonados en la premiación nacional en las fase 1 y 2 teniendo como input los videos y las presentaciones del certamen nacional, pero la fase 3 será distinta por la dificultad de generar una deliberación colectiva para tantos proyectos.

Fase 3: Deliberación

Para el jurado internacional la plantilla de puntuación será obligatoria, pues según eso se determinará los ganadores internacionales de DAL 2012. Las instrucciones serán las mismas: Escribir comentarios (positivos y negativos) e incluir entre paréntesis un puntaje del 1-10 para cada eje de evaluación.

La ponderación de los puntajes no será homogénea. Todos los ejes tendrán x1 a excepción de General que tendrá el doble de ponderación (x2), pero además, para incluir la relevancia de la valoración nacional del proyecto se agrega un puntaje de arrastre dependiendo del puesto que el proyecto haya obtenido en el DAL de su país. El primer lugar tendrá 10 puntos, el segundo 5 puntos, el tercero 3 puntos, la primera mención 2 puntos y la segunda mención 1 punto.
De esta forma la plantilla quedaría: