UTalk

Debido a las valoraciones de los cursos de Inglés, diseñe un plugin para Canvas que permite que los estudiantes de primer ciclo puedan practicar y recibir feedback sobre su pronunciación del idioma de forma autónoma - sin necesidad de un docente.

El contexto

En el 2021, los cursos virtuales de Inglés de UTP estaban obteniendo un NPS y valoraciones de estudiantes bastante bajos. Estos cursos no habían sido virtualizados desde hace unos años previo a esa fecha, y algunas de las herramientas que se usaban en ellos se habían vuelto obsoletas debido a falta de actualización o pobre compatibilidad con los dispositivos de los estudiantes. Además, al ser cursos remotos asincrónicos - es decir, sin clases con docentes en vivo, tenían problemas típicos de la modalidad como la percepción de falta de cercanía con los docentes y la falta de feedback significativo para aprender.

Todo esto nos llevó a la decisión de rediseñar los cursos de inglés por completo - desde la metodología de enseñanza hasta los recursos didácticos. Solo había un problema: los ejercicios de pronunciación.

Figura 1: Los ejercicios de pronunciación en el 2019.

En ese momento, los cursos de Inglés ya tenían herramientas integradas para que los alumnos practiquen su pronunciación. Sin embargo, estas usaban software que no estaba diseñado para eso, y comúnmente surgían errores como:

Los ejercicios no siempre reconocen las palabras o sílabas que se usan, causando frustración y baja confianza en la herramienta.
No ofrecen feedback útil para mejorar: Cuando da una respuesta equivocada, no explica por qué lo que dices está equivocado.
No indican cómo mejorar la pronunciación ni dan un ejemplo inicial de a qué pronunciación apuntar.
Los estudiantes dejan de usar los ejercicios progresivamente durante el curso. Después de 3 semanas, el promedio de uso baja en más de 60%.
Constantemente propician quejas, comentarios y feedback sobre cómo mejorarlos.

Nos quedaba, entonces, un gran hueco en los cursos que teníamos que repensar. Así que pensamos en cómo funciona realmente la práctica de pronunciación.

Inicialmente, intentamos solucionar el problema comprando software externo para integrar en los cursos, pero debido a la calidad masiva de los mismos, quedó claro que esta solución no era sostenible ni escalable para la universidad. Eventualmente, acordamos en diseñar e implementar una solución creada específicamente para cumplir con nuestras necesidades.

El usuario

Para complicar un poco las cosas, la población de alumnos de UTP es bastante diversa - y Inglés es un curso obligatorio (para la gran mayoría de estudiantes, que no tienen acreditaciones previas de segundo idioma) que se lleva desde el 1er hasta el 5to ciclo. Pero eso no es todo. UTP como institución prioriza mucho sus cursos y carreras remotas, por lo que una población significativa de sus estudiantes son adultos trabajadores, que deben dividir su tiempo entre su trabajo y sus estudios. Es por eso que dividimos a nuestro público objetivo en dos grandes segmentos:

Recién egresados

17-21 años de edad
Primera experiencia con educación superior
Inglés pobre
Conocimientos digitales mínimos
Familiarizados con aplicaciones para smartphone de práctica de idiomas
Priorizan carrera

Adultos que trabajan

35 años de edad en promedio
Segunda o tercera experiencia con educación superior
Inglés pobre
CConocimientos digitales muy limitados
No muy familiarizados con práctica o estudios digitales
Priorizan trabajo y/o familia

Y si bien ambos usuarios tienen varias necesidades y características que no se alinean, notamos algunas características en común - sobre todo en relación al curso de inglés:

Aprobar cursos y graduarse para mejorar su empleabilidad.
Tener información valiosa sobre qué están haciendo mal, qué están haciendo bien y cómo mejorar.
Tener ejemplos claros en el curso.
Recibir retroalimentación con inmediatez.

Aparte de esto, teníamos otro gran público objetivo al que atender: los docentes. Ellos fueron un aliado importante en la creación de UTalk, y co-crearon gran parte del producto. En 3 sesiones de ideación con ellos, llegamos a obtener 3 principios claves para UTalk - los cuales guiarán su desarrollo:

Rapidez

Poder brindar una respuesta y feedback inmediato a la participación del estudiante.

Calidad

El feedback tiene que brindar información valiosa para que el estudiante pueda ver claramente qué es lo que debe mejorar.

Oportuno

Tiene que estar disponible 24/7 y adaptarse al momento en el que el estudiante estudie su curso de inglés.

Los features de UTalk

De los problemas que teníamos con el software usado para los ejercicios de pronunciación, las necesidades de los usuarios que llevan el curso y las exigencias académicas que se tienen en un curso de inglés online, decidimos que UTalk debería tener las siguientes características:

Un espacio de práctica de pronunciación automático.
Ejemplos claros de pronunciación correcta.
Facilidad para practicar libremente, aun cuando se ha logrado con el estándar esperado
Retroalimentación inmediata a la pronunciación de los estudiantes.
Facilidades para estudiantes que entienden muy poco inglés, al menos en primer ciclo.
Compatibilidad con móvil, web, y diferentes navegadores
Una interfaz fácil de usar que congenie con el LMS (Canvas, en ese momento)

Estas características se transformaron en features - elementos específicos que queríamos desarrollar en UTalk:

Un espacio de práctica de pronunciación automático → Zona de práctica
Ejemplos claros de pronunciación correcta → Ejemplos grabados por docentes y subidos al ejercicio
Facilidad para practicar libremente, aun cuando se ha logrado con el estándar esperado → Tags de feedback en cada intento
Retroalimentación inmediata a la pronunciación de los estudiantes → Intentos ilimitados, numerados y evaluados. Indicadores de éxito para estudiantes
Facilidades para estudiantes que entienden muy poco inglés, al menos en primer ciclo → Traducción de las instrucciones más no de los ejercicios en si
Compatibilidad con móvil, web, y diferentes navegadores → Auto-explicativo
Una interfaz fácil de usar que congenie con el LMS (Canvas, en ese momento) → Auto-explicativo

Prototipado

A partir de estas funciones, se creó un MVP muy simple para testear la idea y la tecnología con unos pocos alumnos. Este tenia una interfaz simple e integrada dentro del LMS y estaba creada solo como prueba de concepto.

Figura 2: MVP creado para realizar pruebas de concepto. Solo tenía una oración, ejemplo, una caja de intentos y un botón para grabar.

La prueba con el MVP fue exitosa, y procedí a la creación de interfaces que organicen mejor las funcionalidades propuestas.

User persona — Figura 3: La interfaz más desarrollada ya tenía espacio para agregar múltiples oraciones en una sola página.

Pruebas de usuario

Una vez diseñé la primera versión de UTalk, contactamos a 5 estudiantes para realizar pruebas de usuario usando el flujo completo, aun a nivel prototipo.

La puesta en marcha

UTalk fue implementado en modalidad de proyecto piloto en el 2022, en 24 secciones de los 4 cursos de Inglés. Aproximadamente 1440 estudiantes usaron la herramienta. Al final del piloto, que duró todo un ciclo académico, enviamos una encuesta y realizamos entrevistas a 20 alumnos sobre la herramienta.

Los resultados de encuestas posteriores nos mostraron que la mitad de los que respondieron consideraban que usar nuestra herramienta era muy fácil. Además, un ~70% mencionó que siente que esta herramienta le ayuda muchísimo en su aprendizaje y, comparando nuestra herramienta con el software anterior, el 90% mencionó que UTalk es mucho mejor que la alternativa previa.

Mejoras a utalk

Durante el ciclo, realizamos más pruebas con alumnos y a pesar del éxito inicial de UTalk, quedaban muchas cosas que mejorar. Primero que nada, ajusté la interfaz para hacerla más amigable y fácil de usar. Para ello, tomé referencias de otros programas y aplicaciones para el aprendizaje de segundas lenguas. El resultado fué el siguiente:

Y, como era una herramienta nueva para los estudiantes, diseñé un proceso de onboarding integrado en la herramienta.

En el 2023, el flujo mejorado de UTalk fue implementado en todas las secciones de Inglés. Hoy se encuentra en vivo y deja que aproximadamente 90,000 estudiantes practiquen su pronunciación cada ciclo.

Iterando con SALTO

Durante el 2023, después de la puesta en marcha inicial, UTalk fue presentado a una aceleradora del grupo Intercorp - SALTO. En ella, buscamos llevar a UTalk a otro nivel.

Para esto, empezamos limpiando la casa un poco. Establecimos objetivos y métricas cuantitativas y cualitativas que servirían como indicadores para verificar si nuestras expectativas de UTalk se estaban cumpliendo realmente.

Figuras 7 y 8: El equipo UTalk (Miluska Bellido, yo, Daniel Lopez y Ernesto Cok, de izquierda a derecha) en el Kick Off de Salto. Extraído de LinkedIn.

Además, empezamos a realizar pruebas de usuario mucho más ágiles y condensadas para tener información sobre los estudiantes mucho más rápidamente.

Realizamos sesiones de pruebas con usuarios para determinar posibles oportunidades de mejora. Aquí surgieron los siguientes comentarios:

El leer frase tras frase puede resultar monótono, no siempre llegan a la última frase, falta dinamismo
El feedback les es muy útil, pero les gustaría tener una idea de su progreso en el tiempo.
Se buscan algunas palabras en google para traducirlas y escuchar la pronunciación.
No suelen hacer todos los ejercicios disponibles cada semana, la prioridad es el material a revisar, fácilmente pueden olvidar los ejercicios de pronunciación.
No dedican el mismo esfuerzo al curso semana tras semana, algunas veces están desmotivados y solo revisan una parte del material.

A partir de estos, creamos algunos conceptos para prototipar rápidamente y para que los estudiantes prioricen según sus necesidades.

Diálogos UTalk

En vez de tener 8 oraciones separadas, diseñamos una conversación y el estudiante responde a las oraciones predeterminadas hasta terminar un diálogo. Al finalizar, pueden reproducir la conversación y escuchar su voz como parte del diálogo.

Dashboard de progreso

Una página en UTalk puedes dar seguimiento a tu progreso, ver cómo estás mejorando en tu pronunciación a lo largo del tiempo. Dentro de la herramienta puedes encontrar un dashboard con información como el porcentaje promedio obtenido de tus intentos de pronunciación, la cantidad de intentos y de oraciones practicadas a medida que usas la herramienta, etc.

Figura 10: El dashboard en baja fidelidad.

Mensajes Boost

Al ingresar al índice del curso se activará una alerta/anuncio con un sonido que notificará al estudiante que hay uno nuevo set de ejercicios de pronunciación disponible en la semana actual. Dentro de la notificación hay un botón que te lleva directamente a UTalk de esa semana.

Figura 11: El dashboard en baja fidelidad.

Medallas

Diseñamos retos y logros específicos para los alumnos, que al completarlos, les otorgan medallas que pueden acumular en su cuenta.

Reproductor customizable

Puede retroceder y adelantar el audio, modificar la velocidad de reproducción.

Algunos de estos conceptos fueron testados con prototipos en baja fidelidad, mientras que otros fueron testados simplemente explicando el concepto y escuchando las opiniones de los estudiantes. Los resultados de la priorización hecha por 8 estudiantes fue la siguiente:

1era prioridad	Reproductor personalizable	Diálogos	Reproductor personalizable	Reproductor personalizable	Diálogos	Diálogos	Diálogos	Diálogos
2da prioridad	Mensajes boost	Medallas	Medallas	Dashboard	Mensajes boost	Dashboard	Mensajes boost	Medallas
3ra prioridad	Diálogos	Dashboard	Diálogos	Medallas	Medallas	Mensajes boost	Dashboard	Dashboard
4ta prioridad	Medallas	Mensajes boost	Mensajes boost	Dialogos	Reproductor customizable	Medallas	Medallas	Mensajes boost

Debido a estos resultados, prototipé todos los conceptos para testearlos ya como funcionalidades implementadas en UTalk. Quedaba claro que la deseabilidad de diálogos y reproductor customizable era alta, así que nos preparamos para implementar esas funciones de forma prioritaria.

Resultados

La funcionalidad de reproductor customizado fue implementada en UTalk de forma permanente.

Figura 14: Prototipo de UTalk, actualizado por última vez en Noviembre de 2023.

La funcionalidad de diálogos se creó como una herramienta alternativa, y se utiliza en solo algunos ejercicios según la metodología de aprendizaje lo requiera.

Figura 15: Prototipo de diálogos.