An AI career coach that works where there is no internet Un orientador vocacional con IA que funciona donde no hay internet

The problem: the tool is missing exactly where it is needed mostEl problema: la herramienta falta justo donde más se necesita

AI tutors are spreading through well-off classrooms. But they live in the cloud: they need a steady internet connection and an online account per student. The schools that lack those things also tend to have the fewest human counselors. So the technology reaches the students who have the most other options, and skips the students who have the fewest. Los tutores con IA se están volviendo comunes en los colegios acomodados. Pero viven en la nube: necesitan una conexión estable a internet y una cuenta en línea por estudiante. Los colegios que no tienen eso suelen ser también los que tienen menos orientadores. Así, la tecnología llega a los estudiantes con más alternativas y deja de lado a los que tienen menos.

For these students, the realistic alternative to an AI helper is not a worse helper. It is nothing at all. Para estos estudiantes, la alternativa realista a un asistente con IA no es un asistente peor. Es no tener nada.

That single fact reframes everything. We are not asking whether a small offline model can beat the big cloud model. We are asking whether a “good enough” helper can reach students who otherwise get no help — and do so safely, since the users are minors. Ese hecho, por sí solo, lo cambia todo. No preguntamos si un modelo pequeño sin conexión puede ganarle al gran modelo de la nube. Preguntamos si un asistente “lo bastante bueno” puede llegar a estudiantes que de otro modo no recibirían ninguna ayuda — y hacerlo de forma segura, porque los usuarios son menores de edad.

What we didQué hicimos

The program is called Gallito (“little rooster”), the AI guide of Eligiendo Mi Camino, a career-guidance program the World Bank runs with Lima’s education authority (DRELM), the startups uDocz and Aidea, and Anthropic. It walks each student through an eight-step journey, from getting to know themselves to writing a concrete plan they can share with their family. El programa se llama Gallito, la guía con IA de Eligiendo Mi Camino, un programa de orientación vocacional que el Banco Mundial lleva adelante con la autoridad educativa de Lima (DRELM), las startups uDocz y Aidea, y Anthropic. Acompaña a cada estudiante en un recorrido de ocho pasos, desde conocerse a sí mismo hasta armar un plan concreto que pueda compartir con su familia.

In the usual version, Gallito is powered by a large cloud AI. The offline version described here is the World Bank’s own work: we took that cloud assistant and taught a small, free program to imitate it on this one task, learning from the course's own past conversations (with all personal information removed first). The result is a free app the student installs on the device and runs completely offline — no internet, no account, and nothing leaves the device. (On locked school Chromebooks that cannot install apps, the same model can run inside the browser instead.) En la versión habitual, Gallito funciona con una gran IA en la nube. La versión sin conexión que se describe aquí es trabajo propio del Banco Mundial: tomamos ese asistente de la nube y entrenamos a un programa pequeño y gratuito para que lo imite en esta única tarea, aprendiendo de las conversaciones pasadas del propio curso (después de quitarles todos los datos personales). El resultado es una app gratuita que el estudiante instala en el equipo y funciona totalmente sin conexión — sin internet, sin cuenta, y sin que nada salga del dispositivo. (En las Chromebooks bloqueadas del colegio que no permiten instalar apps, el mismo modelo puede correr dentro del navegador.)

How we built it, step by stepCómo lo construimos, paso a paso

It is already working — in the fieldYa está funcionando — en el campo

The cloud version of this program is not a prototype. It is in a pre-registered randomized trial across more than 100 Peruvian public schools and 4,500+ students — among the first randomized evaluations of an LLM career coach in a developing country. The early signs are encouraging:La versión en la nube de este programa no es un prototipo. Está en un ensayo aleatorizado pre-registrado en más de 100 escuelas públicas peruanas y más de 4,500 estudiantes — una de las primeras evaluaciones aleatorizadas de un orientador con IA en un país en desarrollo. Las señales tempranas son alentadoras:

Students also revalue the technical track: they guess a two-year technical degree pays about S/1,300 a month against the ~S/1,922 that official statistics (INEI) report, and the coach moves their estimate about 21% toward the truth — all for roughly $0.24 per student per month. These are preliminary results, and they are beliefs and plans, not yet enrolment. They come from the cloud coach; the rest of this page asks whether the offline copy can carry that same experience to the schools the cloud never reaches.Los estudiantes también revaloran la ruta técnica: estiman que una carrera técnica de dos años paga unos S/1,300 al mes frente a los ~S/1,922 que reporta la estadística oficial (INEI), y el orientador acerca su estimación alrededor de un 21% al valor real — todo por alrededor de $0.24 por estudiante al mes. Son resultados preliminares, y son creencias y planes, todavía no matrículas. Vienen del orientador en la nube; el resto de esta página se pregunta si la copia sin conexión puede llevar esa misma experiencia a las escuelas que la nube nunca alcanza.

1 Is the small offline model any good? It comes most of the way to the big one¿Sirve el modelo pequeño sin conexión? Llega casi tan lejos como el grande

This is the question the whole study exists to answer. We asked independent AI graders to score the coaching on a 0–2 scale — how well the take-home summary reflects what the student actually said, how warm and clear it is, how useful it is. The small model that runs offline lands close to the large cloud model it learned from — and both leave far behind a small model that was only given instructions instead of being trained. Esta es la pregunta que todo el estudio existe para responder. Pedimos a evaluadores de IA independientes que puntuaran la orientación en una escala de 0 a 2 — qué tan bien refleja el resumen final lo que el estudiante realmente dijo, qué tan cálido y claro es, qué tan útil es. El modelo pequeño que corre sin conexión queda cerca del gran modelo de la nube del que aprendió — y ambos dejan muy atrás a un modelo pequeño al que solo se le dieron instrucciones en lugar de entrenarlo.

Two things follow. First, a small offline model really can carry a specialized task most of the way to a cloud model — not by being told what to do, but by being trained on thousands of the cloud model's own answers, the way an apprentice learns a craft from a master. Second, the popular shortcut of just writing a clever set of instructions for an untrained model does not work here: it was the weakest option every time, and by a wide margin. Left untrained, the small model tended to get stuck repeating itself and often never finished the take-home summary at all — a failure the big cloud AI simply does not have. Training largely cures it: the trained model completes the journey and rarely loops, though on this it is still not quite as rock-solid as the cloud. Getting it unstuck was the first thing training bought us; closing the last of that gap is a job for the next version. De ahí se siguen dos cosas. Primero, un modelo pequeño sin conexión de verdad puede llevar una tarea especializada casi tan lejos como uno de la nube — no diciéndole qué hacer, sino entrenándolo con miles de respuestas del propio modelo de la nube, como un aprendiz aprende un oficio de un maestro. Segundo, el atajo popular de solo escribir instrucciones ingeniosas para un modelo sin entrenar no funciona aquí: fue la opción más débil en todos los casos, y por amplio margen. Sin entrenar, el modelo pequeño tendía a trabarse repitiéndose y muchas veces no terminaba el resumen final — una falla que la gran IA de la nube simplemente no tiene. Entrenarlo lo cura en gran parte: el modelo entrenado completa el recorrido y rara vez se traba, aunque en esto todavía no es tan sólido como la nube. Destrabarlo fue lo primero que ganamos con el entrenamiento; cerrar lo que queda de esa brecha es tarea de la próxima versión.

2 Is it honest about the student? Mostly — and here is exactly where it slips¿Es honesto con lo que dice del estudiante? Casi siempre — y aquí es donde falla

The model writes a summary the student takes home to their family. We checked the thing that matters most: does it invent careers or personality traits the student never mentioned? In the hands of a family with no other guidance, one made-up detail in an official-looking summary could tip a real decision. El modelo escribe un resumen que el estudiante lleva a su familia. Revisamos lo que más importa: ¿inventa carreras o rasgos de personalidad que el estudiante nunca mencionó? En manos de una familia sin otra guía, un solo detalle inventado en un resumen de apariencia oficial podría inclinar una decisión real.

Reaching that honest number took real care, and it is our main methodological lesson. A careless first check graded each summary without showing the grader the student's own earlier answers — the very information the app had already given the model. So it counted the model's correct use of what the student had said as if it were an invention, and raised a false alarm. Once we graded against the same information the model actually had, the real picture was reassuring. Llegar a ese número honesto exigió cuidado, y es nuestra principal lección de método. Una primera revisión descuidada calificó cada resumen sin mostrarle al evaluador las propias respuestas previas del estudiante — la misma información que la app ya le había dado al modelo. Así contó el uso correcto de lo que el estudiante dijo como si fuera una invención, y dio una falsa alarma. Cuando calificamos con la misma información que el modelo realmente tenía, el panorama real fue tranquilizador.

To be sure, we brought in a second, independent AI grader. Starved of that context it raised the same false alarm; given the full picture of the student's journey, the two graders agreed nine times out of ten. Para estar seguros, sumamos un segundo evaluador de IA independiente. Sin ese contexto dio la misma falsa alarma; con el panorama completo del recorrido del estudiante, los dos evaluadores coincidieron nueve de cada diez veces.

A judgment of “invented details” is only as trustworthy as the context you give the person — or the AI — doing the judging. Un juicio sobre “detalles inventados” es tan confiable como el contexto que le das a quien — persona o IA — hace ese juicio.

A small residue does remain — about one summary in thirteen (7.5%) still over-attributes, always in that final take-home summary. That is a little more often than the cloud (1.2%), but the cloud over-specifies concrete facts more than the offline model does — the two coaches slip in opposite ways, so neither is uniformly more faithful. What kind of over-reach? Most of the time it is a mild over-specification — naming a school subject or a strength the student clearly implied but never quite said. Less often it is a harder slip: a career the student never picked, or, once, a made-up piece of a school's name. And the fix is not a quick patch. We tried the obvious ones — feeding the model more context, or simply instructing it “don't invent” — and neither moved the needle, because a trained model keeps the habits it learned. Removing it for good needs a different kind of training — which is what the next section is about. Sí queda un pequeño residuo — cerca de un resumen de cada trece (7.5%) todavía sobre-atribuye, siempre en ese resumen final que se lleva a casa. Es un poco más seguido que la nube (1.2%), pero la nube sobre-especifica más datos concretos que el modelo sin conexión — los dos fallan de formas opuestas, así que ninguno es más fiel en todo. ¿Qué tipo de exceso? La mayoría de las veces es una sobre-especificación leve — nombrar una materia o una fortaleza que el estudiante claramente insinuó pero no dijo del todo. Menos veces es un desliz más duro: una carrera que el estudiante nunca eligió o, una vez, un pedazo inventado del nombre de una institución. Y el arreglo no es un parche rápido. Probamos los obvios — darle más contexto, o simplemente pedirle “no inventes” — y ninguno cambió gran cosa, porque un modelo entrenado conserva los hábitos que aprendió. Quitarlo del todo requiere un tipo de entrenamiento distinto — de eso trata la próxima sección.

3 What we learned we still have to do — and why it is not a quick fixLo que aprendimos que todavía hay que hacer — y por qué no es un arreglo rápido

We have, in fact, already done the obvious fix. The model students use today learned from a cleaned, invention-checked set of worked examples — every take-home summary rewritten to mention only what the student actually said, with an automatic invention-check run over each one first. It helped the writing, but it did not remove the habit. That is the uncomfortable lesson: a trained model keeps the habits it learned, so cleaning the lessons (or simply instructing it “don't invent”) moves the needle less than you would hope. De hecho, ya hicimos el arreglo obvio. El modelo que los estudiantes usan hoy aprendió de un conjunto de ejemplos depurado — cada resumen final reescrito para mencionar solo lo que el estudiante realmente dijo, y revisado uno por uno con un control automático que detecta invenciones. Ayudó a la redacción, pero no quitó el hábito. Esa es la lección incómoda: un modelo entrenado conserva los hábitos que aprendió, así que limpiar las lecciones (o simplemente pedirle “no inventes”) ayuda menos de lo que uno esperaría.

We also already switched to a stronger teacher. The everyday cloud product runs on a fast, low-cost AI (Claude Haiku), but the model students use today learned from a stronger one (Claude Opus) — and that is much of why it reaches the quality it does. The catch: a stronger teacher closed the quality gap, not the faithfulness one. Closing that last gap needs a different kind of training. Instead of only showing the model good summaries, you show it pairs — a faithful summary and an invented one — and train it to prefer the faithful one, pushing the invention down directly. That is the honest next experiment. It is not a sure thing (pushed too hard, the model turns vague and unhelpful), so — true to the rest of this work — we put no number on it until it is measured. In the meantime the app is built to be honest about this: it tells students, in plain words, that it can make mistakes and to check the important details — careers, scholarships, dates, names — with a teacher. También ya cambiamos a un maestro más fuerte. El producto de la nube de todos los días funciona con una IA rápida y de bajo costo (Claude Haiku), pero el modelo que los estudiantes usan hoy aprendió de uno más fuerte (Claude Opus) — y eso explica buena parte de la calidad que alcanza. El detalle: un maestro más fuerte cerró la brecha de calidad, no la de fidelidad. Cerrar esa última brecha requiere otro tipo de entrenamiento. En vez de mostrarle solo buenos resúmenes, se le muestran pares — un resumen fiel y uno inventado — y se lo entrena para preferir el fiel, reduciendo directamente la invención. Ese es el próximo experimento honesto. No es cosa segura (si se aprieta demasiado, el modelo se vuelve evasivo y poco útil), así que — fieles al resto de este trabajo — no le ponemos ningún número hasta medirlo. Mientras tanto, la app está hecha para ser honesta sobre esto: les dice a los estudiantes, con palabras claras, que puede equivocarse y que revisen los datos importantes — carreras, becas, fechas, nombres — con un profesor.

4 A surprise: “offline” is not always “worse”Una sorpresa: “sin conexión” no siempre es “peor”

One step of the journey has the student research careers. In the cloud version that research happens in a separate tool, and the cloud assistant never sees what the student found. The offline version runs that step inside the same app — so it can actually remember what the student researched, something the cloud version forgets. On at least one axis, the offline tool is not a weaker copy: it can do something the cloud one cannot. Un paso del recorrido hace que el estudiante investigue carreras. En la versión de la nube esa investigación ocurre en una herramienta aparte, y el asistente de la nube nunca ve lo que el estudiante encontró. La versión sin conexión corre ese paso dentro de la misma app — así que puede de verdad recordar lo que el estudiante investigó, algo que la versión de la nube olvida. En al menos un aspecto, la herramienta sin conexión no es una copia más pobre: puede hacer algo que la de la nube no puede.

Five lessons that outlast this projectCinco lecciones que trascienden este proyecto

The specifics are Peruvian, but the lessons are general — useful to anyone trying to put AI to work in schools with few resources. Los detalles son peruanos, pero las lecciones son generales — útiles para cualquiera que intente poner la IA a trabajar en escuelas con pocos recursos.

Why it mattersPor qué importa

The argument is not that this tool is a little cheaper. It is that it changes the shape of the cost. A cloud assistant charges for every student and every message, forever. An offline one is paid for mostly once, and then reaches every additional student at almost no extra cost — delivered exactly where the cloud reaches no one. El argumento no es que esta herramienta sea un poco más barata. Es que cambia la forma del costo. Un asistente en la nube cobra por cada estudiante y cada mensaje, para siempre. Uno sin conexión se paga en su mayor parte una sola vez, y luego llega a cada estudiante adicional casi sin costo extra — y justo donde la nube no alcanza a nadie.

The technology that could help the students with the fewest alternatives is exactly the technology today's design withholds from them. This is a first step toward giving it back. La tecnología que más podría ayudar a los estudiantes con menos alternativas es justo la que el diseño actual les niega. Este es un primer paso para devolvérsela.