Methods and Techniques: First Assignment

Partial Report of Grades

Author

Rodrigo Rodrigues-Silveira

Introduction

Dear Rodrigo, this automatically generated report has the purpose to inform you about the grades you have obtained in the assignment of the prompt engineering exercise.

Assignment 1.
Prompt Engineering (2 out of 10)

Skills Developed

Creative Mindset

Skill in generating innovative ideas and approaching problems with originality and flexibility.

Critical Thinking

Capacity to analyze, evaluate, and synthesize information to make well-reasoned judgments.

Tools of the Craft

Ability to efficiently operate digital tools and technologies relevant to academic and professional tasks.

Description

This exercise challenged you to act as junior intelligence analysts, tasked with extracting actionable intelligence from classified military conflict data. You worked in teams to assess the data, identify challenges, and develop a strategy for collaborating with an AI assistant. You could choose between a “Standard Protocol” – analyzing 5 texts – or a more advanced “Hacker Protocol” – analyzing 10 texts and optimizing your system for increased complexity. Throughout the mission, you designed AI prompts, tested their effectiveness, refined your approach based on system failures, and ultimately compiled a classified intelligence report detailing your process and findings. Your performance was evaluated on your systematic analysis, precise communication with the AI, critical evaluation of results, and metacognitive reflection on the intelligence process. The assignment aimed to develop your prompt engineering skills and position AI as a cognitive amplifier, rather than a substitute for human intelligence. You submitted a final document containing your refined AI prompt and your comprehensive intelligence report.

Grade

This exercised weights 1/10 of the total grade. Therefore, it will be added 0.2 points to the final grade. My comments are:

My Comments

For the evaluation of this assignment, I used the following steps:

I graded all the exercises one by one
Then, I asked AI to assist me on enhancing the comments and making suggestions for improvements; and
I reviewed the originally AI generated text and made the changes I considered appropriate to enhance the quality of the suggestions.

Here you can find a detailed assessment of your assignment:

¡Excelente iniciativa al abordar la evaluación de prompts con un enfoque estructurado! Aquí tienes la retroalimentación basada en tu desempeño simulado como sistema experto:

Evaluación del Prompt: “Mira amigo mío, coje estos textos y dame una tabla.”

Contexto: Se ha simulado la ejecución del “prompt modelo” y del “prompt a evaluar” con el texto de referencia proporcionado.

1. Efficacy (5/10 puntos)

Completitud de la tarea: El prompt a evaluar es extremadamente conciso y carece de instrucciones específicas. Si bien el modelo podría inferir la necesidad de crear una tabla basándose en el contexto previo (el prompt modelo), la ausencia de directrices sobre qué información extraer y cómo presentarla lo hace ineficaz para la tarea específica de replicar la tabla deseada. La expectativa de que el modelo adivine la intención exacta es muy alta. Es probable que se genere una tabla, pero no la tabla esperada.
Formato de tabla: El modelo, por defecto, probablemente generaría una tabla en formato Markdown, lo cual es similar al output del prompt modelo. En este aspecto, hay una coincidencia superficial.
Etiquetado de columnas: El prompt a evaluar no proporciona ninguna indicación sobre los nombres exactos de las columnas. Esto resultaría en etiquetas genéricas o en la ausencia de las columnas específicas (“Total Deaths (Estimated)”, “Number of Conflicts (Approx.)”, etc.), lo que dificulta enormemente la comparación directa con el modelo.

Puntuación: 1/5

Feedback: “Tu prompt es demasiado escueto. Para que una IA entienda exactamente qué hacer, necesitas ser explícito. Decir ‘dame una tabla’ es como pedir ‘dame comida’ sin especificar qué quieres comer. La IA podría darte cualquier cosa, pero no necesariamente lo que necesitas para este ejercicio. No le das ninguna guía sobre qué columnas buscar o cómo llamarlas, lo que hace que la tabla generada sea inútil para el propósito de este análisis.”

2. Efficiency (2/10 puntos)

Optimización del procesamiento: Si bien el prompt es extremadamente corto en términos de tokens, lo que en teoría “ahorra” procesamiento al ser conciso, su falta de claridad lo convierte en un prompt ineficiente en la práctica. Un prompt ambiguo requiere que el modelo dedique más recursos a la inferencia y la desambiguación de la tarea, lo que puede llevar a resultados incorrectos y, en última instancia, a la necesidad de re-prompting. La verdadera eficiencia en prompt engineering reside en la claridad y la capacidad de guiar al modelo a la respuesta correcta con el menor número de intentos.

Puntuación: 0.5/2

Feedback: “Aunque tu prompt es corto, la eficiencia no solo se mide por la longitud. Un prompt tan vago obliga a la IA a ‘adivinar’ tu intención, lo que consume más recursos cognitivos del modelo y aumenta la probabilidad de un resultado incorrecto. Para ser eficiente, un prompt debe ser claro y directo en sus instrucciones, no solo breve.”

3. Improvement (3/10 puntos)

Tratamiento de datos y comparabilidad: El prompt a evaluar carece por completo de instrucciones sobre cómo tratar los datos extraídos (ej., redondeo, conversión de texto a número, simplificación). El prompt modelo incluía directrices muy específicas para facilitar la comparabilidad (ej., “más de 100 mil” a “100”, “40 millones” a “40.000”). Sin estas indicaciones, la tabla generada por tu prompt contendría datos en formatos inconsistentes (ej., “1.3 millones”, “varios millones”, “decenas de países”), lo que anularía el objetivo de facilitar la comparación numérica.

Puntuación: 0/3

Feedback: “Este es el punto más débil de tu prompt. Has omitido por completo las instrucciones cruciales sobre cómo limpiar, redondear y estandarizar los números. Esto es fundamental para que la tabla sea útil y comparable. Sin estas indicaciones, la IA simplemente extraerá los números tal como los encuentra, o dejará el texto, lo que hace que la información sea mucho menos valiosa para el análisis cuantitativo. Necesitas decirle a la IA cómo ‘mejorar’ los datos para el análisis.”

Conclusión General:

La intención humorística y directa de tu prompt (“Mira amigo mío, coge estos textos y dame una tabla.”) es clara, pero en el contexto de la ingeniería de prompts, es un ejemplo de cómo la vaguedad y la falta de instrucciones específicas pueden llevar a un rendimiento deficiente. Para obtener resultados precisos y útiles de una IA, especialmente en tareas de extracción de datos, es fundamental proporcionar directrices claras sobre el rol del modelo, el formato de salida, los campos a extraer y, crucialmente, las reglas de procesamiento de los datos. Un buen prompt reduce la ambigüedad y guía a la IA de manera inequívoca hacia el resultado deseado..

Grade Progression

The following chart shows your grade progression in the course. Each block represents a task, and the color indicates the grade you obtained in that task: from red (0-2) to dark blue (8-10). A golden diamond in the center of the rectangle indicates a perfect score. The tooltip shows the grade and the accumulated grade up to that point. Remember, the maximum grade for each assignment is 10 points and the total accumulated can reach 100. If you see too many whites (not delivered), reds, or oranges in the assignments already past deadline, shout for help! Things are not doing well and I strongly advise you to ask for a face-to-face meeting.