Examen de grado · Maestría en Ciencias de la Computación
Desarrollo de un modelo basado en lenguaje natural
para la recuperación de información histórica y
cultural mediante técnicas de retrieval augmented
generation
Índice
- 01Introducción
- 02Marco conceptual
- 03Estado del arte
- 04Método de solución
- 05Resultados y discusión
- 06Conclusiones
- 07Referencias
- 08Anexos
La participación museística sigue siendo limitada y poco recurrente
22,2 %
de la población de 12 años y más asistió a una exposición o museo en 2025.
Frecuencia declarada durante los últimos 12 meses
80,6 % Primera visita
12,5 % 2–3
6,9 % Cuatro o más
Fuentes: INEGI, MODECULT 2025 y Estadística de Museos 2025.
Museos según tema principal
1,215museos reportaron información
Historia44,4 %
Arte23,5 %
Arqueología20,0 %
Ciencia5,9 %
Otros6,2 %
Fuente: INEGI, Estadística de Museos 2025.
La visita se concentra en públicos con mayor escolaridad y suele ser breve
Escolaridad de visitantes
Superior61,9 %
Media superior25,4 %
Secundaria9,5 %
Primaria2,7 %
La educación básica representa 12,3 % en conjunto.
Duración de la estancia
56,8 %
Menos de1 hora
30,1 %
De 1 a2 horas
13,1 %
Más de2 horas
86,9 % permanece como máximo dos horas.
Fuente: INEGI, Estadística de Museos 2025. Base: personas visitantes entrevistadas.
La disponibilidad digital no garantiza un acceso comprensible
Patrimonio digitalizado
Las instituciones han creado colecciones y repositorios para preservar y difundir el patrimonio.
Información fragmentada
Los registros permanecen dispersos, son heterogéneos y tienen distintos niveles de descripción.
Recuperación condicionada
La consulta depende de metadatos, vocabularios y de cómo cada repositorio organiza la información.
Brecha de acceso
Estar disponible no significa que el contenido pueda explorarse mediante preguntas naturales.
Oportunidad de investigaciónIncorporar una capa de acceso que conecte preguntas en lenguaje natural con evidencia recuperada de los documentos museográficos.
Fuentes: Galina Russell (2018); Morales-del-Castillo et al. (2019); Molina Salinas (2023); Lewis et al. (2020).
Pregunta de investigación
¿Es viable utilizar un SLM para generar respuestas contextualizadas sobre información museográfica que mantengan fidelidad fáctica respecto de los documentos de referencia?
Objetivo general y objetivos específicos
Objetivo general
Desarrollar un sistema de recuperación y generación de información para el dominio museográfico basado en modelos de lenguaje pequeños, mediante la adaptación y mejora de una arquitectura RAG.
Objetivos específicos
- 01
Analizar las limitaciones actuales en la presentación de información en museos.
- 02
Integrar los componentes de recuperación y generación en una arquitectura RAG para responder consultas sobre información museográfica.
- 03
Evaluar la robustez y efectividad del módulo de recuperación de forma aislada ante ruido ortográfico y variabilidad textual léxica y semántica, y estrategias de fusión de resultados.
- 04
Validar el funcionamiento integral del modelo RAG mediante similitud textual automatizada y análisis estadístico-lingüístico de la interacción de usuarios.
Justificación
El dominio histórico-cultural necesita consultas dinámicas y ancladas en sus propias fuentes
1
Acceso
Permitir preguntas en lenguaje natural sobre colecciones específicas.
2
Confianza
Reducir respuestas no respaldadas mediante recuperación documental.
3
Evidencia local
Aportar evaluación de RAG en un contexto histórico-cultural mexicano.
Alcances y limitaciones
Alcances
- 01
Desarrollar un sistema basado en técnicas de RAG para la consulta de información histórica y cultural mediante lenguaje natural.
- 02
Implementar un módulo de recuperación de información basado en enfoques léxicos, semánticos y de fusión de rango.
- 03
Evaluar la robustez del módulo de recuperación ante escenarios de ruido ortográfico y variabilidad textual.
- 04
Integrar un modelo generativo para la construcción de respuestas a partir de la información recuperada.
- 05
Validar el funcionamiento del sistema mediante métricas automáticas de recuperación, similitud textual y análisis de la interacción de los usuarios.
- 06
Implementar la propuesta mediante una arquitectura de microservicios accesible a través de una aplicación web.
Limitaciones
- 01
El sistema estará limitado a información contenida en el corpus documental utilizado durante la investigación.
- 02
El estudio se enfocará exclusivamente en información histórica y cultural en idioma español.
- 03
La calidad de las respuestas dependerá de la cobertura y calidad de los documentos incorporados al corpus.
- 04
La evaluación experimental se realizará sobre los conjuntos de datos y escenarios definidos en esta investigación, por lo que los resultados podrían variar en otros dominios o colecciones documentales.
- 05
La investigación no contempla la integración directa con bases de datos institucionales de museos ni la actualización automática de contenidos externos.
- 06
El sistema se desarrollará como un prototipo de investigación y no como una plataforma de producción para uso institucional.
LLM y SLM: misma base, distinta escala operativa
Large Language Model
LLM
- Gran cantidad de parámetros y conocimiento general.
- Alta capacidad de generación y razonamiento lingüístico.
- Mayor demanda de memoria, cómputo y energía.
Small Language Model
SLM
- Menor cantidad de parámetros y despliegue más accesible.
- Menor latencia y costo de inferencia.
- Puede especializarse con contexto externo relevante.
Ambos usan conocimiento paramétrico:patrones aprendidos y almacenados en los pesos durante el entrenamiento.
Tres estrategias de recuperación complementarias
Dispersa · léxica
BM25
Coincide términos de la consulta con términos del documento.
FortalezaPrecisión ante nombres, fechas y vocabulario exacto.LímiteNo reconoce bien paráfrasis o sinónimos.Densa · semántica
Embeddings
Compara representaciones vectoriales de consultas y documentos.
FortalezaRecupera significados semejantes aunque cambien las palabras.LímitePuede perder coincidencias léxicas específicas.Híbrida
Léxica + semántica
Combina rankings o puntuaciones de ambos recuperadores.
FortalezaAprovecha exactitud léxica y cobertura semántica.RetoFusionar resultados con escalas diferentes.RAG combina lo que el modelo sabe con lo que puede consultar
Conocimiento paramétrico
Está codificado en los pesos del modelo.
- Fluido y general.
- Estático y difícil de rastrear.
+
Conocimiento no paramétrico
Está almacenado en documentos e índices externos.
- Actualizable y verificable.
- Consultado durante la inferencia.
=
RAG
Generación condicionada por evidencia recuperada.
- Respuesta en lenguaje natural.
- Mayor trazabilidad documental.
Fuente: Lewis et al. (2020).
La arquitectura RAG tiene dos recorridos
Preparación del conocimientoDocumentos›Fragmentación›Representación›Índice
Respuesta a una consultaPregunta›Recuperación top-k›Incorporación de evidencia a la instrucción›Generación›Respuesta
Selecciona la evidencia.
Integra evidencia e instrucciones.
Produce la respuesta fundamentada.
Fuente: Lewis et al. (2020).
RAG evoluciona al incorporar control sobre la evidencia
RAG naive
Recupera documentos y los concatena directamente al prompt.
RAG avanzado
Preprocesa la consulta, reordena resultados y filtra evidencia.
RAG modular
Separa recuperación, reordenamiento, generación y memoria en módulos optimizables.
Fuente: Gao et al. (2023).
RAG naive
Es la implementación más directa: recupera documentos relevantes y los concatena con la consulta antes de enviarlos al modelo generativo.
Consulta›Recuperación›Concatenación›Generación
Es simple de implementar y permite incorporar información externa.
La calidad depende directamente de los primeros documentos recuperados.
Fuente: Gao et al. (2023).
RAG avanzado
Añade mecanismos antes y después de la recuperación para mejorar la pertinencia y reducir el ruido del contexto.
Reformular consulta›Recuperar›Reordenar›Filtrar›Generar
Entrega evidencia más precisa y mejor organizada al generador.
Incorpora más etapas, decisiones y costo de procesamiento.
Fuente: Gao et al. (2023).
RAG modular
Organiza el sistema mediante componentes intercambiables que pueden configurarse y optimizarse de manera independiente.
RecuperaciónReordenamientoGeneraciónMemoria
Facilita adaptar la arquitectura a distintas tareas y colecciones.
Requiere coordinar y evaluar cada módulo y sus interacciones.
Fuente: Gao et al. (2023).
Un sistema RAG se evalúa por etapas
Recuperación
¿Encontró la evidencia?
Hit@kPrecision@kRecall@kMRR@knDCG@k
Respuesta
¿Cómo se compara con la referencia?
BLEUROUGEMETEORBERTScore
Fundamentación
¿Responde con evidencia?
FaithfulnessAnswer relevanceContext precisionContext recallHallucination rate
Cinco métricas sobre el mismo top-5
10 documentos · 4 relevantes en la colección · top-5 con 3 relevantes y 2 no relevantes
Fuentes: Manning et al. (2008); Järvelin y Kekäläinen (2002).
MRR promedia el primer acierto de varias consultas
Consulta 1
RNNNN
Primer acierto: 1RR = 1/1 = 1,00Consulta 2
NRNNN
Primer acierto: 2RR = 1/2 = 0,50Consulta 3
NNNRN
Primer acierto: 4RR = 1/4 = 0,25Mean Reciprocal RankMRR = (1,00 + 0,50 + 0,25) / 3 = 0,58
Interpretación: un valor próximo a 1 indica que el primer resultado relevante aparece en las primeras posiciones del conjunto de consultas.
Fuente: Manning et al. (2008).
nDCG · Normalized Discounted Cumulative Gain
¿Por qué disminuye el peso?El descuento logarítmico hace que un acierto al inicio aporte más que el mismo acierto en una posición baja.
Ranking recuperado
N0R0,63N0R0,43R0,39
DCG@5 · Discounted Cumulative Gain ≈ 1,45
Ranking ideal
R1,00R0,63R0,50R0,43N0
IDCG@5 · Ideal Discounted Cumulative Gain ≈ 2,56
nDCG@5 · Normalized Discounted Cumulative Gain = 1,45 / 2,56≈ 0,57
Efecto del documento relevante no recuperado: D4 pertenece al ordenamiento ideal y debería aparecer en las primeras cinco posiciones. Su ausencia reduce el DCG y, en consecuencia, el nDCG.
Fuente: Järvelin y Kekäläinen (2002).
Métricas de similitud con una respuesta de referencia
Calcula precisión de n-gramas. Premia coincidencias exactas de secuencias.
Más estricto con la redacciónMide principalmente cobertura mediante recall de unigramas, bigramas o subsecuencias.
¿Cuánto contenido de referencia cubrió?Considera coincidencias, raíces y sinónimos; tolera mejor algunas paráfrasis.
Mayor flexibilidad lingüísticaCompara embeddings contextuales para capturar semejanza semántica entre textos.
Compara significado, no solo palabrasLimitación compartida: una alta similitud textual o semántica no garantiza que cada afirmación esté respaldada por el contexto.
Fuentes: Papineni et al. (2002); Lin (2004); Banerjee y Lavie (2005); Zhang et al. (2020).
Métricas específicas de fundamentación
Proporción de afirmaciones respaldadas por el contexto recuperado.
Evalúa si la respuesta aborda de forma directa y pertinente la pregunta del usuario.
Mide cuánto del contexto recuperado es realmente relevante para responder la consulta.
Mide cuánto del contexto necesario para responder fue recuperado por el sistema.
Proporción de afirmaciones generadas que no pueden verificarse en la evidencia disponible.
Interpretación conjunta: relevancia responde “¿sirve?”, mientras fidelidad responde “¿está respaldado?”.
Fuentes: Es et al. (2024), RAGAS; Saad-Falcon et al. (2024), ARES.
LLM-as-a-judge: un modelo evalúa a otro modelo
Pregunta+Contexto+Respuesta›LLM evaluador›Puntuación + explicación
¿Qué permite?
- Evaluar relevancia, fidelidad y calidad sin coincidencia literal.
- Aplicar una rúbrica consistente a muchas respuestas.
¿Qué riesgo introduce?
- Sesgos y errores del propio modelo evaluador.
- Sensibilidad al prompt, al orden y a la escala utilizada.
Alcance metodológico: la evaluación requiere calibración con juicios humanos y el reporte explícito del modelo, la instrucción y la escala empleada.
Fuentes: Zheng et al. (2023); Saad-Falcon et al. (2024).
El sistema se construyó mediante tres etapas consecutivas
Investigación y definición
Se identificaron estrategias de recuperación, modelos de lenguaje pequeños y criterios de evaluación.
Resultado de la etapaComponentes candidatos para construir el sistema.
Diseño e integración
Se separaron recuperación, construcción de contexto y generación en módulos intercambiables.
Resultado de la etapaArquitectura RAG funcional y configurable.
Validación experimental
Los componentes se evaluaron primero de forma aislada y posteriormente como un sistema completo.
Resultado de la etapaEvidencia sobre robustez, recuperación, generación e interacción.
Cada problema técnico se convirtió en una decisión evaluable
Evaluar si se requiere una etapa explícita de corrección.
Seleccionar un modelo con desempeño y costo operativo aceptables.
Comparar métodos base y estrategias de fusión bajo las mismas condiciones.
Evaluar la recuperación, la respuesta y la interacción del sistema integral.
Arquitectura RAG propuesta
Módulo de recuperación propuesto
Configuración del sistema RAG
Diseño experimental de la evaluación exploratoria
DatasetDanielbrdz/BarcenasMexico
670 000 registros; muestra de 300 pares pregunta–documento.
Consulta original›2 o 4 errores›Recuperación›Comparación
Pregunta experimental
¿La recuperación mediante embeddings conserva documentos relevantes cuando la consulta contiene errores ortográficos?
Comparación
Damerau–Levenshtein, embeddings y combinación híbrida con α = 0,3, 0,5 y 0,7.
Medición
MRR, Recall@k y nDCG@k para consultas con transposición, eliminación, sustitución y adición.
Comparación de los diseños experimentales
| Decisión experimental | Configuración base | Configuración confirmatoria |
|---|---|---|
| Referencia sin ruido | No incluida | 0 errores como línea base |
| Consultas evaluadas | 300 pares | 10 000 casos consulta–corpus |
| Corrupción | Una generación; semilla 42 | Dos perfiles sobre 10 000 casos |
| Modelos | 17 modelos diversos | 9 modelos agrupados en 3 familias |
| Inferencia estadística | No aplicada | Pruebas pareadas y corrección de Holm |
| Corrección ortográfica | Distancia y fusión | Condición ruidosa frente a corrección DL |
Fuente: diseños experimentales del estudio.
Experimento 4 · Evaluación integral de la arquitectura RAG
CorpusDanielbrdz/BarcenasMexico
«Historia de México»: 150 pares de pregunta–respuesta, 78 documentos, 29 consultas de validación y 121 de prueba.
Sistemas comparados
Recuperador propuesto con α seleccionado mediante validación frente al EnsembleRetriever de LangChain, con pesos fijos 0,50/0,50.
Generación
Ambos sistemas usan Phi-3 Mini 128K en BF16. Se generaron 242 respuestas, 121 por sistema.
Evaluación
Recuperación: Hit@10, MRR y nDCG. Generación: BLEU, ROUGE, METEOR, BERTScore, fidelidad, relevancia y cobertura contextual.
Configuración: 231 fragmentos y α ∈ {0; 0,05; …; 1}. El valor de α se seleccionó mediante validación; la prueba se reservó para la evaluación final.
Experimento 5 · Comparación con usuarios
EscenarioConsulta RAG frente a museo virtual
Obras sobre la conquista de México del Museo Nacional de Bellas Artes de Argentina.
Participantes
90 estudiantes de 18 a 28 años: 41 interactuaron con RAG y 49 con el museo virtual.
Instrumentos
Plataforma web, 10 preguntas de comprensión —cinco literales y cinco inferenciales— y escala de carga cognitiva de Paas.
Variables
Tiempo de exploración, respuestas completamente correctas (MCRC), comprensión literal e inferencial, carga mental y eficiencia cognitiva.
No existen diferencias entre las condiciones RAG y museo virtual en las variables evaluadas.
Al menos una variable presenta una distribución diferente entre ambas condiciones.
Se rechaza H0 cuando pHolm < 0,05.
Diseño cuasiexperimental con asignación alternada. Las respuestas se calificaron con 0, 0,5 o 1; una respuesta sin respaldo cuenta como incorrecta y se registra por separado.
La información estática restringe la profundización del visitante
Limitación transversalLa misma información se presenta a todos los visitantes
Las cédulas no pueden ampliar una explicación, aclarar un término ni responder una pregunta específica durante el recorrido.
Permitir que el visitante formule preguntas en lenguaje natural.
Recuperar información adicional cuando el contenido disponible resulta insuficiente.
Mantener la explicación vinculada con documentos de referencia.
Implicación metodológica
Estas necesidades fundamentaron la selección de recuperación de información, modelos de lenguaje pequeños y criterios de evaluación para las etapas experimentales.
Resultados de robustez ortográfica
Consultas con 2 errores
| Método | Recall@1 | Recall@5 | MRR | nDCG@10 |
|---|---|---|---|---|
| DL | 0,200 | 0,833 | 0,444 | 0,578 |
| Embedding | 0,208 | 0,840 | 0,449 | 0,581 |
| Híbrido | 0,203 | 0,837 | 0,450 | 0,583 |
Consultas con 4 errores
| Método | Recall@1 | Recall@5 | MRR | nDCG@10 |
|---|---|---|---|---|
| DL | 0,217 | 0,850 | 0,458 | 0,589 |
| Embedding | 0,189 | 0,833 | 0,451 | 0,571 |
| Híbrido | 0,201 | 0,849 | 0,443 | 0,580 |
InterpretaciónLos embeddings conservaron capacidad de recuperación bajo ruido; sin una condición limpia de referencia, la magnitud de la degradación no podía estimarse.
Fuente: tesis, Tablas 6.2 y 6.3.
Alcance inferencial del estudio
Evidencia obtenida
- Los embeddings conservaron capacidad de recuperación ante consultas alteradas.
- Los tres enfoques recuperaron documentos relevantes.
- La combinación híbrida presentó un desempeño competitivo en la muestra.
Limitaciones del análisis
- Degradación respecto de consultas limpias.
- Variabilidad entre realizaciones del proceso de corrupción.
- Significancia estadística de las diferencias.
- Robustez relativa de las familias de embeddings.
Efecto del ruido ortográfico sobre MRR@5
0,75
0,50
0,25
0 errores
2 errores
4 errores
Recuperación: 0,702 → 0,465 −33,7 %Español: 0,515 → 0,275 −46,6 %Multilingüe: 0,388 → 0,190 −51,0 %
Fuente: evaluación experimental. Promedios de MRR@5 por familia y nivel de ruido.
Comparación de resultados con k = 5 y k = 10
| Métrica | 0 errores | 2 errores | 4 errores | ||||||
|---|---|---|---|---|---|---|---|---|---|
| @5 | @10 | Δ | @5 | @10 | Δ | @5 | @10 | Δ | |
| MRR | 0,535 | 0,545 | +0,010 | 0,411 | 0,423 | +0,011 | 0,310 | 0,321 | +0,011 |
| nDCG | 0,575 | 0,599 | +0,025 | 0,449 | 0,477 | +0,028 | 0,344 | 0,371 | +0,028 |
| Hit | 0,694 | 0,770 | +0,077 | 0,562 | 0,648 | +0,085 | 0,444 | 0,529 | +0,085 |
Cambia poco porque los aciertos adicionales aparecen entre las posiciones 6 y 10 y reciben un peso recíproco reducido.
Aumenta moderadamente: reconoce los documentos adicionales, pero descuenta su contribución por aparecer en posiciones inferiores.
Presenta el mayor incremento porque solo evalúa si existe al menos un documento relevante dentro del corte.
Decisión: se conserva k = 5 como análisis principal; k = 10 se utiliza como análisis de sensibilidad y confirma la misma conclusión.
Fuente: evaluación experimental. Promedio de las tres familias de modelos.
Degradación relativa de MRR@5 por modelo
Degradación relativa de MRR@5 entre 0 y 4 errores.
Efecto de la corrección ortográfica sobre MRR@5
Consulta alteradaSe aplica únicamente a las variantes con 2 o 4 errores.
CandidatosSymSpell propone términos del vocabulario del corpus.
SelecciónDamerau–Levenshtein elige el término más cercano antes del embedding.
ComparaciónLa misma recuperación se ejecuta con consulta ruidosa y corregida.
Referencia limpiaMRR@5 = 0,535
2 errores
+18,6 % respecto de la consulta ruidosa
4 errores
+39,3 % respecto de la consulta ruidosa
Consulta ruidosaDespués de corrección DL
Conclusión: el embedding tolera parcialmente el ruido. La corrección recupera parte del MRR@5, pero no alcanza la condición limpia; por ello, la normalización constituye una etapa auxiliar.
Fuente: evaluación experimental; promedios globales de MRR@5. DL = Damerau–Levenshtein.
Contraste estadístico del efecto del ruido ortográfico
H₀ La diferencia pareada entre la consulta ruidosa y la limpia es igual a cero.
H₁ La diferencia pareada es distinta de cero; la dirección observada es negativa.
Diferencia por consultaΔ = métrica ruidosa − métrica limpia.
Shapiro–WilkEvalúa normalidad de las diferencias, no de los valores originales.
Prueba pareadaValor p de Shapiro–Wilk ≥ 0,05: t de Student; si es menor: Wilcoxon.
Ajuste de HolmControla el error familiar de los 36 contrastes simultáneos.
| Métrica | 2 errores | 4 errores | Efecto mediano |
|---|---|---|---|
| MRR@5 | 36 / 36 rechazan H₀ | 36 / 36 rechazan H₀ | −0,629 / −0,781 |
| nDCG@5 | 36 / 36 rechazan H₀ | 36 / 36 rechazan H₀ | −0,662 / −0,817 |
Criterio de decisión: α = 0,05 representa un riesgo máximo de 5 % de rechazar H₀ cuando es verdadera. Se rechaza H₀ cuando el valor p ajustado por Holm es menor que 0,05. Los estadísticos t y W varían por modelo, corpus y perfil; el resumen muestra la decisión conjunta de los 36 contrastes.
Conclusión del experimento de robustez ortográfica
Tolerancia parcial
Los embeddings conservan capacidad de recuperación bajo ruido; sin embargo, el desempeño disminuye significativamente conforme aumenta el número de errores.
Las tres familias mantuvieron capacidad de recuperación con 2 y 4 errores.
Todas las familias presentaron una disminución significativa de MRR@5.
Los modelos orientados a recuperación mostraron la mayor robustez relativa.
La corrección DL recuperó parte del desempeño sin alcanzar la condición limpia.
Resultados de la evaluación de los modelos SLM
Phi-3 Mini 128K · 57,78 %
La tesis priorizó su ventana de contexto de 128K tokens para construir respuestas con evidencia documental extensa.
| Modelo | Conf. 1 | Conf. 2 | Conf. 3 | MCRC global |
|---|---|---|---|---|
| tiiuae/Falcon3-7B-Instruct | 342 | 396 | 326 | 62,22 % |
| Qwen/Qwen2-7B-Instruct | 324 | 403 | 331 | 61,87 % |
| microsoft/Phi-3-mini-4k-instruct | 301 | 409 | 298 | 58,95 % |
| microsoft/Phi-3-mini-128k-instruct | 332 | 390 | 266 | 57,78 % |
| meta-llama/Llama-3.1-8B-Instruct | 258 | 390 | 275 | 53,98 % |
Fuente: tesis, Tablas 6.5 y 6.6. Se muestran los cinco modelos más pertinentes para la decisión.
Los contrastes separan exactitud máxima y capacidad de contexto
p = 3,82 × 10−56: existen diferencias entre los diez modelos.
Sin diferencia significativa con α = 0,05.
Falcon presenta mayor exactitud.
Interpretación:
Phi-3 128K no maximiza la exactitud; su selección se sustenta en la ausencia de diferencias significativas frente a la variante 4K y en una ventana de contexto considerablemente mayor.
Q de Cochran y prueba exacta de McNemar con corrección de Holm; α = 0,05.
Phi-3 Mini 128K responde al requisito de contexto del sistema RAG
Permite incorporar más evidencia recuperada, instrucciones y antecedentes conversacionales.
No difiere significativamente de Phi-3 Mini 4K en la evaluación estricta.
Resultado con extracción inequívoca sobre 570 preguntas en español latinoamericano.
Decisión
Se conserva microsoft/Phi-3-mini-128k-instruct: la prioridad del sistema es procesar contexto documental amplio; la variante 128K mantiene un desempeño comparable a Phi-3 4K y ya fue integrada en la arquitectura de la tesis.
RSF y la combinación lineal con α = 0,50 producen el mismo ranking
Relative Score Fusionsléxico + ssemántico
mismoorden
Lineal α = 0,500,50 sléxico + 0,50 ssemántico
discrepancias de ranking
en 48 combinaciones de modelo y muestrapara ambos métodos
el empate es un control esperadoInterpretaciónMultiplicar todos los puntajes por 0,50 modifica su escala, pero conserva su orden; por ello, α = 0,50 no constituye una estrategia distinta de RSF.
Fuente: tesis, Tabla 6.7; verificación por consulta del experimento reproducido.
Comparación de tres pesos fijos de fusión
RSF: suma puntajes normalizados · RRF: combina las posiciones de ambos rankings · Embedding: recuperación semántica sin BM25
| Método | MRR | Recall@1 | Recall@5 | Recall@10 |
|---|---|---|---|---|
| RSF / Lineal α=0,50 | 0,6601 | 0,5605 | 0,7825 | 0,8360 |
| Lineal α=0,70 | 0,6327 | 0,5433 | 0,7361 | 0,7787 |
| Lineal α=0,30 | 0,6263 | 0,5383 | 0,7289 | 0,7779 |
| RRF | 0,5796 | 0,4799 | 0,6845 | 0,7655 |
| BM25 | 0,5594 | 0,4700 | 0,6628 | 0,7136 |
| Embedding | 0,5196 | 0,4391 | 0,6089 | 0,6624 |
+0,1007 MRR frente a BM25
Entre los pesos evaluados (0,30, 0,50 y 0,70), α = 0,50 obtuvo el mayor promedio.
Fuente: tesis, Tablas 6.7 y 6.9. Promedios sobre 16 modelos de embeddings.
El MRR promedio global alcanza su máximo con α = 0,30
MRR = 0,6780
Δ frente a RSF = +0,0268
p ajustado por Holm = 0,009
MRR promedio = 0,6778
MRR promedio = 0,6512
Interpretación
Se evaluaron 21 valores de α en tres muestras disjuntas. El máximo global se obtiene con 0,30; la validación determina el peso adecuado para cada modelo.
48 bloques: 16 modelos × semillas 2024, 2025 y 2026; α de 0 a 1 en incrementos de 0,05. Fuente: metrics_by_model_seed_method.csv.
El MRR cambia al modificar el peso léxico α · I
α = 0 solo embeddingα = 0,50 fusión balanceada / RSFα = 1 solo BM25Verde mayor MRR mostrado
| Modelo | α = 0 | α = 0,30 | α = 0,50 | α = 0,70 | α = 1 |
|---|---|---|---|---|---|
| Qwen/Qwen3-Embedding-8B | 0,9122 | 0,8823 | 0,7751 | 0,6630 | 0,5259 |
| intfloat/multilingual-e5-large | 0,8817 | 0,8381 | 0,7284 | 0,6373 | 0,5259 |
| BAAI/bge-m3 | 0,8697 | 0,8374 | 0,7340 | 0,6429 | 0,5259 |
| intfloat/multilingual-e5-base | 0,8511 | 0,8143 | 0,7138 | 0,6305 | 0,5259 |
| intfloat/multilingual-e5-small | 0,8310 | 0,8005 | 0,7050 | 0,6264 | 0,5259 |
| intfloat/e5-mistral-7b-instruct | 0,3885 | 0,6557 | 0,6293 | 0,5827 | 0,5259 |
| sentence-transformers/paraphrase-multilingual-mpnet-base-v2 | 0,5748 | 0,6937 | 0,6688 | 0,6111 | 0,5259 |
| sentence-transformers/use-cmlm-multilingual | 0,4829 | 0,6691 | 0,6492 | 0,6006 | 0,5259 |
Interpretación
Qwen3, BGE-M3 y la familia multilingual-E5 favorecen valores bajos de α; E5-Mistral, MPNet y USE-CMLM alcanzan mejores resultados con una mayor contribución léxica.
8 de 16 modelosMRR promedio de las semillas 2024–2026, calculado desde metrics_by_model_seed_method.csv.
El MRR cambia al modificar el peso léxico α · II
α = 0 solo embeddingα = 0,50 fusión balanceada / RSFα = 1 solo BM25Verde mayor MRR mostrado
| Modelo | α = 0 | α = 0,30 | α = 0,50 | α = 0,70 | α = 1 |
|---|---|---|---|---|---|
| somosnlp-hackathon-2022/paraphrase-spanish-distilroberta | 0,4783 | 0,6613 | 0,6476 | 0,5992 | 0,5259 |
| hiiamsid/sentence_similarity_spanish_es | 0,4518 | 0,6247 | 0,6385 | 0,5983 | 0,5259 |
| sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 | 0,4865 | 0,6306 | 0,6403 | 0,5987 | 0,5259 |
| sentence-transformers/LaBSE | 0,3931 | 0,5961 | 0,5990 | 0,5722 | 0,5259 |
| sentence-transformers/distiluse-base-multilingual-cased-v2 | 0,4399 | 0,5892 | 0,6139 | 0,5860 | 0,5259 |
| sentence-transformers/all-MiniLM-L6-v2 | 0,3931 | 0,5737 | 0,5841 | 0,5663 | 0,5259 |
| dccuchile/bert-base-spanish-wwm-cased | 0,2032 | 0,5349 | 0,5501 | 0,5409 | 0,5259 |
| bert-base-multilingual-cased | 0,1531 | 0,4470 | 0,5423 | 0,5463 | 0,5259 |
Interpretación
En este grupo, la mayoría de los modelos favorece valores de α próximos a 0,50; BERT multilingüe alcanza su máximo en 0,70.
43 de 48 bloques aumentaron el MRR · 37 de 48 cumplieron el criterio de robustezMRR promedio de las semillas 2024–2026 desde metrics_by_model_seed_method.csv; robustez desde paired_comparisons.csv.
La contribución es una fusión ponderable, no un peso universal
Permite adaptar la contribución léxica y semántica al modelo y al corpus.
En cinco de 48 escenarios no hubo mejora y el efecto fue pequeño en varios modelos.
La selección de α debe realizarse con validación separada, no fijarse a partir del conjunto de prueba.
Respuesta del experimento
Ajustar el peso puede mejorar la recuperación frente a RSF, pero la magnitud y el valor de α dependen del modelo de embeddings. El resultado respalda una arquitectura configurable y una evaluación específica por corpus.
El recuperador propuesto mejora la evidencia disponible
Frente a 0,521 con LangChain.
IC bootstrap 95 %: diferencia positiva.
p ajustado (Holm) = 2,06 × 10−8.
| Métrica | Propuesta | LangChain | Diferencia | p ajustado (Holm) |
|---|---|---|---|---|
| Hit@10 | 0,876 | 0,521 | +0,355 | 9,09 × 10−13 |
| MRR | 0,621 | 0,345 | +0,275 | 2,06 × 10−8 |
| nDCG | 0,682 | 0,387 | +0,295 | 1,24 × 10−8 |
| Context recall | 0,876 | 0,521 | +0,355 | 1,64 × 10−10 |
121 consultas de prueba por sistema. Contrastes pareados con corrección de Holm.
La propuesta mejora las métricas de similitud textual
Embeddings: intfloat/multilingual-e5-basePropuesta: α = 0,10LangChain: pesos 0,50/0,50Generación: Phi-3 Mini 128K
Métricas textuales
| Métrica | Propuesta | LangChain | p ajustado por Holm |
|---|---|---|---|
| BLEU | 0,034 | 0,018 | <0,001 |
| ROUGE-1 | 0,305 | 0,266 | <0,001 |
| METEOR | 0,135 | 0,109 | <0,001 |
| BERTScore | 0,697 | 0,676 | <0,001 |
La propuesta incrementa el respaldo documental de las respuestas
Fundamentación
| Métrica | Propuesta | LangChain | p ajustado por Holm |
|---|---|---|---|
| Faithfulness | 0,426 | 0,291 | 0,00039 |
| Hallucination Rate | 57,4 % | 70,9 % | — |
| Diferencia de fidelidad | +13,5 puntos porcentuales | 0,00039 | |
Interpretación: la ventaja se atribuye a un contexto documental más completo y pertinente, no a una diferencia en el conocimiento paramétrico del modelo generativo.
La relevancia de la respuesta no presenta diferencias significativas
Relevancia de la respuesta
| Métrica | Propuesta | LangChain | p ajustado por Holm |
|---|---|---|---|
| Answer Relevance | 0,838 | 0,836 | 0,335 |
Criterio de decisión estadística: el ajuste de Holm controla falsos positivos en comparaciones múltiples. Valores inferiores a 0,05 permiten rechazar H0; valores iguales o superiores no aportan evidencia suficiente de diferencia. El valor α = 0,10 se seleccionó mediante validación y permaneció fijo durante la prueba y la generación.
Respuesta del experimento 4
La recuperación propuesta es más eficaz y fundamenta mejor la generación
La evidencia cuantitativa respalda una mejora clara en recuperación, cobertura contextual y métricas textuales. La factualidad se estima afirmación por afirmación: una afirmación se considera respaldada solo cuando el clasificador NLI identifica entailment con el contexto recuperado.
Hit@10, MRR y nDCG favorecen al recuperador propuesto.
Faithfulness aumenta 13,5 puntos porcentuales; Hallucination Rate = 1 − Faithfulness, por lo que disminuye en la misma magnitud.
Se conserva la arquitectura propuesta; LangChain constituye la línea base reproducible.
La comparación reunió 90 participantes y 220 consultas RAG
26 hombres, 15 mujeres; edad media 20,98 años.
27 hombres, 22 mujeres; edad media 20,88 años.
Cinco literales y cinco inferenciales por participante.
Promedio de 5,37 consultas entre quienes usaron el sistema.
140 registros de encuesta›50 sesiones duplicadas excluidas›90 participantes únicos›Comparación por condición
352 consultas registradas›132 duplicadas excluidas›220 consultas únicas›Análisis temático descriptivo
Fuente: registros consolidados del experimento 5. La unidad inferencial es el participante; las consultas se describen por separado.
El análisis separa desempeño, carga e interacción
Preparación
Las respuestas se calificaron como correcta = 1, parcial = 0,5 e incorrecta = 0. La ausencia de respaldo se registró como indicador independiente.
Supuestos
Shapiro–Wilk evaluó normalidad y Levene homogeneidad de varianzas. Las variables discretas y no normales se contrastaron sin asumir distribución normal.
Contraste
U de Mann–Whitney comparó grupos independientes. Se reporta delta de Cliff para cuantificar dirección y magnitud del efecto.
Decisión
Nivel de significancia α = 0,05. Holm ajustó los valores p de las siete variables para controlar falsos positivos.
Separación necesaria
Una respuesta no respaldada vale 0 para comprensión y, simultáneamente, suma al indicador de respuestas no respaldadas; nunca reduce el desempeño por debajo de cero.
RAG prolongó la exploración, pero no mejoró la comprensión
| Variable | RAG | Museo virtual | Efecto | p ajustado (Holm) | Decisión |
|---|---|---|---|---|---|
| Tiempo de exploración | Mediana 968 s | Mediana 610 s | δ = +0,364 | 0,0184 | Rechazar H0 |
| Carga mental | Media 6,61 | Media 7,06 | δ = −0,085 | 0,9842 | No rechazar H0 |
| MCRC | Media 1,17 | Media 1,61 | δ = −0,188 | 0,5060 | No rechazar H0 |
| Eficiencia cognitiva | Media −0,186 | Media 0,156 | δ = −0,202 | 0,5060 | No rechazar H0 |
| Comprensión literal | Media 0,344 | Media 0,359 | δ = −0,082 | 0,9842 | No rechazar H0 |
| Comprensión inferencial | Media 0,093 | Media 0,204 | δ = −0,360 | 0,0177 | Rechazar H0 |
| Respuestas no respaldadas | 5,12 % | 5,92 % | δ = −0,106 | 0,9842 | No rechazar H0 |
Interpretación: δ positivo favorece RAG y δ negativo favorece el museo virtual. Un pHolm inferior a 0,05 indica significancia estadística tras ajustar siete comparaciones.
Las consultas muestran exploración adicional, no una ventaja pedagógica
Respuesta del experimento
El acceso conversacional modificó el comportamiento de exploración: los participantes permanecieron más tiempo y formularon preguntas para ampliar o aclarar información. En esta muestra no produjo una mejora en comprensión; la condición de museo virtual obtuvo mayor desempeño inferencial.
La contribución demostrada es una capa adicional de consulta y exploración documental.Fuente: experimento 5; categorías calculadas sobre 220 consultas únicas. El análisis temático es descriptivo.
La recuperación determina el desempeño del sistema completo
Los modelos orientados a recuperación conservaron el mejor desempeño con dos y cuatro errores; la normalización ayudó en consultas más dañadas.
La ponderación léxica-semántica puede mejorar la recuperación, pero el valor conveniente depende del modelo y debe elegirse con validación separada.
Hit@10, MRR, nDCG, cobertura contextual y fidelidad favorecieron al recuperador propuesto con diferencias significativas.
La interacción fue más prolongada y estuvo orientada a ampliar o aclarar información; no produjo una ventaja en comprensión.
Conclusión central: en un RAG especializado, mejorar la evidencia recuperada es condición necesaria para fundamentar la respuesta, pero no garantiza por sí sola comprensión ni ausencia de alucinaciones.
Anexo A · Prompt utilizado en la evaluación automática
Entrada por registro
Pregunta, respuesta generada, diez contextos recuperados, perfil demográfico y documento de referencia.
Variables evaluadas
- Documento de referencia en top-10.
- Corrección y respaldo contextual.
- Comprensibilidad demográfica.
- Rechazo y tipo de rechazo.
- Alucinación.
Restricciones
Usar solamente los contextos proporcionados, evaluar cada registro y devolver un arreglo JSON estricto.
Fuente: tesis, Anexo A.
Anexos B y C · Artículo y conferencia
COMIA 2026
Constancia de presentación del artículo sobre postprocesamiento geométrico de embeddings para clasificación de textos.
La magia detrás de los LLM
Reconocimiento como ponente en las Jornadas Académicas de Innovación, Tecnología, Liderazgo y Sostenibilidad 2025.
Fuente: tesis, Anexos B y C.
Anexos D y E · Taller e innovación tecnológica
Sistemas de Lenguaje Natural en IA
Reconocimiento por impartir el taller durante el Primer Campamento de Verano de Inteligencia Artificial de CENIDET.
InnovaTec 2025
Constancia de participación con el proyecto SanEEG en la categoría Servicios para la Salud Humana.
Fuente: tesis, Anexos D y E.