Dominar las habilidades lingüísticas requeridas en escritura académica es un desafío en todas las etapas educativas. Este estudio analiza la relación entre el uso de recursos lingüísticos y la calidad percibida en textos académicos con el objetivo de desarrollar instrumentos válidos de evaluación de la calidad textual. Se analizaron 212 textos analíticos de 65 alumnos de Educación Primaria, 78 de Secundaria y 69 universitarios. En un primer análisis, se codificaron recursos morfosintácticos, léxicos y discursivos de estos textos. Seguidamente, profesores de cada nivel educativo los evaluaron con una rúbrica analítica sobre aspectos lingüísticos y retóricos. Los resultados mostraron un aumento evolutivo en la mayoría de las características lingüísticas, excepto en la proporción de marcadores discursivos y la densidad léxica. La evaluación externa fue más diversa en Primaria y Secundaria que en la universidad, aunque las puntuaciones mejoraron con el nivel educativo. La calidad percibida de los textos se relacionó con características específicas en cada nivel: la productividad era clave para obtener buenas puntuaciones en Primaria y Secundaria, mientras que en Educación Superior se observó una correlación negativa entre el uso de marcadores del discurso y la evaluación docente. Estos hallazgos contribuirán al diseño de herramientas de evaluación adaptadas a cada etapa educativa.
Descargas
Los datos de descargas todavía no están disponibles.
##plugins.themes.bootstrap3.article.details##
Cómo citar
Cuberos-Vicente, R., Rosado, E., Martínez, V., & Aparici, M. (2026). La evaluación de la escritura académica en Educación Primaria, Secundaria y Educación Superior. Ocnos, 25(1). https://doi.org/10.18239/ocnos_2026.25.1.588
Cuberos-Vicente, Rosado, Martínez, and Aparici: La evaluación de la escritura académica en Educación Primaria, Secundaria y Educación
Superior
Introducción
La lectura de un texto implica, casi inevitablemente, evaluar su calidad. Como lectores,
nuestra percepción está determinada por factores que van desde el interés del tema
a la información que se proporciona o, de manera crucial, la forma en que se presenta
y estructura esta información. En términos generales, la evaluación de un texto es
un proceso bastante intuitivo. Sin embargo, desde la perspectiva especializada del
investigador o del docente dicha calidad se materializa tanto en evaluaciones globales
más o menos subjetivas como en la observación de criterios analíticos específicos
(; ). Además, la calidad de un texto, eminentemente relacionada con su eficiencia en
el contexto en que se produce y, por tanto, con el tipo de texto de que se trata,
puede explicarse, parcialmente, examinando sus características lingüísticas (). Nuestro estudio pone en relación el análisis de indicadores de calidad textual
por parte del investigador y la valoración del docente, para analizar los textos producidos
por alumnos de Primaria, Secundaria y Eduación Superior.
En contextos académicos, el dominio de las habilidades lingüísticas requeridas para
producir textos de calidad supone un desafío en todas las etapas educativas; de hecho,
las dificultades con este tipo de textos pueden derivar en problemas de integración
escolar, social y/o profesional (). La incorporación a la vida académica supone familiarizarse con convenciones y lenguaje
propios de los textos, típicamente expositivos y/o argumentativos, que se producen
en contextos académicos (; ). Si bien estos géneros se introducen en Educación Primaria y están sujetos a atención
y tratamiento específicos en la Secundaria obligatoria y postobligatoria, las dificultades
del alumnado con el uso adecuado de los recursos lingüísticos y estrategias discursivas
propias de los textos académicos perduran hasta su tránsito a la universidad. Esto
constituye una preocupación constante para profesores de todos los niveles y disciplinas
pues, de hecho, los problemas en la redacción de sus trabajos académicos persisten
incluso más allá de la formación de grado (; ). Para evaluar adecuadamente este tipo de textos y apoyar el aprendizaje de sus características
por parte de niños, adolescentes y adultos, es preciso disponer de herramientas fiables.
El interés de esta investigación reside en profundizar en la relación que existe entre
la apreciación de un texto a partir de sus características lingüísticas y el efecto
que estas producen en el lector cuando se valora su calidad. Esto se examina en textos
analíticos, esto es, aquellos centrados en el análisis y la argumentación (; ) que presentan componentes tanto expositivos como argumentativos () y que se producen típicamente en contextos académicos. En comparación con géneros
discursivos cognitivamente menos complejos y evolutivamente más tempranos (p. ej.,
la narración), estos se caracterizan por la necesidad del autor de expresar su punto
de vista sobre un tema, presentar argumentos a favor y en contra y ofrecer evidencia
adecuada y/o posibles refutaciones (). Las exigencias lingüísticas que impone la naturaleza de estos textos suponen un
desafío para escritores de todas las edades/niveles educativos (). Mientras que la organización de la narración escrita tiende a dominarse alrededor
de los 10 años, la escritura analítica es un logro tardío que requiere un uso avanzado
de formas y funciones gramaticales, léxicas y discursivas cuya adquisición es también
más tardía (). En este tipo de textos se espera que sus autores sean capaces de emplear un vocabulario
diverso pero preciso, de condensar la información mediante, por ejemplo, una sintaxis
compleja, y que expliciten la organización del discurso mediante marcas de conexión
intra e interoracional que indiquen no sólo las transiciones textuales sino también
el posicionamiento del autor (; ; ).
En estudios previos se ha identificado qué recursos léxicos, morfosintácticos y discursivos
funcionan como indicadores de calidad textual y se ha explorado la relación que se
establece entre los distintos grupos de indicadores a lo largo del desarrollo (; ; ; ). Sin embargo, no se ha explorado desde una perspectiva evolutiva cómo la presencia
de estos elementos afecta a la evaluación de los textos, es decir, cómo el uso de
determinados elementos lleva a la identificación de textos “de calidad” por parte
de jueces externos.
Una primera exploración sobre la relación entre los indicadores lingüísticos de calidad
textual y la evaluación externa del corpus de textos de este trabajo se realizó en
. Allí se examinaba cómo aspectos directamente relacionados con el contenido y la
estructura de los textos contribuían a explicar el grado de calidad percibida por
parte de jueces expertos. También exploran qué características textuales explican la evaluación que los docentes realizan
de los textos la cual varía en función del nivel educativo y/o la exposición a trabajo
pedagógico específico. Estos trabajos, sin embargo, se han limitado a considerar la
relación entre dichos aspectos y la evaluación holística de los mismos.
Objetivos
En ese estudio se analiza la calidad textual de textos analíticos producidos por estudiantes
de Primaria, Secundaria y Educación Superior, y concretamente nos proponemos:
1. Examinar las posibles variaciones en la evaluación externa de la calidad textual
de los textos según el nivel educativo.
2. Analizar el desarrollo de un conjunto de recursos lingüísticos identificados como
indicadores de calidad textual comparando su uso en los textos según el nivel educativo.
3. Identificar cuáles de estos recursos lingüísticos explican mejor las evaluaciones
externas de la calidad textual en cada nivel educativo.
Métodos
Participantes
Participaron 212 estudiantes de tres niveles educativos —6º de Educación Primaria
(n=65), 4º de Educación Secundaria (n=78) y 1º y 2º curso de Educación Superior (n=69)—. Los textos se recogieron en León y Ciudad Real, en dos centros de Educación
Primaria, tres de Secundaria y en la Universidad de León. En la tabla 1 se recogen la media, desviación típica, rango de edad y sexo de los participantes.
Tabla 1Edad media, rango de edad y sexo de los participantes por nivel educativo
Nivel educativo
M Edad (DT)
Rango Edad
Participantes
Hombre
Mujer
Total
Educación Primaria
11.6 (0.28)
11.1–12.1
30
35
65
Educación Secundaria
15.8 (0.67)
15.0–18.3
33
45
78
Educación Superior
21 (2.31)
19.10–31.8
27
42
69
Procedimiento
Tarea de escritura
Durante una secuencia didáctica diseñada para mejorar las competencias vinculadas
a la producción de textos analíticos, los participantes escribieron cinco textos a
ordenador en un máximo de 30 minutos cada uno y sin límite de extensión. La secuencia
didáctica se implementó durante siete sesiones en el aula ordinaria de los grupos
clase por parte de su profesorado habitual, que recibió formación específica previa.
Las actividades pedagógicas consistieron en lecturas sobre el tema de la secuencia
—la libertad de movimiento entre países—, discusión en clase sobre las características
de los textos analíticos y tareas de evaluación entre iguales (véase ). En este estudio se analiza el texto 4, producido inmediatamente después de las
actividades pedagógicas. Se decidió utilizar este texto porque durante la secuencia
didáctica los participantes leyeron y escribieron sobre este tema, lo que asegura
que las producciones se realizaron después de una misma instrucción y en un contexto
pedagógico controlado ().
Evaluación externa de la calidad textual
Nueve profesores experimentados de cada nivel educativo participaron en la evaluación
de la calidad textual. Para ello, se les facilitó una rúbrica analítica que incluye
seis criterios: contenido, organización, cohesión, vocabulario, corrección e impacto
comunicativo. Esta rúbrica se diseñó en el marco del proyecto Escritura analítica y diversidad lingüística (EDU2015-65980-R) (IP.: J. Perera y L. Tolchinsky). En la tabla 2 se recoge la descripción de los aspectos evaluados en cada criterio.
Tabla 2Descripción de los criterios analíticos
Criterio
Descripción
Contenido
Se valora la relevancia y adecuación del contenido del texto en relación con el tema
propuesto.
Organización
Se valora la organización del contenido, dirigiendo la atención de los evaluadores
a cómo se ordenan y diferencian las distintas partes del texto.
Cohesión
Se evalúa cómo se conectan las ideas a nivel intraoracional y extraoracional.
Vocabulario
Se evalúa la adecuación del vocabulario utilizado en función del tipo de texto, así
como la riqueza léxica.
Corrección
Se centra en identificar el número de errores ortográficos, gramaticales y de puntuación
y en valorar su impacto en la comprensión del texto.
Impacto comunicativo
Se evalúa la claridad del punto de vista expresado y la calidad de las evidencias
presentadas para respaldarlo.
A los evaluadores se les pidió que puntuaran cada uno de estos criterios y que asignaran
una puntuación global al texto en una escala Likert de 1 a 5, donde 5 era la puntuación
más alta. Los textos con menos de 40 palabras debían ser puntuados con 1 en todos
los criterios por ser demasiado cortos para evaluar. Sólo dos participantes de Primaria
fueron descartados de los análisis.
La fiabilidad de las evaluaciones se calculó en el 20% de los textos mediante el coeficiente
Alfa de Cronbach. Se alcanzaron acuerdos significativos entre los jueces en todos
los niveles educativos (α ≥ .881 en todas las puntuaciones) ().
Indicadores lingüísticos de calidad textual
Se obtuvieron medidas morfosintácticas, léxicas y discursivas y una medida de productividad
para analizar aspectos lingüísticos que han sido previamente relacionados con la calidad
textual.
- Productividad. Hace referencia a la longitud textual y se calculó a partir del número
de total de palabras.
- Uso de conectores sintácticos. Conjunciones coordinantes y subordinantes que conectan
oraciones (mecanismos de conexión intraoracional), y se calculó la proporción de estos
en relación con el número total de cláusulas.
- Uso de marcadores discursivos. Elementos de conexión que no ejercen una función
sintáctica en la predicación oracional, pero constituyen enlaces supraoracionales
facilitadores de la cohesión textual (mecanismos de conexión extraoracional), siguiendo
los criterios de , y se calculó la proporción de estos sobre el número total de cláusulas.
- Diversidad léxica. Variedad de palabras diferentes utilizadas en un texto calculada
mediante el índice D que, a diferencia de otros índices, no se ve afectado por la
longitud del texto ().
- Densidad léxica. Proporción de palabras contenido sobre el número total de palabras,
informa sobre la densidad informativa de un texto ().
- Sofisticación léxica. Uso de palabras menos comunes y más avanzadas. Se calculó
mediante la longitud media de palabras con contenido semántico, en tanto que a medida
que aumenta la longitud de las palabras disminuye su frecuencia de aparición en el
lenguaje ().
Análisis de datos
Los textos obtenidos fueron transcritos en formato CHAT y se analizaron mediante programas
de CLAN del proyecto CHILDES (): FREQ para determinar la frecuencia de las variables de recuento, VOCD para la diversidad
léxica y WDLEN para la longitud media de palabras. Los textos fueron segmentados en
cláusulas siguiendo los criterios de , adaptados al español por y etiquetados morfosintácticamente mediante MOR y POST.
Se realizaron ANOVA con el nivel educativo como factor intersujeto para analizar cómo
evolucionan las puntuaciones externas y cómo se desarrolla el uso de los indicadores
lingüísticos de calidad textual. Se calculó el tamaño del efecto con el valor de eta
cuadrado (). Las comparaciones por pares se realizaron aplicando la corrección de Tukey y la
corrección de Games-Howell cuando los datos no cumplieron el criterio de homocedasticidad.
También se calculó el tamaño del efecto mediante la d de Cohen ().
Para abordar el tercer objetivo, centrado en examinar la relación entre los indicadores
lingüísticos y las evaluaciones de la calidad de los textos, se llevaron a cabo una
serie de correlaciones mediante el coeficiente de correlación de Pearson en cada nivel
educativo. Seguidamente, se realizaron análisis de regresión para cada uno de los
aspectos evaluados en cada nivel educativo por separado. Sólo los indicadores que
correlacionaron significativamente con las puntuaciones de evaluación de la calidad
se introdujeron como variables explicativas. El porcentaje de variabilidad explicada
se determinó mediante el coeficiente R cuadrado ajustado (R2 ajustado) y el poder explicativo de cada variable se determinó mediante el coeficiente
estandarizado beta (β).
Resultados
Los resultados se han dividido en tres subapartados: la evaluación externa de la calidad
textual por nivel educativo; el uso de indicadores lingüísticos de calidad textual
por nivel educativo; y la relación entre las evaluaciones externas y los indicadores
lingüísticos.
Evaluación externa de la calidad textual por nivel educativo
El nivel educativo tuvo un efecto significativo en todas las puntuaciones de calidad
textual, aumentando con la edad. En la tabla 3 se muestra la estadística descriptiva, el valor de F y el tamaño del efecto. También se recogen los resultados de las comparaciones por
pares.
Tabla 3Estadística descriptiva (Media (M) y Desviación típica (DT)), el valor de F y el tamaño
del efecto en las puntuaciones de calidad textual por nivel educativo
Nota Los valores con los mismos superíndices son diferentes significativamente en p < .05;
*** p< .001.
La figura 1 muestra las puntuaciones de la calidad textual por nivel educativo. En todos los
criterios, los participantes de Educación Superior obtuvieron medias superiores a
los otros grupos. Las puntuaciones en Secundaria son también de media más altas que
las que reciben los estudiantes de Primaria. Se observa una baja variabilidad en todos
los niveles educativos, aunque es algo superior en Primaria.
Figura 1Distribución de las puntuaciones de calidad textual por nivel educativo
Los resultados de las pruebas post-hoc indicaron que los alumnos de Primaria reciben puntuaciones significativamente más
bajas que los de Secundaria sólo en organización (p<.001; d=0.69), impacto (p<.001; d=0.54) y puntuación global (p<.001; d=0.55), y que los de Educación Superior en todos los aspectos evaluados (contenido:
p<.001; d=0.91; organización: p<.001; d=1.30; cohesión: p<.001; d=0.93; vocabulario: p<.001; d=0.76; corrección: p<.001; d=0.94; impacto: p<.001; d=1.10; puntuación global: p<.001; d=0.85). Los estudiantes de Secundaria reciben también puntuaciones significativamente
más bajas que los estudiantes universitarios en todos los criterios (contenido: p<.001; d=0.61; organización: p<.001; d=1.30; cohesión: p<.001; d=0.66; vocabulario: p<.05; d=0.44; corrección: p<.001; d=0.64; impacto: p<.01; d=0.56), pero no en puntuación global.
Uso de indicadores lingüísticos de calidad textual por nivel educativo
El nivel educativo tuvo un efecto significativo en la mayoría de los indicadores lingüísticos,
con tamaños del efecto entre pequeño y mediano En la tabla 4 se muestra la estadística descriptiva, el valor de F, y el tamaño del efecto. También se recogen los resultados de las comparaciones por
pares.
Tabla 4Estadística descriptiva (Media (M) y Desviación típica (DT)), el valor de F y el tamaño
del efecto en los indicadores lingüísticos
Nota Los valores con los mismos superíndices son diferentes significativamente en p<.05;
** p<.01;
*** p<.001.
La figura 2 muestra el uso de los indicadores por nivel educativo. Se observa que la longitud
de los textos aumenta progresivamente con el nivel educativo. Además, en prácticamente
todos los indicadores, los estudiantes universitarios muestran un desempeño superior
que los grupos más jóvenes, a excepción de conectores sintácticos, donde se observa
el comportamiento contrario: los estudiantes de Primaria producen una mayor cantidad
de conectores que los grupos de estudiantes mayores. Asimismo, el desempeño de los
estudiantes de Primaria presenta mayor variabilidad que el observado en los estudiantes
de Secundaria y Educación Superior en todas las medidas analizadas.
Figura 2Distribución de los indicadores lingüísticos por nivel educativo
Los resultados de las pruebas post-hoc indican que el número de palabras aumenta significativamente con el nivel educativo
(pri vs. sec: p<.001; d=1.86; pri vs. uni: p<.001; d=2.68; sec vs. uni: p<.001; d=0.82).
En relación con el uso de conectores, los estudiantes de Primaria y Secundaria produjeron
significativamente una mayor proporción de conectores que los universitarios (pri
vs. uni: p<.001; d=0.77; sec vs. uni: p<.01; d=0.53), mientras que las diferencias entre los grupos de Primaria y Secundaria no
resultaron significativas. A diferencia de lo observado en los conectores sintácticos,
no se encontró un efecto significativo del nivel educativo en el uso de marcadores
discursivos, lo que indica que la proporción de marcadores no cambia con la edad.
En el caso de las medidas léxicas, se observa que la diversidad léxica aumenta con
la edad, siendo las diferencias sólo significativas entre los estudiantes de Primaria
y de Secundaria (p<.05; d=0.55). Por su parte, la longitud media de palabra aumentó significativamente con
el nivel educativo (pri vs. sec: p<.001; d=1.67; pri vs. uni: p<.001; d=2.32; sec vs. uni: p<.001; d=0.64). Por último, la densidad léxica no se vio afectada por el nivel educativo,
manteniéndose estable en los distintos grupos.
Relación entre la evaluación de la calidad textual y los indicadores lingüísticos
La relación entre las valoraciones de calidad textual (criterios analíticos y evaluación
global) y los indicadores lingüísticos es distinta en cada nivel educativo. Con excepción
de las puntuaciones de corrección, que no muestran una correlación significativa con
ninguno de los recursos en ningún grupo, las demás puntuaciones se relacionan con
algunos de ellos al menos en un nivel educativo. Las figuras 3, 4 y 5 recogen los resultados de correlación en cada nivel. A partir de las correlaciones
observadas, se pusieron a prueba distintos modelos de regresión para cada una de las
evaluaciones en cada grupo.
A excepción de la puntuación de corrección, en Primaria se dan correlaciones significativas
entre al menos uno de los recursos y las puntuaciones otorgadas. El número de palabras
correlaciona significativamente de forma positiva con las puntuaciones de la mayoría
de los criterios de calidad textual, así como con la evaluación global, lo que sugiere
que los textos más largos obtienen puntuaciones más altas.
Figura 3Correlación entre las puntuaciones y los indicadores lingüísticos en Educación Primaria
De hecho, en relación con la puntuación global, el único indicador que correlacionó
de forma significativa fue número de palabras (r=.583), por lo que el modelo puesto a prueba incluyó sólo la productividad como variable
predictiva. El modelo, que resultó significativo, F(1.63)=32.466; R2=.331; p<.001, permite explicar el 33.10% de la puntuación global. El número de palabras contribuyó
significativamente y de forma positiva al modelo (β=0.583; p<.001).
En el caso del criterio de contenido, además de correlacionar de forma significativa
con el número de palabras (r=.569), lo hace también con la diversidad léxica (r=.335). Así, el modelo de regresión incluyó ambos recursos como variables predictivas.
En este caso, el modelo también resultó significativo, F(2.61)=17.929; R2=.350; p<.001, y explica el 35% de las puntuaciones. Tanto la diversidad léxica (β=0.267) como el número de palabras (β=0.512) contribuyeron de forma positiva al modelo (p<.05).
En lo referido a la organización, sólo el número de palabras correlaciona significativamente
(r=.530). Este modelo, que también resultó significativo, F(1. 63)=24.674; R2=.281; p<.001, explica el 28.1% de la varianza. El número de palabras contribuyó significativamente
y de forma positiva al modelo (β=0.530; p<.001).
En lo relativo a las puntuaciones de cohesión, éstas correlacionan significativamente
sólo con la proporción de marcadores (r=.277). El modelo resultó significativo, F(1.63)=5.237; R2=.062; p<.025, explicando el 6.2% de la variabilidad de las puntuaciones de cohesión. La proporción
de marcadores contribuyó de forma significativa al modelo (β=0.277; p=.025).
Respecto al vocabulario, se dan dos correlaciones significativas: el número de palabras
(r=.372) y la proporción de marcadores (r=.316). En este caso el modelo también resultó significativo, F(2.63)=5.280; R2=.118; p=.008, y explica el 11.8% de la variabilidad de las puntuaciones, pero sólo el número
de palabras contribuyó de manera significativa (β=0.361; p=.003).
Por último, las puntuaciones otorgadas al impacto comunicativo correlacionan sólo
con el número de palabras (r=.386). El modelo testado resultó significativo, F(1.63)=11.008; R2=.149; p=.002, y explica el 14.9% de la variabilidad de las puntuaciones. El número de palabras
contribuyó significativamente al modelo (β=0.386; p=.002).
En Secundaria se observaron menos correlaciones entre los recursos lingüísticos y
las distintas puntuaciones de calidad textual. Así, sólo se encontró correlaciones
significativas con la puntuación global y con las puntuaciones en los criterios de
contenido y vocabulario.
Figura 4Correlación entre las puntuaciones y los indicadores lingüísticos en Educación Secundaria
En relación con la puntuación global, al igual que en Primaria sólo el número de palabras
correlaciona con esta variable (r=.251). El modelo puesto a prueba resultó también significativo, F(1.76)=5.123; R2=.051; p=.026, pero en este caso explica el 5.10% de la varianza. El número de palabras contribuyó
significativamente al modelo (β=0.251; p<.026).
Respecto a las puntuaciones otorgadas al contenido, estas correlacionan significativamente
con todos los indicadores léxicos: diversidad léxica (r=.297), densidad léxica (r=.297) y longitud media de palabra (r=.248). El modelo resultó significativo, F(3.74)=3.420; R2=.086; p<.001, y explica el 8.6% de la variabilidad de las puntuaciones de contenido, a pesar
de que ninguno de estos indicadores contribuyó de forma significativa al modelo.
Finalmente, las puntuaciones de vocabulario correlacionan significativamente con el
número de palabras (r=.281). El modelo puesto a prueba resultó significativo, F(1.76)=6.512; R2=,067; p<.013, y permite explicar el 6,7% de la variabilidad de las puntuaciones. El número
de palabras contribuyó de forma significativa al modelo (β=0.281; p=.013).
De manera similar a lo observado en Secundaria, en Educación Superior se dan menos
correlaciones significativas entre los recursos lingüísticos y las puntuaciones de
calidad textual. En este caso se observaron correlaciones significativas en la puntuación
global y las puntuaciones de contenido, organización e impacto. A diferencia de lo
identificado en los grupos de menor edad, en Educación Superior el número de palabras
no correlacionó significativamente con ninguna de las puntuaciones.
Figura 5Correlación entre las puntuaciones y los indicadores lingüísticos en Educación Superior
En relación con la puntuación global, la única correlación significativa se dio con
la proporción de marcadores discursivos y en un sentido negativo (r=-.298). El modelo resultó significativo, F(1.67)=6.508; R2=.089; p=.013, explicando el 8.90% de las puntuaciones globales. En este caso, la proporción
de marcadores contribuyó negativamente al modelo (β=-0.298; p=.013).
En el caso de las puntuaciones de contenido, estas correlacionaron también de forma
negativa con la proporción de marcadores (r=-.271). El modelo puesto a prueba resultó significativo, F(1.67)=5.329; R2=.074; p<.001, y permite explicar el 7.4% de la variabilidad de las puntuaciones de contenido.
La proporción de marcadores contribuyó de manera negativa al modelo (β=-0.271, p=.024).
En lo relativo a las puntuaciones de organización, se observó correlación negativa
con la proporción de marcadores (r=-293) y correlación positiva con la densidad léxica (r=.332). El modelo resultó también significativo, F(2. 66)=6.122; R2=.156; p<.004, y explica el 15.6% de la variabilidad en las puntuaciones de organización.
Tanto la densidad léxica (β=0.275) como la proporción de marcadores (β=-0.222) contribuyeron significativamente al modelo (p<.05), aunque en sentidos opuestos: la densidad tuvo un efecto positivo y la proporción
de marcadores, negativo.
Por último, en relación con las puntuaciones otorgadas al impacto comunicativo, se
observó de nuevo una correlación negativa con la proporción de marcadores (r=-.273). El modelo, que resultó significativo, F(2.63)=7.333; R2=.118; p<.008, explica el 11.8% de la variabilidad. Una vez más, la proporción de marcadores
contribuyó de forma negativa al modelo (β=-0.273; p=.023).
Discusión
En este estudio se ha analizado la calidad de textos analíticos escritos por alumnos
de Primaria, Secundaria y Educación Superior, examinando, por una parte, las valoraciones
de calidad realizadas por docentes expertos de los niveles educativos examinados y,
por otra, el desarrollo de un conjunto de indicadores lingüísticos de calidad según
el nivel educativo. Además, se ha analizado la relación entre ambas formas de evaluación,
lo que ha permitido identificar cuáles de estos indicadores explican mejor las evaluaciones
de los docentes.
Con respecto al primer objetivo, centrado en examinar la variación en las evaluaciones
de docentes, los resultados indican que los textos mejor valorados son los producidos
por estudiantes universitarios, con la única excepción de la puntuación global, para
la que no se observaron diferencias significativas entre Secundaria y Educación Superior.
Esto podría indicar que, si bien los escritos de los estudiantes universitarios destacan
en aspectos lingüísticos y textuales específicos, en la valoración global de la calidad
textual los docentes priorizan aspectos más generales, como la claridad o la coherencia.
Alternativamente, podríamos interpretar que los docentes adaptan sus expectativas
y, por tanto, sus valoraciones al nivel educativo que evalúan en cada caso (; ). Por su parte, los escritos de los estudiantes de Primaria y Secundaria obtuvieron
valoraciones similares en la mayoría de los aspectos evaluados, excepto en impacto,
organización y puntuación global, donde los estudiantes de Primaria recibieron valoraciones
más bajas que los de Secundaria. Ello podría sugerir que ciertos aspectos macroestructurales
y retóricos propios del tipo de texto empiezan a valorarse especialmente a partir
de Secundaria, cuando los textos empiezan a mostrar características propias de tipologías
textuales como la expositiva, diferenciándose los recursos usados en su producción
de los propios de géneros evolutivamente más tempranos como el narrativo (; ).
En relación con nuestro segundo objetivo, analizar el desarrollo de un conjunto de
indicadores lingüísticos de calidad textual, los resultados arrojan diferencias por
nivel educativo en prácticamente todos los recursos estudiados, aunque con patrones
de desarrollo distintos en cada recurso. En línea con lo observado en estudios previos,
los estudiantes de niveles educativos más altos producen textos más largos y utilizan
un vocabulario más sofisticado y diverso. Ello supondría evidencia adicional de cómo
la cantidad de texto producido, la diversidad léxica y la sofisticación léxica, entendida
también en estudios previos como el uso de palabras más largas, son indicadores de
desarrollo académico (; ; ). A pesar del aumento de la productividad y del uso de vocabulario más sofisticado
y diverso que se da con el nivel educativo, la densidad léxica se mantiene estable.
Este resultado está atestiguado en estudios anteriores en español (; ; ) y catalán (), pero se opone a lo observado en inglés, hebreo o sueco (; ); ello podría apuntar a tendencias evolutivas distintas en función de diferencias
tipológicas entre lenguas () que realizan un uso más o menos extensivo de palabras función (independientes) o
morfemas gramaticales (ligados).
En el caso de los mecanismos de conectividad, se han identificado patrones de desarrollo
diferentes. Así, mientras que la proporción de marcadores discursivos es equivalente
en los niveles educativos, la proporción de conectores sintácticos sí disminuye con
la edad. Estos resultados, que amplían la tendencia evolutiva hallada en un trabajo
paralelo en catalán (), pueden deberse a razones complementarias. Por una parte, la disminución de conectores
sintácticos que se observa en los universitarios coincide con la idea que sugieren
de que la cohesión no siempre se obtiene mediante la profusión de conectores. Así,
el reajuste a la baja observado y/o la ausencia de diferencias podrían estar señalando
el uso de mecanismos alternativos por parte de los universitarios. De hecho, el carácter
no obligatorio de los marcadores discursivos, que constituyen una de las opciones
retóricas de las que disponen los escritores, podría explicar este comportamiento.
Ello también podría deberse a que en este estudio no se distinguió entre las diferentes
funciones discursivas (p.ej., de estructuración o modalización) que desempeñan estos
marcadores y que podrían mostrar diferencias entre los grupos de edad (). Tampoco se analizaron los marcadores “no convencionales”, esto es, unidades multipalabra
que, a pesar de desempeñar las mismas funciones que los marcadores discursivos tradicionales,
no son considerados como tales (; ). Tampoco se identificaron los usos no canónicos de las marcas analizadas, es decir,
usos gramatical o semánticamente inadecuados en el contexto discursivo.
Con respecto al tercer objetivo, identificar qué recursos lingüísticos explican cómo
varían las evaluaciones docentes de la calidad textual, los resultados arrojan diferencias
según el nivel. En Primaria, la extensión del texto es el indicador de calidad textual
por excelencia, pues permite explicar variaciones en las puntuaciones de todos los
aspectos evaluados, con excepción de la corrección. Este resultado, en línea con trabajos
previos (; ), sugiere que el aumento de la longitud de los textos implica el despliegue de otros
recursos lingüísticos que permiten a los escritores elaborar una argumentación y un
razonamiento más precisos. En este nivel educativo se ha identificado también una
asociación positiva entre la diversidad léxica y el contenido de los textos, que sugiere
que el uso de un vocabulario variado implica que los escritores abordan el tema con
más profundidad. Además, a medida que los escritores incorporan más marcadores discursivos
en sus textos, mejoran sus puntuaciones en vocabulario y cohesión, de modo que nuestros
resultados corroboran que los textos mejor cohesionados son los que reciben mejores
evaluaciones (). El uso de marcadores discursivos, sin embargo, no se asocia con las puntuaciones
de organización; esto podría sugerir que los docentes valoran la función de cohesión
de los marcadores, pero no su papel integral en la organización global del texto.
Sorprende también que el uso de conectores sintácticos, que por definición contribuyen
a la cohesión textual (), no se asocie con las puntaciones de cohesión u organización. Estos resultados apuntarían
a la necesidad de incorporar en futuros trabajos criterios funcionales que permitan
una discusión más orgánica del valor discursivo de estas marcas ().
En Secundaria se da un panorama similar en cuanto a la relación entre longitud del
texto y evaluaciones de los docentes pues, a medida que aumenta la extensión del texto,
aumentan tanto las puntuaciones de contenido y vocabulario como la puntuación global.
Este resultado apunta a que la productividad continúa siendo determinante en la evaluación
de la calidad textual en este nivel educativo (; ). También en este nivel todas las medidas léxicas se asocian positivamente con las
puntuaciones de contenido y, en el caso de la diversidad, va incluso más allá, influyendo
también en la puntuación global. Parece, pues, que el repertorio léxico de los escritores
cobra especial relevancia en la evaluación de la calidad textual en este nivel. Ni
el uso de marcadores ni el uso de conectores se asocian con las puntuaciones otorgadas
por los docentes, lo que confirma la conveniencia de profundizar en futuros trabajos
en la descripción de estos mecanismos de conexión atendiendo a criterios funcionales.
En Educación Superior, en cambio, la productividad no se asocia directamente con las
evaluaciones de los docentes. Esto sugiere que una vez alcanzada una extensión mínima
que permite articular la argumentación del propio punto de vista requerida por el
texto, los jueces pueden comenzar a centrarse en aspectos más allá de la longitud
para determinar la calidad del escrito. Además, sorprendentemente, una mayor producción
de marcadores discursivos se asocia negativamente con la mayoría de las puntuaciones
de calidad textual; este resultado nos lleva a hipotetizar que algunos de los marcadores
producidos resultan semántica o discursivamente inadecuados. Estos usos no canónicos
a los que ya referíamos más arriba (; ) merecen, sin duda, un análisis pormenorizado en próximos estudios. En este nivel
educativo se identifica también una asociación positiva entre densidad léxica y organización
de los textos, lo cual parece indicar que la organización se ve favorecida por el
aumento de la densidad informativa ().
Así pues, los docentes no parecen aplicar los mismos criterios en todos los niveles
educativos, si bien aspectos como la productividad y la diversidad léxica, se mantienen
como constantes en la evaluación que realizan de los textos en Educación Primaria
y Secundaria.
Uno de nuestros propósitos para futuros estudios es abordar de forma más exhaustiva
la descripción de la naturaleza de los marcadores discursivos empleados en los textos.
Esta descripción nos permitiría comprender adecuadamente cuáles son los desajustes
entre las formas empleadas y las funciones que desempeñan en el contexto en que se
producen, en la línea de los trabajos de y . Además, nos parece oportuno que docentes evalúen textos de diferentes niveles educativos,
en lugar de ceñirse a textos del nivel educativo en el que imparten docencia. Este
enfoque permitiría entender cómo las percepciones sobre la calidad textual pueden
variar según la experiencia y el contexto educativo de cada docente. Igualmente, tal
estudio podría proporcionar información valiosa para el diseño e implementación de
estrategias didácticas para la enseñanza de la lengua escrita.
Conclusiones
Este estudio confirma que la calidad de los textos académicos escritos evoluciona
con el nivel educativo, tanto en el uso de recursos lingüísticos como en la evaluación
docente. La productividad y la diversidad léxica resultan los indicadores más relevantes
en Primaria y Secundaria, mientras que en Educación Superior el uso inadecuado de
los marcadores discursivos puede afectar negativamente a la percepción de la calidad.
Estos resultados subrayan la necesidad de desarrollar instrumentos de evaluación adaptados
al nivel educativo y de profundizar en el análisis funcional de los recursos lingüísticos
utilizados, sobre todo en los niveles más avanzados.
Contribución de las autoras
Rocío Cuberos-Vicente: Análisis formal; Conceptualización; Curación de datos; Escritura - borrador original;
Escritura - revisión y edición; Investigación; Metodología; Recursos; Supervisión;
Validación; Visualización; Adquisición de fondos.
Elisa Rosado: Administración del proyecto; Conceptualización; Escritura - borrador original; Escritura
- revisión y edición; Investigación; Metodología; Recursos; Supervisión; Validación.
Melina Aparici: Administración del proyecto; Conceptualización; Escritura - revisión y edición; Investigación;
Metodología; Recursos; Supervisión; Validación; Adquisición de fondos.
Financiación
Este estudio ha sido financiado por el Ministerio de Ciencia, Innovación y Universidades
(PID2020-119555GA-I00; I.P.: M. Aparici) y por la beca postdoctoral Margarita Salas
otorgada a Rocío Cuberos-Vicente por la Universidad de Barcelona y financiada por
Next Generation EU y el Ministerio de Universidades.
Declaración
Una versión previa de este estudio se presentó en el XXXIII Congreso Internacional
de la Asociación Española de Logopedia, Foniatría y Audiología e Iberoamericana de
Fonoaudiología celebrado en Santander del 28 al 30 de septiembre diciembre de 2023.
El resumen de la comunicación fue publicado en el volumen extraordinario 43(1) de
la Revista de Logopedia, Foniatría y Audiología. https://doi.org/10.1016/j.rlfa.2023.100372.
Referencias
1
Alonso-Chacón, P. J. (2019). Uso de marcadores discursivos en el discurso académico oral y escrito de estudiantes
universitarios costarricenses [Tesis doctoral, Universitat de Barcelona]. https://hdl.handle.net/2445/151342
2
Aparici, M. (2010). El desarrollo de la conectividad discursiva en diferentes géneros y modalidades de
producción [Tesis doctoral, Universitat de Barcelona].
3
Aparici, M., Cuberos, R., Salas, N., & Rosado, E. (2021). Linguistic indicators of
text quality in analytical texts: developmental changes and sensitivity to pedagogical
work. Journal for the Study of Education and Development, 44(1), 9-46. https://doi.org/10.1080/02103702.2020.1848093
4
Aparici, M., Rosado, E., Vilar, H., Cuberos, R., & Tolchinsky, L. (2024). The influence
of students’ linguistic condition, school level, and pedagogical input on analytical
essay features. Frontiers in Language Sciences, 3, 1480422. https://doi.org/10.3389/flang.2024.1480422
5
Berman, R. A., & Nir-Sagiv, B. (2010). The lexicon in writing–speech–differentiation.
Developmental perspectives. Written Language and Literacy, 13(2), 183-205. https://doi.org/10.1075/wll.13.2.01ber
6
Berman, R. A., & Slobin, D. I. (1994). Relating events in narrative: A crosslinguistic developmental study. Erlbaum. https://doi.org/10.4324/9780203773512
7
Berman, R. A., & Verhoeven, L. (2002). Cross-linguistic perspectives on the development
of text production abilities: Speech and writing. Written Language and Literacy, 5(2), 1-43. https://doi.org/10.1075/wll.5.1.02ber
Crossley, S. A., & McNamara, D. S. (2010). Cohesion, coherence, and expert evaluations
of writing proficiency. En S. Ohlsson y R. Catrambone (Eds.), Proceedings of the 32nd Annual Conference of the Cognitive Science Society (pp. 984-989). Cognitive Science Society. https://escholarship.org/uc/item/6n5908qx
10
Crossley, S. A., Weston, J., McLain-Sullivan, S. T., & McNamara, D. S. (2011). The
development of writing proficiency as a function of grade level: A linguistic analysis.
Written Communication, 28(3), 282-311. https://doi.org/10.1177/0741088311410188
Cuenca, M. J. (2013). The fuzzy boundaries between discourse marking and modal marking.
En L. Degand, B. Cornillie y P. Pietrandrea (Eds.), Discourse markers and modal particles. Categorization and description (pp. 181-216). John Benjamins. https://doi.org/10.1075/pbns.234
13
Field, A. (2009). Discovering statistics using SPSS (and sex and drugs and rock'n'roll) (3ª Ed.). SAGE Publications.
14
Galiana-Bea, P., Gras-Manzano, P., Rosado, E., & Mañas-Navarrete, I. (2024). Marcadores
discursivos y otros mecanismos de marcación discursiva. Una propuesta holística para
el análisis de narraciones orales en español como lengua extranjera. Rilce, 40(3), 937-69. https://doi.org/10.15581/008.40.3.937-69
Johansson, V. (2009). Lexical diversity and lexical density in speech and writing:
A developmental perspective. Working Papers Lund University, 53, 61-79. https://journals.lub.lu.se/LWPL/article/view/2273
18
Llauradó, A., & Tolchinsky, L. (2013). Growth of text-embedded lexicon in Catalan:
From childhood to adolescence. First Language, 33(6), 628-653. https://doi.org/10.1177/0142723713508861
19
López-Ferrero, C., & Atienza-Cerezo, E. (2006). Las conjunciones paratácticas en el
Corpus 92. En E. Bernal y J. A. DeCesaris (Eds.), Palabra por palabra: estudios ofrecidos a Paz Battaner (pp. 147-160). Universitat Pompeu Fabra, Institut Universitari de Lingüística Aplicada.
http://hdl.handle.net/10230/23683
20
MacWhinney, B. (2000). The CHILDES Project: Tools for analyzing talk (3ª Ed.). Erlbaum.
21
Malvern, D., Richards, B., Chipere, N., & Durán, P. (2004). Lexical diversity and language development. Quantification and assessment. Palgrave MacMillan. https://doi.org/10.1057/9780230511804
22
Martín-Zorraquino, M. A., & Portolés-Lázaro, J. (1999). Los marcadores del discurso.
En I. Bosque, & V. Demonte (Eds.), Gramática descriptiva de la lengua española (Vol. 3, pp. 4051-4213). Espasa Calpe.
23
McMaster, K., & Espin, C. (2007). Technical features of curriculum–based measurement
in writing. The Journal of Special Education, 41(2), 68-84. https://doi.org/10.1177/00224669070410020301
24
McNamara, D. S., Crossley, S. A., & McCarthy, P. (2010). Linguistic features of writing
quality. Written Communication, 27(1), 57-86. https://doi.org/10.1177/0741088309351547
25
Rosado, E., Mañas-Navarrete, I., Yúfera-Gómez, I., & Aparici-Aznar, M. (2021). El
desarrollo de la escritura analítica: aprender a enlazar la información, aprender
a posicionarse. Pensamiento Educativo, 58, 1-18. https://doi.org/10.7764/PEL.58.2.2021.10
26
Salas, N., Llauradó, A., Castillo, C., Taulé, M., & Martí, M. A. (2016). Linguistic
correlates of text quality from childhood to adulthood. En J. Perera, M. Aparici,
E. Rosado, & N. Salas (Eds.), Written and spoken language development across the lifespan. Essays in honour of Liliana
Tolchinsky (pp. 307-326). Springer. https://doi.org/10.1007/978-3-319-21136-7_18
27
Schleppegrell, M. J. (2004). The language of schooling. a functional linguistics perspective. Lawrence Erlbaum. https://doi.org/10.4324/9781410610317
Strömqvist, S., Johansson, V., Kriz, S., Ragnarsdóttir, H., Aisenman, R., & Ravid,
D. (2002). Toward a cross-linguistic comparison of lexical quanta in speech and writing.
Written Language and Literacy, 5(1), 45-67. https://doi.org/10.1075/wll.5.1.03str
30
Tolchinsky, L., Aparici-Aznar, M., & Rosado, E. (2017). Escribir para pensar y persuadir.
Textos de Didáctica de la Lengua y la Literatura, 76, 14-21. https://hdl.handle.net/2445/122119
31
Tolchinsky, L., Aparici, M., & Vilar, H. (2021). Macro– and micro–developmental changes
in analytical writing of bilinguals from elementary to higher education. International Journal of Bilingual Education and Bilingualism, 25(7), 2511-2526. https://doi.org/10.1080/13670050.2021.1923643
32
Tolchinsky, L., Rosado, E., & Aparici, M. (2023). Internal and external appraisals
of analytical writing. A proposal for assessing development and potential improvement.
International Review of Applied Linguistics in Language Teaching, 62, 5-36. https://doi.org/10.1515/iral-2023-0012
Uccelli, P. (2023). Midadolescents’ language learning at school: Toward more just
and scientifically rigorous practices in research and education. Language Learning, 73(2), 182-221. https://doi.org/10.1111/lang.12558
35
Uccelli, P., Deng, Z., Phillips-Galloway, E. P., & Qin, W. (2019). The role of language
skills in midadolescents’ science summaries. Journal of Literacy Research, 51(3), 357-380. https://doi.org/10.1177/1086296X19860206
36
Uccelli, P., Dobbs, C. L., & Scott, J. (2012). Mastering academic language: organization
and stance in the persuasive writing of high school students. Written Communication, 30(1), 36-62. https://doi.org/10.1177/0741088312469013
