Modernización de bioestadística en la ecología: ¿Qué cambios ocurrieron en los últimos 20 años?
Modernization of biostatistics in ecology: What changes have occurred in the last 20 years?
Kazuya Naoki
Instituto de Ecología, Carrera de Biología, Facultad de Ciencias Puras y Naturales, Universidad Mayor de San Andrés, Calle 27 y Andrés Bello s/n Cota Cota, 10077— Correo Central, La Paz, Bolivia.
*Autor de correspondencia: knaoki@fcpn.edu.bo
]]>
"... our use and understanding of statistics has changed substantially over the last decade or so. Many contemporary papers in major ecological journals use statistical techniques that were little known (or not yet invented) a decade or two ago." (Sosa et al. 2015)
La bioestadística es una rama de la estadística que abarca desde el diseño de experimentos biológicos hasta la descripción y la interpretación de sus resultados. Los sistemas ecológicos son extraordinariamente complejos, y numerosos procesos interactúan y afectan en múltiples niveles, dificultando la descripción de patrones y la formación de teorías y leyes universales. Además, el muestreo en la ecología tiende a ser reducido por el elevado costo de muestreo y el tamaño poblacional infinitamente grande (Sosa et al. 2015). Así, para separar la esencia de los datos de los ruidos provenientes de su complejidad e incompleto muestreo y describir los patrones ecológicos, es indispensable analizar los datos por medio de la inferencia estadística (Oksanen 2001).
Según los textos más populares de bioestadística como "Biometry" (Sokal & Rohlf 2011) y "Biostatistical Analyses" (Zar 2010), la bioestadística está basada en el método de la prueba de hipótesis nula (o con la sigla NHST desglosada en inglés: null hypothesis significance testing). En el NHST, los ecólogos no prueban directamente la hipótesis que están estudiando; sino establecen una hipótesis nula, la cual es la opuesta de la hipótesis de interés, y tratan de probar la hipótesis de interés mediante el rechazo de la hipótesis nula. La decisión de rechazar o mantener la hipótesis nula se establece comparando el valor de P y el nivel de significancia. El valor de P se define como la probabilidad de que un valor estadístico sea posible en una muestra dado que una hipótesis nula es verdadera en una población y se calcula por medio de la distribución de la probabilidad muestral (p.e. distribución F). El nivel de significancia (α) es un umbral de probabilidad, bajo el cual se rechaza la hipótesis nula, y los valores más comunes son 0.05 y 0.01.
El NHST fue desarrollado en el inicio del siglo XX por Fisher (1925) y fundamentado por Neyman & Pearson (1933). El NHST sufre varios problemas fundamentales, especialmente su limitación por la decisión dicotómica para rechazar o mantener la hipótesis nula basada en el valor de P (Stephens et al. 2007). Su crítica inició justo después del desarrollo del NHST y continua hasta ahora (hay más de 400 artículos que han criticado el NHST, incluyendo lo reciente, Wasserstein et al. 2019). A pesar de las numerosas críticas al NHST, no hubo un método alternativo viable hasta fines del siglo XX, cuando se propusieron la inferencia basada en el tamaño del efecto (effect size statistics, Rosenthal & Rubin 1994) y posteriormente en el intervalo de confianza (neoFisherian significance assessments, NFSA, Hurlbert & Lombardi 2009), la selección del modelo por el criterio de información (Burnham & Anderson 1998, Anderson et al. 2000) y la inferencia bayesiana (Dennis 1996, Ellison 1996, Lunn et al. 2000). En los 2000s, varios bioestadísticos y ecólogos sugirieron el uso de estos métodos estadísticos alternativos (p.e. Anderson et al. 2000, Johnson & Omland 2004, Stephens et al. 2005, Hobbs & Hilborn 2006); sin embargo, se conoce poco sobre cuán ampliamente estos métodos han sido incorporados en los estudios ecológicos (pero ver Touchon & McCoy 2016). El objetivo de este editorial es analizar los cambios de los análisis estadísticos utilizados en la ecología a nivel mundial en los últimos 20 años y sugerir la dirección que las investigaciones ecológicas y la educación universitaria deben tomar en Bolivia.
Para visualizar los cambios en los análisis estadísticos de datos en el campo de ecología, se revisaron 300 artículos publicados en 10 revistas científicas (Ecology Letters, Global Change Biology, Ecological Monographs, Journal of Applied Ecology, Journal of Ecology, Global Ecology and Biogeography, Functional Ecology, Ecography, Ecology y Journal of Animal Ecology), las cuales están entre las 20 revistas de ecología con mayor índice de impacto (https://conservationbytes.com/2018/08/27/journal-ranks-2017) y publican principalmente los resultados de investigaciones, no solamente los artículos de revisión. Se seleccionaron 30 artículos de cada revista, 15 publicados en 1999-2000 y 15 en 2019-2020. Estos artículos son entre los más citados según la búsqueda en Google Académico (https://scholar.google.com/) y se puede acceder a ellos fácilmente.
Se revisaron tres aspectos acerca de los análisis estadísticos en cada artículo: 1) el método estadístico, 2) las pruebas estadísticas aplicadas y 3) el programa de computadora utilizado. Para el primer aspecto, se consideraron cuatro tipos de métodos estadísticos: a. la prueba de hipótesis nula (NHST) y sus tres alternativas, b. la inferencia basada en el tamaño del efecto (NFSA), c. la selección del modelo por el criterio de información y d. la inferencia bayesiana. Cuando se trató de un estudio descriptivo y no aplicó ningún análisis estadístico, no se lo consideró en los análisis. Cuando un artículo utilizó más de un método, se anotaron ambos; así, la suma del porcentaje de todas las opciones podía sobrepasar el 100%. Para la prueba estadística, se anotaron todas las pruebas aplicadas en cada artículo, las cuales fueron agrupados en a. los modelos lineales (ANOVA, regresión, ANCOVA), b. las pruebas no lineales que se enseñan en los cursos de bioestadística en el nivel de pregrado (correlación, análisis de frecuencia, pruebas no paramétricas), c. los modelos lineales extendidos como los modelos lineales generalizados (GLMs), los modelos lineales mixtos (MMs) y los modelos lineales generalizados de efectos mixtos (GLMMs), d. las pruebas multivariantes y e. otras pruebas (la mayoría son los análisis utilizados principalmente para la ecología como la estimación poblacional por muestreo de distancia o por captura-recaptura, el patrón de comunidad por modelo nulo, el análisis de patrones espaciales). Para el programa de computadora, se anotaron todos los programas utilizados para realizar el análisis estadístico en cada artículo, los cuales fueron agrupados después en: a. los programas estadísticos utilizados ampliamente sin necesidad de programación (p.e. SPSS, SYSTAT, Statistica), b. los programas especializados para los análisis ecológicos (p.e. CANOCO, MARK, DISTANCE) y c. las plataformas de programación (p.e. R, Python, SAS).
Los cambios durante los 20 años se analizaron estadísticamente por los modelos lineales generalizados (GLMs) con la distribución de Poisson y la función de enlace logarítmica, considerando las épocas (los años 1999-2000 vs 2019-2020); las categorías en el método, las pruebas y el programa, y sus interacciones como las variables independientes; y el número de artículos en cada época y categoría como la variable dependiente. Se compararon el modelo con la interacción y el modelo sin interacción por el criterio de información de Akaike con la corrección para muestras pequeñas (AICc). Si el modelo con la interacción fue mejor que el modelo sin interacción (delta AICc > 2 ~ 10, Burnham & Anderson 2002), se consideró que los aspectos de la estadística cambiaron entre las dos épocas (Faraway 2016).
Hace 20 años (1999-2000), el 96% de artículos publicados en las revistas de ecología, se basaba en la prueba de hipótesis nula (NHST) (Fig. 1a), el 67% de pruebas estadísticas utilizadas fue los modelos lineales (ANOVA, regresión y ANCOVA; 58%) y otras pruebas típicamente enseñadas en los cursos de bioestadística en el nivel pregrado (la correlación, el análisis de frecuencia y pruebas no paramétricas; 19%) (Fig. 1c) y el 40% de los análisis fue realizado por las programas estadísticas comerciales, en los cuales no se requiere la programación (SPSS 14%, SYSTAT 8%), el 36% fue por las plataformas de programación (SAS 34%) y el 32% por los programas especializados para cierto análisis ecológico (CANOCO 12%) (Fig. 1e).
]]> Esto ha cambiado drásticamente por los últimos 20 años: el uso de NHST se redujo a la mitad (53%), e incrementaron la selección del modelo por el criterio de información (36%), NFSA(15%) y la inferencia bayesiana (10%) (Fig. 1b, ΔAICc sin interacción = 235). Los modelos lineales como los ANOVAs y regresiones fueron sustituidos por los modelos lineales extendidos como los GLMs y MMs (62%) (Fig. 1d, ΔAICc sin interacción = 301). Se redujeron también los análisis simples como la correlación y las pruebas no paramétricas mientras se mantuvo la aplicación de los análisis multivariantes. La gran mayoría de estos análisis son realizados por las plataformas de programación (86%) (Fig. 1f ΔAICc sin interacción = 196), principalmente por el lenguaje de programación R (83%) y sus paquetes, con los cuales se pueden realizar los análisis ecológicos sin utilizar los programas especializados.En resumen, los cambios principales en los análisis estadísticos en el campo de ecología desde los 1999-2000 a los 2019-2020 fueron 1) el incremento del uso de los modelos lineales extendidos como los GLMs, MMs, GLMMs, 2) la diversificación de los métodos estadísticos desde el NHST a la selección del modelo, la inferencia bayesiana y el NFSA y 3) el uso prominente del lenguaje de R para realizar estos análisis (Touchon & McCoy 2016, Lai et al. 2019). El incremento de los GLM(M)s está parcialmente relacionado a las características de los datos comunes en ecología, como los conteos (p.e. la abundancia, la riqueza de especies), la proporción (p.e. la tasa de sobrevivencia, la tasa de germinación) y el sistema binario (p.e. la presencia-ausencia, el sexo de individuo), los cuales no se distribuyen normalmente (McCoy & Bolker 2008, Buckley 2015). Anteriormente, estos datos fueron transformados por arcoseno o raíz-cuadrada, antes de ser analizados por los modelos lineales como la regresión o ANOVAs (p.e. Sokal & Rohlf 2011). En la actualidad, no se recomienda transformar estos datos, sino deben ser analizados directamente por los GLM(M)s con las distribuciones de errores apropiadas (O'Hara & Kotze 2010, Warton & Hui 2011).
Los modelos lineales generalizados (GLMs) son la generalización de los modelos lineales (LMs) y flexibilizan las limitaciones o supuestos de los LMs: 1) la distribución normal y la homogeneidad de varianzas de los residuos y 2) la relación lineal entre la variable dependiente y el predictor lineal de variables independientes (McCullagh & Nelder 1989). Esta flexibilización se realiza por medio de la distribución de errores y la función de enlace. En los GLMs, se puede asignar la distribución de errores según las características de la variable dependiente, como la distribución binomial, de Poisson o gamma; y la función de enlace permite modelar diferentes relaciones entre la variable dependiente y las independientes como logarítmica, logística o inversa (Crawley 2007, Faraway 2016).
La adopción de diversas distribuciones de errores y las relaciones no lineales dificultan la aplicación matemática (mínimos cuadrados) para estimar los parámetros y el uso de la distribución de probabilidad muestral para calcular el valor de P; así, la estimación de parámetros en los GLM(M)s se realiza por medio de la máxima verosimilitud (McCullagh & Nelder 1989). La necesidad de aplicación de GLM(M)s en la ecología y la familiarización al concepto de verosimilitud parecen haber facilitado a los ecólogos a atravesar la transición del NHST a los métodos estadísticos basados en la verosimilitud como la selección del modelo por el criterio de información y la inferencia bayesiana.
La diversificación de los métodos estadísticos en la ecología fue algo esperado (Stephens et al. 2005, Stephens et al. 2007). En la ecología, la pregunta simple con la repuesta dicotómica: ¿Si X afecta a Y? ha sido sustituida por las más cuantitativas: ¿Cómo X afecta a Y? o ¿cuánto X afecta a Y? (Symonds & Moussalli 2011, Denny & Benedetti-Cecchi 2012); así, el enfoque del NHST con solo dos hipótesis mutuamente excluyentes ha sido naturalmente reemplazado por el NFSA o la inferencia bayesiana con el énfasis en la estimación de parámetros. Aunque se puede estimar el valor de parámetros con el intervalo de incertidumbre por ambos la inferencia bayesiana y el NFSA, la inferencia bayesiana tiene la ventaja sobre el NFSA, ya que el intervalo de credibilidad en la inferencia bayesiana estima directamente la incertidumbre del valor del parámetro, mientras el intervalo de confianza en el NFSA estima la incertidumbre del valor muestral proveniente de la hipótesis nula y la distribución de probabilidad muestral (McElreath 2020). La inferencia bayesiana y la selección del modelo no son antagonistas, ya que se puede realizar la selección del modelo dentro del marco de referencia de la inferencia bayesiana, utilizando WAIC (el Criterio de Información de Watanabe-Akaike) o LOOIC (leave-one-out cross-validation information criterion) en lugar del AIC (el Criterio de Información de Akaike). De hecho, el AIC puede considerarse como el caso especial del WAIC; el AIC es igual al WAIC cuando se aplica la distribución de probabilidad a priori no-informativa (Vehtari et al. 2017).
Aunque la subjetividad de la inferencia bayesiana por la asignación de la probabilidad a priori inicialmente levantó la ceja de los científicos, el uso de esa probabilidad no informativa ha solucionado los problemas. Considerando que la inferencia bayesiana soluciona los problemas fundamentales del NHST por la estimación de parámetros con el intervalo de credibilidad, brinda más opciones para responder las preguntas ecológicas como la prueba de hipótesis, la estimación de parámetros y la selección del modelo, y resuelve los modelos demasiados complejos para la máxima verosimilitud por medio del método de Monte Cario basado en cadenas de Markov (MCMC), la inferencia bayesiana parece indicar el futuro de la bioestadística en la ecología (McCarthy 2007, Kruschke 2014, McElreath 2020).
Los programas para realizar los análisis estadísticos en la ecología han cambiado desde SAS y SPSS a R por los últimos 20 años (Muenchen 2012, Touchon & McCoy 2016). R es un lenguaje de programación y un entorno para realizar análisis estadísticos y elaborar los gráficos con calidad de publicación, está disponible como Software Libre y se ejecuta en una amplia variedad de sistemas operativos como Linux, Windows y MacOS (R Core Team 2020). La enorme popularidad de R en la ecología se puede explicar por su inmenso número de funciones disponibles, su disponibilidad gratuita y la presencia de la comunidad de R en línea (Lai et al. 2019).
R es altamente extensible por medio de los paquetes, los cuales contienen el conjunto de funciones para realizar diversos análisis y manipulaciones de datos. Actualmente, más de 16.000 paquetes de R están disponibles por el CRAN (the Comprehensive R Archive Network, https://cran.r-project.org/); estos paquetes son elaborados por los estadísticos, ecólogos y otros especialistas y permiten realizar casi cualquier análisis estadístico existente para la ecología (Lai et al. 2019). Entre los cinco paquetes de R más utilizados por los ecólogos, se encuentran "lme4", "nlme" y "MuMIn" (Lai et al. 2019), los cuales permitan manejar GLMM(s) y la selección del modelo por el criterio de información. Los otros dos paquetes más utilizados fueron "vegan" para realizar los análisis multivariantes, especialmente para la ecología de comunidades (Oksanen et al. 2019) y "ape" para los análisis filogenéticos (Paradis & Schliep 2019). Por ser gratuito y de fuente abierto, se han generado varias comunidades de usuarios (p.e. R-statistics blog, Stack Overflow), donde se realizan los intercambios activos de los códigos y se resuelven las dudas sobre la programación. A pesar de que no es muy fácil comenzar a aprender R en comparación con los programas estadísticos comerciales que no requieren programación (p.e. SPSS, SYSTAT); a una vez se alcanza cierto nivel, se podría aprender por uno mismo y mejorar la capacidad de programación en R, gracias a estas comunidades de usuarios en línea (Lai et al. 2019).
La bioestadística es una ciencia dinámica con constante desarrollo, especialmente en los últimos 20 años (Hector 2015, Sosa et al. 2015). Sin embargo, actualmente, los cursos de bioestadísticas en el nivel pregrado de la mayoría de universidades cubren menos de 30% de los análisis estadísticos utilizados en la ecología, en comparación con casi el 70% hace 20 años. La insuficiencia de la educación bioestadística en la ecología parece estar cada vez más severa, y varios ecólogos recomiendan realizar el ajuste del currículo universitario (Ellison & Dennis 2010, Hobbs & Ogle 2011, Touchon & McCoy 2016).
]]> Para los ecólogos bolivianos y la educación universitaria en las carreras de biología o ecología, sugiero los siguientes: 1) La actualización de análisis estadísticos en las investigaciones ecológicas. Muchas revistas ecológicas ya no aceptan la transformación de datos y la aplicación de los modelos lineales o las pruebas noparamétricas cuando se pueden emplear los GLM(M)s; también, es común que soliciten a considerar los aspectos de no-independencia temporal, espacial o taxonómica por medio de los modelos mixtos, los análisis espaciales o filogenéticos. Es indispensable que los ecólogos profesionales actualicen sus conocimientos bioestadísticos, y existen varios libros (p.e. Fox et al. 2015, Hector 2015, Beckerman et al. 2017, McElreath 2020) y cursos virtuales (p.e. https://www.datacamp.com/) que faciliten aprender los análisis estadísticos contemporáneas. 2) La actualización de los cursos bioestadísticos en la educación universitaria. Tradicionalmente, los cursos de bioestadística se han concentrado en enseñar diversos diseños de ANOVAs y regresiones. Considerando que no hay distinción matemática entre los ANOVAs y las regresiones, deben enseñarse como partes del mismo grupo de pruebas estadísticas, los modelos lineales. Además de la simplificación de ANOVAs y regresiones, se pueden reducir las pruebas noparamétricas y las transformaciones de datos, e invertir el tiempo para tratar las diferentes distribuciones de errores (GLMs) e incorporar los efectos aleatorios en los modelos lineales (MMs). Por otra parte, sería bueno introducir los diferentes métodos estadísticos, especialmente la selección del modelo. 3) La incorporación de análisis estadísticos y R en los cursos no bioestadísticos. Los análisis utilizados en ecología son extremadamente diversos, y es imposible cubrirlos durante los cursos de bioestadística. Al mismo tiempo, se requiere una constante práctica para recordar y mejorar la programación de R. Por lo tanto, el uso de R y la aplicación de análisis estadísticos deben estar incorporados en los diversos cursos (p.e. ecología, evolución, biogeografía, genética) durante la formación universitaria.
Agradecimientos
Agradezco a M. Isabel Gómez por la revisión de manuscrito y las sugerencias valiosas. Los estudiantes del curso de estadística avanzada de la Carrera de Biología de la UMSA me ayudaron a reflexionar varios aspectos de la estadística contemporánea.
Referencias
Anderson, D.R., K.P. Burnham & W.L. Thompson. 2000. Null hypothesis testing: problems, prevalence, and an alternative. Journal of Wildlife Management 64: 912-923.
Beckerman, A.P., D.Z. Childs & O.L. Petchey. 2017. Getting started with R: an introduction for biologists. 2da Edic. Oxford University Press, Oxford.
Buckley, Y.M. 2015. Generalized linear models. pp. 131-148. En: Fox, G.A., S. Negrete-Yankelevich & V.J. Sosa (eds.) Ecological Statistics: Contemporary Theory and Application. Oxford University Press, Nueva York.
Burnham, K.P. & D.R. Anderson. 1998. Model selection and inference: a practical information-theoretic approach. Springer-Verlag, Nueva York.
]]> Burnham, K.P. & D.R. Anderson. 2002. Model selection and multimodel inference: a practical informationtheoretic approach. 2da Edic. Springer-Verlag, Nueva York.Crawley, M.J. 2007. The R Book. John Wiley & Sons, Ltd., Chichester. [ Links ]
Dennis, B. 1996. Discussion: should ecologists become Bayesians? Ecological Applications 6: 1095-1103. [ Links ]
Denny, M. & L. Benedetti-Cecchi. 2012. Scaling up in ecology: mechanistic approaches. Annual Review of Ecology, Evolution, and Systematics 43: 1-22.
Ellison, A.M. 1996. An introduction to Bayesian inference for ecological research and environmental decisionmaking. Ecological Applications 6: 1036-1046. [ Links ]
Ellison, A.M. & B. Dennis. 2010. Paths to statistical fluency for ecologists. Frontiers in Ecology and the Environment 8: 362-370.
Faraway, J.J. 2016. Extending the linear model with R: generalized linear, mixed effects and nonparametric regression models. 2da Edic. CRC Press, Boca Raton.
Fisher, R.A. 1925. Statistical methods for research workers. Oliver & Boyd, Edinburgh. [ Links ]
Fox, G.A., S. Negrete-Yankelevich & V.J. Sosa. 2015. Ecological Statistics: Contemporary Theory and Application. Oxford University Press, Nueva York.
]]>
Hector, A. 2015. The new statistics with R: an introduction for biologists. Oxford University Press, Nueva York. [ Links ]
Hobbs, N.T. & R. Hilborn. 2006. Alternatives to statistical hypothesis testing in ecology: a guide to self teaching. Ecological Applications 16: 5-19.
Hobbs, N.T. & K. Ogle. 2011. Introducing data-model assimilation to students of ecology. Ecological Applications 21: 1537-1545.
Hurlbert, S.H. & C.M. Lombardi. 2009. Final collapse of the Neyman-Pearson decision theoretic framework and rise of the neoFisherian. Annales Zoologici Fennici 46: 311-349.
Johnson, J.B. & K.S. Omland. 2004. Model selection in ecology and evolution. Trends in Ecology & Evolution 19: 101-108.
Kruschke, J. 2014. Doing Bayesian data analysis: A tutorial with R, JAGS, and Stan. Academic Press, Londres. [ Links ]
Lai, J., C.J. Lortie, R.A. Muenchen, J. Yang & K. Ma. 2019. Evaluating the popularity of R in ecology. Ecosphere 10: e02567.
Lunn, D.J., A. Thomas, N. Best & D. Spiegelhalter. 2000. WinBUGS-a Bayesian modelling framework: concepts, structure, and extensibility. Statistics and computing 10: 325-337.
McCarthy, M.A. 2007. Bayesian methods for ecology. Cambridge University Press, Cambridge. [ Links ]
McCoy, M.W. & B.M. Bolker. 2008. Trait-mediated interactions: influence of prey size, density and experience. Journal of Animal Ecology 77: 478-486.
]]> McCullagh, P. & J.A. Nelder. 1989. Generalized linear models. 2da Edic. Chapman & Hall/CRC, Boca Raton.McElreath, R. 2020. Statistical rethinking: A Bayesian course with examples in R and Stan. 2da Edic. CRC press, Boca Raton.
Muenchen, R.A. 2012. The popularity of data analysis software. URL http://r4stats.com/popularity. [ Links ]
Neyman, J. & E.S. Pearson. 1933. On the problem of the most efficient tests of statistical hypotheses. Philosophical Transactions of the Royal Society of London. Series A 231: 289-337.
O’Hara, R.B. & D.J. Kotze. 2010. Do not log-transform count data. Methods in Ecology and Evolution 1: 118-122.
Oksanen, J., F.G. Blanchet, M. Friendly, R. Kindt, P. Legendre, D. McGlinn, P.R. Minchin, R.B. O'Hara, G.L. Simpson, P. Solymos, M.H.H. Stevens, E. Szoecs & H. Wagner. 2019. vegan: community ecology package. R package version 2.5-6. https://CRAN.R-project.org/package=vegan.
Oksanen, L. 2001. Logic of experiments in ecology: is pseudoreplication a pseudoissue? Oikos 94: 27-38. [ Links ]
Paradis, E. & K. Schliep. 2019. ape 5.0: an environment for modern phylogenetics and evolutionary analyses in R. Bioinformatics 35: 526-528.
R Core Team. 2020. R: A language and environment for statistical computing. R Foundation for Statistical Computing, Viena.
Rosenthal, R. & D.B. Rubin. 1994. The counternull value of an effect size: a new statistic. Psychological Science 5: 329-334.
]]> Sokal, R.R. & F.J. Rohlf. 2011. Biometry. 4ta Edic. W. H. Freeman and Company, Nueva York.Sosa, V.J., S. Negrete-Yankelevich & G.A. Fox. 2015. Introduction. pp. 1-14. En: Fox, G.A., S. Negrete-Yankelevich & V.J. Sosa (eds.) Ecological Statistics: Contemporary Theory and Application. Oxford University Press, Nueva York.
Stephens, P.A., S.W. Buskirk, G.D. Hayward & C. Martinez del Rio. 2005. Information theory and hypothesis testing: a call for pluralism. Journal of Applied Ecology 42: 4-12.
Stephens, P.A., S.W. Buskirk & C. Martinez del Rio. 2007. Inference in ecology and evolution. Trends in Ecology & Evolution 22: 192-197.
Symonds, M.R. & A. Moussalli. 2011. A brief guide to model selection, multimodel inference and model averaging in behavioural ecology using Akaike’s information criterion. Behavioral Ecology and Sociobiology 65: 13-21.
Touchon, J.C. & M.W. McCoy. 2016. The mismatch between current statistical practice and doctoral training in ecology. Ecosphere 7: e01394.
Vehtari, A., A. Gelman & J. Gabry. 2017. Practical Bayesian model evaluation using leave-one-out crossvalidation and WAIC. Statistics and computing 27: 1413-1432.
Warton, D.I. & F.K. Hui. 2011. The arcsine is asinine: the analysis of proportions in ecology. Ecology 92: 3-10.
Wasserstein, R.L., A.L. Schirm & N.A. Lazar. 2019. Moving to a world beyond “p< 0.05”. American Statistician 73: 1-19.
Zar, J.H. 2010. Biostatistical analysis. 5ta Edic. Pearson Education, Upper Saddle River.
]]> ]]>