Toughts: Beyond manipulation: Open science and the new era of scientific reliability

Authors

DOI:

https://doi.org/10.18568/internext.v20i1.819

Keywords:

Open science, p-Hacking, HARKing, Scientific integrity, Reproducibility

Abstract

Objective: This study aimed to explore how the implementation of open science practices can mitigate the harmful practices of p-Hacking and HARKing in scientific research, in addition to analyzing the challenges and benefits of this approach for the integrity and reproducibility of studies. Method: A discursive approach was adopted on p-Hacking and HARKing practices and exploring open science initiatives. This research studies the topic, analyzing academic articles and reports from scientific institutions. Main Results: Open science promotes transparency at all stages of research, reducing p-Hacking and HARKing. Pre-registration of studies and open data sharing increases confidence in scientific results and reproducibility. Publishing results, even if negative or non-significant, avoids publication bias, providing a more complete view of the state of the research. These practices reinforce scientific integrity and contribute to a more robust and reliable advancement of knowledge. Relevance / Originality: The paper needs more discussions on the integrity and reproducibility of scientific research. Its academic relevance lies in proposing a more transparent and collaborative paradigm for scientific research, promoting greater confidence in scientific findings and contributing more robust knowledge. Theoretical / Methodological Contributions: Open science promotes transparency, reducing p-Hacking and HARKing. Practices such as prior registration of studies and open sharing of data increase reproducibility. Even if negative, publishing results in a confirmatory approach without exploiting the data avoids publication bias, improves management decisions, and promotes a culture of transparency and reliability in scientific research.

Downloads

Download data is not yet available.

Author Biographies

Ricardo Limongi, Universidade Federal de Goiás, Faculdade de Administração, Ciências Contábeis e Ciências Econômicas – Goiânia (GO), Brasil.

Doutor em Administração na linha de Estratégias de Marketing pela FGV/SP, com estágio doutoral na Cornell University sob supervisão de Vithala Rao. Pós-doutorado em Economia Comportamental aplicada ao Marketing pela UnB e Pós-doutorado em Machine Learning aplicado ao Marketing pela UFRGS. Professor Adjunto na Universidade Federal de Goiás (UFG). Professor Visitante na Universidade Santiago do Chile (USACH) e na Mona University (UWIMONANA) na Jamaica. Professor Permanente no Programa de Pós-Graduação em Administração na UFG (Coordenador no Biênio 2020-2022) e Universidade Federal de Uberlândia (UFU). Idealizador e Coordenador do MBA em Marketing Estratégico da UFG. Coordenador de Pesquisa e do Eixo de Gestão e Negócios nas Escolas do Futuro do convênio da UFG com o Estado de Goiás. Integrante do Comitê Científico da Divisão de Marketing da Associação Nacional de Pós-Graduação e Pesquisa em Administração (ANPAD) para o triênio 2024-2026. É coordenador de tema Encontro dos Programas de Pós-Graduação Profissionais em Administração (EMPRAD) e Seminários da Universidade de São Paulo (SEMEAD). Possui formação complementar em Estatística Espacial, Data Science e Machine Learning. Concluiu 3 orientações de mestrado e 4 pós-doutorados. Líder do ADMKT - Laboratório de Pesquisa em Marketing e Data Analytics (https://admkt.face.ufg.br) e pesquisador no Núcleo de Pesquisa Experimenta(UnB) e Grupo de Pesquisas de Marketing e Consumo (GPMC) (UFRGS). Suas pesquisas já foram, indicadas e/ou premiadas, pela base de dados internacional Emerald e eventos científicos como SEMEAD e ANPAD. Teve projetos aprovados em Editais Científicos pela Fundação de Amparo à Pesquisa do Estado de Goiás (FAPEG) e CNPq. É Editor Chefe da Brazilian Administration Review (BAR/ Qualis A2) para o triênio 2024-2026, editor associado na Revista de Administração Mackenzie - RAM (Qualis A2), PLOS One (Qualis A1) e Pretexto (Qualis A4). Seus temas de interesse são: predição e business analytics; spatial data science; demand e estimação de mercado; inteligência artificial; machine learning.

Pablo Rogers Silva, Universidade Federal de Uberlândia, Faculdade de Gestão e Negócios – Uberlândia (MG), Brasil.

É Doutor em Administração na área de finanças pela Faculdade de Economia e Administração da Universidade de São Paulo (FEA/USP) e professor da área de finanças (graduação) e métodos quantitativos (pós-graduação) da Faculdade de Gestão e Negócios (FAGEN) da Universidade Federal de Uberlândia (UFU). Em 2011 recebeu o Prêmio Revelação em Finanças concedido pelo Instituto Brasileiro de Executivos em Finanças e a Consultoria Internacional KPMG pela inovação proposta em sua tese: um modelo de avaliação de risco de crédito para pessoas físicas baseado em variáveis e escalas psicológicas. Foi coordenador do MBA em Gerenciamento em Projetos da FAGEN/UFU por mais de 10 anos. Atualmente, concentra seus estudos e pesquisas na Ciência dos Dados, especialmente, nos métodos e técnicas estatísticas aplicadas às ciências do comportamento (Psicometria) e econômicas (Econometria). Coordena e gera conteúdo para o Canal do YouTube "Psico&Econo_METRIA" e outras redes sociais: @piscoeconometria; sob o amparo de um projeto de extensão na UFU, com intuito de divulgação científica e auxiliar cientistas sociais aplicados em suas pesquisas quantitativas. Alguns dos principais artigos do autor podem ser baixados em https://www.researchgate.net/profile/Pablo_Rogers.

Pâmella Bandeira, Universidade Federal de Goiás, Faculdade de Administração, Ciências Contábeis e Ciências Econômicas – Goiânia (GO), Brasil.

Mestra em Administração pela Universidade Federal de Goiás (UFG). Especialista em Administração Financeira, Contábil e Auditoria no Setor Público pela Faculdade Afirmativo. Bacharel em Administração pela Pontifícia Universidade Católica de Goiás (PUC-GO). Realiza pesquisa científica em Administração Pública, com atuação em análise quantitativa e uso de software R. Está atuando no Ministério da Gestão e Inovação em Serviços Públicos como analista de projetos em contratações Públicas.

Celyce Gonçalves Lula, Universidade Federal de Goiás, Faculdade de Administração, Ciências Contábeis e Ciências Econômicas – Goiânia (GO), Brasil.

Doutoranda em Administração pelo PPGADM/UFG. Mestre em Administração. Especialista em Gestão de Pessoas e Marketing. Graduada em Administração. Professora efetiva do Instituto Federal de Ciências e Tecnologia, IFG - Câmpus Inhumas, dedicação exclusiva. Membro associada ao ADMKT - Grupo de Ensino, Pesquisa e Extensão em Marketing e Data Analytics (https://adm.face.ufg.br). Realiza pesquisas com ênfase em Marketing, Comportamento do Consumidor, Cultura e Consumo e Bem-estar no trabalho.

References

Allen, C., & Mehler, D. M. A. (2019). Open science challenges, benefits and tips in early career and beyond. PLOS Biology, 17(5), e3000246. https://doi.org/10.1371/journal.pbio.3000246

Bergkvist, L. (2020). Preregistration as a way to limit questionable research practice in advertising research. International Journal of Advertising, 39(7), 1172-1180. https://doi.org/10.1080/02650487.2020.1753441

Brei, V. A. (2022). Would Marketing Science be stronger had it been less frequentist and more Bayesian? XLVI Encontro da ANPAD, Maringá.

Brock, J. (2019). 5 tips for dealing with non-significant results. Nature Index. Retrieved from https://www.nature.com/nature-index/news/top-tips-for-dealing-with-non-significant-null-results

Brodeur, A., Cook, N., & Heyes, A. (2020). Methods matter: P-Hacking and publication bias in causal analysis in economics. American Economic Review, 110(11), 3634-3660. https://doi.org/10.1257/aer.20190687

Brodeur, A., Cook, N., & Neisser, C. (2024). Hacking, data type and data-sharing policy. Economic Journal, 134(659), 985-1018. https://doi.org/10.1093/ej/uead104

Ferguson, J., Littman, R., Christensen, G., Paluck, E. L., Swanson, N., Wang, Z., Miguel, E., Birke, D., & Pezzuto, J.-H. (2023). Survey of open science practices and attitudes in the social sciences. Nature Communications, 14, 5401. https://doi.org/10.1038/s41467-023-41111-1

Fišar, M., Greiner, B., Huber, C., Katok, E., Ozkes, A. I., & and the Management Science Reproducibility Collaboration (2024). Reproducibility in management science. Management Science, 70(3), 1343-1356. https://doi.org/10.1287/mnsc.2023.03556

Fraser, H., Parker, T., Nakagawa, S., Barnett, A., & Fidler, F. (2018). Questionable research practices in ecology and evolution. PLoS One, 13(7), e0200303. https://doi.org/10.1371/journal.pone.0200303

Gupta, A., & Bosco, F. (2023). Tempest in a teacup: An analysis of p-Hacking in organizational research. PLoS One, 18(2), e0281938. https://doi.org/10.1371/journal.pone.0281938

Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of P-Hacking in science. PLOS Biology, 13(3), e1002106. https://doi.org/10.1371/journal.pbio.1002106

Hitzig, Z., & Stegenga, J. (2020). The problem of new evidence: P-Hacking and pre-analysis plans. Diametros, 17(66), 10-33. https://doi.org/10.33392/diam.1587

Hu, H., Moody, G., & Galletta, D. (2023). HARKing and P-Hacking: a call for more transparent reporting of studies in the information systems field. Communications of the Association for Information Systems, 52, 853-876. https://doi.org/10.17705/1CAIS.05241

Hudson, R. (2021). Should we strive to make science bias-free? A philosophical assessment of the reproducibility crisis. Journal for General Philosophy of Science, 52(3), 389-405. https://doi.org/10.1007/s10838-020-09548-w

Isager, P. M., Lakens, D., Van Leeuwen, T., & Van ’T Veer, A. E. (2024). Exploring a formal approach to selecting studies for replication: A feasibility study in social neuroscience. Cortex, 171, 330-346. https://doi.org/10.1016/j.cortex.2023.10.012

Kerr, N. L. (1998). HARKing: hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196-217. https://doi.org/10.1207/s15327957pspr0203_4

Kühberger, A., Fritz, A., & Scherndl, T. (2014). Publication bias in psychology: a diagnosis based on the correlation between effect size and sample size. PLoS One, 9(9), e105825. https://doi.org/10.1371/journal.pone.0105825

Lakens, D. (2024). The 20% Statistician: Why I don’t expect to be convinced by evidence that scientific reform is improving science (and why that is not a problem). Retrieved from https://daniellakens.blogspot.com/2024/09/why-i-dont-expect-to-be-convinced-by.html

Limongi, R. (2024). The use of artificial intelligence in scientific research with integrity and ethics. Future Studies Research Journal: Trends and Strategies, 16(1), e845. https://doi.org/10.24023/FutureJournal/2175-5825/2024.v16i1.845

Limongi, R., & Marcolin, C. B. (2024). AI literacy research: frontier for high-impact research and ethics. Brazilian Administration Review, 21(3), e240162. https://doi.org/10.1590/1807-7692bar2024240162

Martins, H. C., & Mendes-da-Silva, W. (2024). Ciência aberta na RAE: quais os próximos passos? Revista de Administração de Empresas, 64(4), e0000-0035. https://doi.org/10.1590/s0034-759020240407

McAleer, P., Stack, N., Woods, H., DeBruine, L. M., Paterson, H., Nordmann, E., Kuepper-Tetzel, C. E., & Barr, D. J. (2022). Embedding data skills in research methods education: preparing students for reproducible research [Preprint]. PsyArXiv. https://doi.org/10.31234/osf.io/hq68s

McCloskey, A., & Michaillat, P. (2024). Critical values robust to P-hacking. Review of Economics and Statistics, 1-35. https://doi.org/10.1162/rest_a_01456

Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie Du Sert, N., Simonsohn, U., Wagenmakers, E.-J., Ware, J. J., & Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1(1), 0021. https://doi.org/10.1038/s41562-016-0021

Open Science Framework (OSF) (2024). Portal. Retrieved from https://osf.io/

Prosperi, M., Bian, J., Buchan, I. E., Koopman, J. S., Sperrin, M., & Wang, M. (2019). Raiders of the lost HARK: A reproducible inference framework for big data science. Palgrave Communications, 5(1), 125. https://doi.org/10.1057/s41599-019-0340-8

Rubin, M. (2017). When does HARKing hurt? Identifying when different types of undisclosed post hoc hypothesizing harm scientific progress. Review of General Psychology, 21(4), 308-320. https://doi.org/10.1037/gpr0000128

Spiegelman, E. (2021). Esteemed Colleagues: a model of the effect of open data on selective reporting of scientific results. Frontiers in Psychology, 12, 761168. https://doi.org/10.3389/fpsyg.2021.761168

Stefan, A. M., & Schönbrodt, F. D. (2023). Big little lies: A compendium and simulation of p-hacking strategies. Royal Society Open Science, 10(2), 220346. https://doi.org/10.1098/rsos.220346

Stengelin, R., Bohn, M., Sánchez-Amaro, A., Haun, D., Thiele, M., Daum, M., Felsche, E., Fong, F., Gampe, A., Giner Torréns, M., Grueneisen, S., Hardecker, D., Horn, L., Neldner, K., Pope-Caldwell, S., & Schuhmacher, N. (2024). Responsible research is also concerned with generalizability: Recognizing efforts to reflect upon and increase generalizability in hiring and promotion decisions in psychology. Meta-Psychology, 8. https://doi.org/10.15626/MP.2023.3695

Wicherts, J. (2021). How misconduct helped psychological science to thrive. Nature, 597(7875), 153. https://doi.org/10.1038/d41586-021-02421-w

Yamada, Y. (2018). How to crack pre-registration: toward transparent and open science. Frontiers in Psychology, 9, 1831. https://doi.org/10.3389/fpsyg.2018.01831

Downloads

Published

2025-01-24

How to Cite

Limongi, R., Silva, P. R., Bandeira, P., & Lula, C. G. (2025). Toughts: Beyond manipulation: Open science and the new era of scientific reliability. Internext - International Business and Management Review, 20(1). https://doi.org/10.18568/internext.v20i1.819

Issue

Vol. 20 No. 1 (2025): January - April

Section

Article

License

Copyright (c) 2025 Ricardo Limongi, Pablo Rogers Silva, Pâmella Bandeira, Celyce Gonçalves Lula

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

- The author(s) authorize the publication of the article in the journal;

- The author(s) ensure that the contribution is original and unpublished and is not being evaluated in other journal(s);

- The journal is not responsible for the opinions, ideas and concepts expressed in the texts because they are the sole responsibility of the author(s);

- In case an article will be approved for publication, the author will sign the term of Cession of Copyright to the journal, according to the download form.