Revisão bibliográfica: avaliação, indexação e circulação internacional

Esta revisão resume as referências acadêmicas citadas no post sobre a produção de programas CAPES 7 em Linguística/Letras. O foco é entender o que cada trabalho acrescenta à discussão sobre Qualis, métricas bibliométricas, indexação internacional, rankings de periódicos e os efeitos desses instrumentos sobre áreas como humanidades, ciências sociais, Letras e Linguística.

Por escolha de escopo, este arquivo cobre apenas os artigos, capítulos e manifestos acadêmicos citados no texto. Fontes usadas como base de dados ou documentação institucional, como CAPES e SCImago, não entram aqui como referências revisadas.

Jaffé (2020): Qualis e impacto da ciência brasileira

Referência. Jaffé, Rodolfo. 2020. “QUALIS: The Journal Ranking System Undermining the Impact of Brazilian Science”. Anais da Academia Brasileira de Ciências 92(3): e20201116. DOI: 10.1590/0001-3765202020201116.

Ponto central. O artigo argumenta que o Qualis, ao classificar periódicos em estratos usados na avaliação da pós-graduação brasileira, pode ter criado incentivos para publicar em periódicos classificados como altos no sistema nacional, mesmo quando esses periódicos têm baixo impacto ou pouca circulação internacional.

Evidência e abordagem. Jaffé compara o desempenho bibliométrico do Brasil com o de outros países latino-americanos de alta produção científica e analisa a relação entre estratos Qualis e métricas externas de impacto. O objetivo não é apenas mostrar que o Qualis é imperfeito, mas avaliar se sua implementação pode estar associada a mudanças mensuráveis no impacto global da ciência brasileira.

Principais achados. O resultado mais importante para o post é que, após a implementação do Qualis, o Brasil apresenta queda relativa mais acentuada no número de citações por documento quando comparado a países latino-americanos semelhantes em produção científica. O artigo também aponta desalinhamentos entre categorias Qualis e indicadores externos de impacto. Em algumas áreas, especialmente próximas das ciências sociais e humanidades, estratos Qualis altos não distinguem bem periódicos de maior e menor impacto internacional.

Relevância para o post. Este é o apoio empírico mais direto para a decisão de não tratar o Qualis como medida de qualidade. O post parte justamente da ideia de que uma classificação local, ainda que institucionalmente poderosa, não deve ser confundida com visibilidade internacional, circulação efetiva ou qualidade editorial comparável entre áreas. Jaffé fornece a base para a crítica: o Qualis pode funcionar menos como um termômetro de qualidade e mais como um sistema de incentivos que legitima circuitos locais de publicação.

Insight adicional. O ponto mais produtivo não é simplesmente “Qualis é ruim” ou “métricas internacionais são boas”. A contribuição de Jaffé sugere algo mais específico: quando uma métrica local passa a organizar recompensas institucionais, ela pode mudar o comportamento dos pesquisadores. Nesse sentido, o problema do Qualis é performativo. Ele não apenas descreve o prestígio dos periódicos; ele ajuda a produzir esse prestígio.

Mongeon e Paul-Hus (2016): cobertura de Web of Science e Scopus

Referência. Mongeon, Philippe; Paul-Hus, Adèle. 2016. “The Journal Coverage of Web of Science and Scopus: A Comparative Analysis”. Scientometrics 106(1): 213-228. DOI: 10.1007/s11192-015-1765-5.

Ponto central. O artigo mostra que Web of Science e Scopus não são janelas neutras para a produção científica mundial. Elas têm padrões de cobertura que variam por área, país e idioma, o que introduz vieses importantes quando essas bases são usadas para avaliação de pesquisa.

Evidência e abordagem. Os autores comparam a cobertura de periódicos nas duas bases usando o diretório Ulrich’s como referência ampla de periódicos acadêmicos. A análise observa diferenças por campos do conhecimento, países de publicação e línguas.

Principais achados. A cobertura favorece áreas como ciências naturais, engenharia e biomedicina em relação a ciências sociais, artes e humanidades. Também há viés em favor de publicações em inglês e de periódicos de países centrais no sistema científico internacional. Scopus tende a ter cobertura mais ampla que Web of Science, mas isso não elimina a assimetria.

Relevância para o post. Este trabalho é essencial para qualificar o uso de indexação e quartis SJR. O post usa SJR como proxy externo de circulação, mas não como medida perfeita de qualidade. Mongeon e Paul-Hus ajudam a explicar por que essa cautela é necessária: se uma área publica pouco em periódicos indexados, isso pode refletir baixa internacionalização, mas também pode refletir vieses estruturais das bases.

Insight adicional. Para o argumento do post, a melhor leitura de Mongeon e Paul-Hus é dupla. Por um lado, a baixa indexação de Linguística/Letras não deve ser interpretada automaticamente como baixa qualidade. Por outro, a existência de vieses nas bases não resolve o problema: se programas CAPES 7 quase não aparecem em bases usadas internacionalmente, isso ainda indica baixa visibilidade dentro dos mecanismos pelos quais grande parte da ciência global é descoberta, citada e avaliada.

Hicks et al. (2015): o Manifesto de Leiden

Referência. Hicks, Diana; Wouters, Paul; Waltman, Ludo; de Rijcke, Sarah; Rafols, Ismael. 2015. “Bibliometrics: The Leiden Manifesto for Research Metrics”. Nature 520(7548): 429-431. DOI: 10.1038/520429a.

Ponto central. O Manifesto de Leiden propõe dez princípios para o uso responsável de métricas na avaliação de pesquisa. Seu argumento central é que indicadores quantitativos devem apoiar, e não substituir, o julgamento qualitativo especializado.

Evidência e abordagem. O texto é um manifesto metodológico e normativo, não um estudo empírico tradicional. Ele sintetiza boas práticas em avaliação de pesquisa e responde ao uso crescente, muitas vezes mecânico, de métricas como fator de impacto, rankings de periódicos, contagens de citações e indicadores agregados.

Principais achados ou princípios relevantes. Três princípios são especialmente importantes para o post. Primeiro, a avaliação quantitativa deve apoiar avaliação qualitativa por especialistas. Segundo, a avaliação deve considerar missão institucional, área e contexto. Terceiro, a excelência em pesquisa localmente relevante precisa ser protegida. O manifesto também recomenda transparência, simplicidade, verificação dos dados e atenção aos efeitos sistêmicos dos indicadores.

Relevância para o post. O post está alinhado com o Manifesto de Leiden quando recusa tanto o uso ingênuo do Qualis quanto a transformação de SJR em sinônimo automático de qualidade. A proposta do texto é usar indexação e quartis como sinais externos, não como vereditos finais. Isso é exatamente o tipo de uso contextualizado de métricas que o manifesto defende.

Insight adicional. O Manifesto de Leiden ajuda a evitar uma falsa oposição. A alternativa ao Qualis não precisa ser uma submissão acrítica a Scopus, SJR ou Web of Science. A alternativa mais defensável é uma ecologia de evidências: indicadores externos, avaliação por pares, análise de circulação, clareza sobre público-alvo e atenção ao papel público da pesquisa em português.

Sivertsen (2016): o modelo norueguês de financiamento baseado em publicação

Referência. Sivertsen, Gunnar. 2016. “Publication-Based Funding: The Norwegian Model”. Em Michael Ochsner, Sven E. Hug e Hans-Dieter Daniel (orgs.), Research Assessment in the Humanities: Towards Criteria and Procedures, 79-90. Springer. DOI: 10.1007/978-3-319-29016-4_7.

Ponto central. O capítulo apresenta o modelo norueguês de financiamento baseado em publicações, concebido para reconhecer diferenças disciplinares e reduzir alguns problemas típicos de avaliações baseadas apenas em periódicos internacionais indexados.

Evidência e abordagem. Sivertsen descreve a arquitetura institucional do modelo: registro nacional de canais de publicação, distinção entre níveis de prestígio, inclusão de livros e capítulos, participação da comunidade acadêmica na classificação e uso dos indicadores em nível agregado, não como medida individual simples.

Principais achados. O modelo tenta equilibrar internacionalização e diversidade disciplinar. Ele reconhece que humanidades e ciências sociais têm padrões de publicação diferentes das ciências naturais, incluindo maior importância de livros, capítulos, periódicos nacionais e línguas locais. Ao mesmo tempo, mantém uma estrutura de diferenciação entre canais ordinários e canais mais seletivos.

Relevância para o post. A comparação com o Qualis é instrutiva. Ambos são sistemas nacionais de avaliação de canais de publicação, mas o modelo norueguês é frequentemente discutido como tentativa de construir uma classificação mais transparente, mais sensível a diferenças disciplinares e menos dependente de uma única base internacional. Para o post, ele mostra que criticar o Qualis não implica rejeitar toda avaliação nacional; implica exigir desenho institucional melhor.

Insight adicional. O caso norueguês sugere que a pergunta correta para o Brasil não é apenas “devemos usar rankings?” A pergunta é: quem constrói os rankings, com quais critérios, com que transparência, para qual unidade de avaliação e com quais efeitos sobre o comportamento de pesquisadores e programas? Um sistema nacional pode proteger pesquisa localmente relevante, mas também pode cristalizar hierarquias internas pouco testadas.

Petr et al. (2021): publicação em humanidades e ciências sociais na Europa

Referência. Petr, Michal; Engels, Tim C. E.; Kulczycki, Emanuel; Dušková, Marta; Guns, Raf; Sieberová, Monika; Sivertsen, Gunnar. 2021. “Journal Article Publishing in the Social Sciences and Humanities: A Comparison of Web of Science Coverage for Five European Countries”. PLOS ONE 16(4): e0249879. DOI: 10.1371/journal.pone.0249879.

Ponto central. O artigo compara padrões de publicação em ciências sociais e humanidades em cinco países europeus e mostra que a cobertura em Web of Science varia muito entre países, grupos disciplinares e tradições acadêmicas.

Evidência e abordagem. Os autores analisam 449.409 publicações de 2013 a 2016 na República Tcheca, Eslováquia, Polônia, Flandres e Noruega. A comparação distingue países da Europa Central e Oriental de países do Oeste/Norte europeu e observa mudanças nos padrões de publicação em periódicos indexados e em veículos de maior impacto.

Principais achados. Apesar de diferenças persistentes entre países, os padrões de publicação dos países da Europa Central e Oriental tornam-se mais parecidos com os de seus pares ocidentais e nórdicos. Há crescimento de publicação em periódicos indexados em Web of Science e em periódicos de maior impacto. Ainda assim, as diferenças disciplinares permanecem claras e precisam ser consideradas na avaliação de pesquisa.

Relevância para o post. Petr et al. ajudam a interpretar a posição de Linguística/Letras em relação às demais áreas. Eles mostram que áreas de humanidades e ciências sociais não têm uma relação uniforme com bases internacionais; país, disciplina e história institucional importam. Isso reforça a necessidade de comparar Linguística/Letras não apenas com Química ou Física, mas também com áreas humanas e sociais dentro do mesmo sistema CAPES 7. Ao mesmo tempo, o artigo não resolve sozinho o ponto mais difícil: por que justamente nessas áreas o circuito local se torna tão fácil de estabilizar? A resposta provável é institucional, não epistemológica. Não há razão óbvia para tratar Filosofia, por exemplo, como intrinsecamente mais local do que Economia; em vários subcampos, o argumento poderia ser o oposto. O que parece variar não é a natureza do conhecimento, mas a organização social da publicação: língua de trabalho, redes editoriais, critérios de carreira, pressão dos pares, formação de estudantes e força dos periódicos internacionais como instâncias reputacionais.

Insight adicional. O artigo sugere que internacionalização não é um traço fixo de uma área. Ela pode mudar quando incentivos, políticas e culturas de publicação mudam. Para o post, isso é importante porque impede uma leitura fatalista: a baixa indexação de Linguística/Letras não precisa ser tratada como destino disciplinar. Pode ser resultado de uma cultura avaliativa e formativa que ainda não recompensa suficientemente a circulação internacional. O círculo vicioso aparece quando três condições se combinam: bases internacionais cobrem mal parte das humanidades; a publicação local é facilmente justificável em termos de língua, público ou objeto, mesmo quando nem sempre é exigida pelo problema de pesquisa; e o Qualis converte periódicos locais usados pela própria área em sinais formais de alto prestígio. Assim, a baixa projeção internacional deixa de ser apenas consequência de diferenças disciplinares e passa a ser reproduzida como incentivo.

Genoni e Haddow (2009): ERA e rankings de periódicos nas humanidades australianas

Referência. Genoni, Paul; Haddow, Gaby. 2009. “ERA and the Ranking of Australian Humanities Journals”. Australian Humanities Review 46. Disponível em: Australian Humanities Review.

Ponto central. O artigo critica os efeitos de rankings de periódicos no contexto da avaliação australiana Excellence in Research for Australia (ERA), especialmente sobre periódicos de humanidades com foco nacional ou regional.

Evidência e abordagem. Genoni e Haddow analisam o funcionamento de rankings de periódicos e suas consequências para a comunicação acadêmica nas humanidades australianas. O texto discute como a concentração de prestígio em um número pequeno de periódicos pode redirecionar escolhas de publicação e distorcer noções de qualidade.

Principais achados. Rankings que privilegiam periódicos “internacionais” tendem a prejudicar periódicos nacionais relevantes, sobretudo em áreas cuja pesquisa tem objeto, público e impacto local. O problema é grave nas humanidades porque a relevância de um trabalho muitas vezes depende de interlocutores específicos, línguas nacionais e debates culturais situados.

Relevância para o post. Este artigo é um contrapeso importante. O post defende que Linguística/Letras precisa olhar para sinais externos de circulação, mas Genoni e Haddow lembram que a pressão por publicação internacional pode desvalorizar pesquisas cujo público natural é local ou nacional. Isso é especialmente relevante para Letras, literatura brasileira, ensino de português, políticas linguísticas e estudos culturais.

Insight adicional. O desafio não é substituir paroquialismo por internacionalismo automático. O desafio é distinguir pesquisa localmente necessária de publicação local por conveniência institucional. Uma área forte precisa das duas coisas: veículos nacionais robustos para debates nacionais e inserção internacional quando o problema de pesquisa conversa com comunidades mais amplas.

Mrva-Montoya, Nolan e Ward (2024): rankings e a disciplina de English na Austrália

Referência. Mrva-Montoya, Agata; Nolan, Maggie; Ward, Rebekah. 2024. “The Impact of Journal Ranking Systems on the Discipline of English in Australia”. Australian Humanities Review 72. DOI: 10.56449/14408765.

Ponto central. O artigo examina como rankings de periódicos afetam a disciplina de English na Austrália, incluindo decisões de publicação, carreiras acadêmicas, distribuição de prestígio e sobrevivência de subáreas.

Evidência e abordagem. O estudo foi encomendado pela Australian University Heads of English e usa questionário online com acadêmicos da área. Combina dados quantitativos e qualitativos para avaliar como rankings são usados por instituições e como esses usos afetam pesquisadores em diferentes estágios de carreira.

Principais achados. Mesmo depois de críticas a rankings formais, listas e métricas continuam operando institucionalmente, muitas vezes de modo implícito. Pesquisadores relatam pressão para publicar em periódicos considerados prestigiosos por Scopus, SJR ou listas internas. Essa pressão afeta escolhas de tema, estratégias de publicação e progressão na carreira. O impacto é particularmente forte para pesquisadores em início de carreira, que têm menos liberdade para resistir a expectativas institucionais.

Relevância para o post. A analogia com Letras no Brasil é direta. A área de English na Austrália, assim como Letras/Linguística no Brasil, combina subcampos muito diferentes, alguns internacionalizados e outros profundamente ligados a públicos nacionais. O artigo mostra que rankings podem estreitar a imaginação disciplinar: pesquisadores passam a escolher não necessariamente o melhor público para o trabalho, mas o veículo que maximiza sinais avaliativos.

Insight adicional. Este estudo ajuda a formular uma crítica mais fina ao problema brasileiro. Se o Qualis empurra pesquisadores para periódicos localmente recompensados, rankings globais podem empurrá-los para periódicos internacionalmente reconhecidos mas pouco adequados ao público real da pesquisa. O problema comum é a substituição da pergunta intelectual “com quem este trabalho precisa conversar?” pela pergunta burocrática “qual veículo pontua melhor?”.

Sanz-Casado et al. (2021): visibilidade de periódicos nacionais de humanidades

Referência. Sanz-Casado, Elías; De Filippo, Daniela; Aleixandre Benavent, Rafael; Røeggen, Vidar; Pölönen, Janne. 2021. “Impact and Visibility of Norwegian, Finnish and Spanish Journals in the Fields of Humanities”. Scientometrics 126(11): 9031-9049. DOI: 10.1007/s11192-021-04169-6.

Ponto central. O artigo analisa impacto e visibilidade de periódicos de humanidades publicados predominantemente em línguas nacionais na Noruega, Finlândia e Espanha. A questão central é como avaliar periódicos necessários para pesquisa localmente relevante, mas pouco capturados por métricas internacionais tradicionais.

Evidência e abordagem. Os autores comparam periódicos nacionais de humanidades selecionados a partir de critérios de qualidade usados nos respectivos países. Observam áreas temáticas, tipo de editora, presença em bases como Web of Science e Scopus, métricas como SJR e Google Scholar Metrics, além de fatores como acesso aberto e uso de DOI.

Principais achados. Muitos periódicos nacionais de humanidades são essenciais para suas comunidades, mas têm presença limitada em bases internacionais. A visibilidade varia por país, disciplina, tipo de editor e infraestrutura editorial. O estudo mostra que fatores técnicos, como acesso aberto e identificadores persistentes, podem ampliar a circulação, mesmo quando o periódico publica em língua nacional.

Relevância para o post. Este trabalho é particularmente útil porque trata de Linguagem e Literatura dentro das humanidades e mostra que a baixa indexação de periódicos nacionais não deve ser lida de forma simplista. A questão não é apenas publicar em inglês ou publicar fora do país. Também é possível melhorar a visibilidade de periódicos nacionais por meio de melhores práticas editoriais, infraestrutura digital, indexação, DOIs, metadados e acesso aberto.

Insight adicional. Para Linguística/Letras no Brasil, talvez haja duas agendas complementares. A primeira é incentivar pesquisadores, especialmente de programas CAPES 7, a publicar mais em veículos internacionais fortes quando o tema pedir esse diálogo. A segunda é elevar a infraestrutura e a visibilidade dos bons periódicos brasileiros, para que publicação em português não signifique isolamento bibliométrico.

Síntese: o que essa literatura sugere para o post

As referências convergem em uma tensão central: métricas são necessárias porque sistemas acadêmicos grandes precisam de algum grau de comparabilidade, mas métricas se tornam perigosas quando são confundidas com qualidade. O Qualis, segundo Jaffé, pode ter criado incentivos locais desalinhados com impacto internacional. Ao mesmo tempo, Mongeon e Paul-Hus mostram que bases internacionais também têm vieses. Hicks et al. oferecem a resposta metodológica mais equilibrada: usar indicadores como instrumentos auxiliares, sempre contextualizados por área, missão e público.

Para o argumento do post, isso significa que SJR e indexação internacional são boas perguntas, mas não respostas completas. Perguntar se periódicos aparecem no SJR ajuda a medir circulação fora do ecossistema brasileiro. Mas a ausência de SJR não prova, sozinha, ausência de qualidade. Ela indica que a publicação provavelmente tem menos visibilidade nos canais usados por grande parte da comunidade internacional.

Os estudos sobre humanidades e ciências sociais reforçam que diferenças disciplinares importam. Petr et al. mostram que padrões de publicação variam entre países e campos. Genoni e Haddow, Mrva-Montoya et al. e Sanz-Casado et al. mostram que rankings podem prejudicar pesquisa nacionalmente relevante, sobretudo em áreas literárias e humanísticas. Essa literatura recomenda cautela contra uma solução simplista: mandar todos publicarem em inglês e em periódicos internacionais.

Mas essa cautela não explica tudo. O círculo vicioso não parece surgir porque humanidades sejam, por natureza, mais locais. Filosofia não é obviamente mais dependente de contexto nacional do que Economia; em muitos casos, pode ser menos. A diferença parece estar no custo reputacional e institucional da publicação local. Em áreas laboratoriais ou fortemente internacionalizadas, publicar fora dos principais periódicos globais cobra um preço mais imediato. Em muitas áreas humanas, a fronteira entre “publicar localmente porque o público está aqui” e “publicar localmente porque o sistema recompensa e a barreira de entrada é menor” é mais porosa. O Qualis intensifica essa porosidade quando transforma o conjunto de periódicos já usados pelos programas em uma hierarquia formal de qualidade. A área publica localmente; o Qualis ranqueia esse universo local; periódicos locais recebem alto valor institucional; e novos pesquisadores aprendem que circular nesse circuito basta para cumprir a exigência de excelência.

Ainda assim, a cautela não elimina o diagnóstico. Se programas CAPES 7 representam excelência, inclusive com expectativa de desempenho comparável a centros internacionais, então baixa indexação, baixa presença em Q1/Q2 e baixa publicação em inglês precisam ser discutidas. Não como prova de inferioridade intelectual da área, mas como sinal de que seus mecanismos de formação, incentivo e avaliação talvez estejam produzindo uma circulação menor do que seria esperado.

O ponto mais importante para Linguística/Letras é separar quatro situações que o debate muitas vezes mistura:

Publicar em português porque o público relevante está no Brasil.
Publicar em periódico brasileiro de alta qualidade, com boa revisão por pares e circulação efetiva.
Publicar em periódico local porque o Qualis recompensa e o custo de entrada é menor.
Evitar periódicos internacionais por falta de formação, orientação, rede, confiança ou incentivos.

As duas primeiras situações devem ser defendidas. As duas últimas devem ser enfrentadas. A literatura revisada sugere que a área não precisa escolher entre submissão a rankings globais e proteção de circuitos locais. O caminho mais forte é construir uma cultura de publicação mais intencional: publicar localmente quando isso é intelectualmente justificado, internacionalmente quando o debate pede interlocução mais ampla, e avaliar periódicos por uma combinação transparente de qualidade editorial, público, impacto, indexação, abertura e adequação ao objeto de pesquisa.