Entrada

 

 

ENG Bibliometrics CAT Bibliometria EUS Bibliometria GLG Bibliometria SPA Bibliometría

 

conteúdos
Introdução | Principais parâmetros bibliométricos | Perigos e limitações das análises bibliométricas | Questões metodológicas | Trinta anos de estudos bibliométricos nos Estudos da Tradução e da Interpretação | Potencial de pesquisa

 

  Introdução 

A Bibliometria, assim como os Estudos da Tradução e da Interpretação (doravante ETI), é um campo disciplinar relativamente novo, cujas origens remontam à década de 1920, quando se iniciou a busca por maneiras de quantificar e descrever estatisticamente a produção bibliográfica. Assim como os ETI, a bibliometria desenvolveu-se rapidamente a partir da década de 1970, quando o termo foi cunhado internacionalmente (Pritchard 1969) e seu estudo e aplicação sistemáticos iniciaram-se.

Conceitos bibliométricos

Embora a bibliometria em si seja essencialmente quantitativa, muitas vezes é necessário complementar os números brutos com análises qualitativas que, por exemplo, investiguem a natureza das publicações mais notáveis ou as razões pelas quais algumas obras têm mais impacto do que outras. Essas razões geralmente incluem perspectivas sócio-históricas, linguísticas e epistemológicas que fazem parte do domínio interpretativo e acrescentam interesse e relevância aos dados, integrando-os em uma narrativa coerente.

A bibliometria é interessante sobretudo porque permite analisar empiricamente grandes volumes de informações publicadas em termos de padrões de disseminação, comportamento e peso social (e acadêmico, no caso de estudos cienciométricos). A bibliometria aplica ferramentas estatísticas em busca de regularidades, procurando estabelecer tendências em relação a questões importantes, tais como identificar quais são as instituições mais produtivas, o que caracteriza os trabalhos mais influentes, como os acadêmicos cooperam entre si, quais são os efeitos das publicações na comunidade acadêmica e na sociedade em geral, como são os padrões de citação e se é possível tirar conclusões sobre a evolução teórica e metodológica de um campo disciplinar.

Para que uma abordagem bibliométrica faça sentido, primeiramente é necessário ter uma produção bibliográfica volumosa passível de ser analisada. Apesar da existência de alguns estudos pioneiros, isso explica porque as técnicas bibliométricas não foram aplicadas aos ETI até relativamente pouco tempo atrás. Seu nascimento como um campo disciplinar autônomo nos anos de 1980 significa que foram necessárias quase quatro décadas para atingir uma massa crítica robusta. No início da década de 2020, bases de dados como a BITRA registraram mais de 80 mil publicações acadêmicas voltadas para os ETI. Isso chamou a atenção para esse tipo de análise bibliográfica de longo alcance e pode ser visto como uma espécie de certificado de consolidação e maturidade dos ETI como campo disciplinar no mundo acadêmico.

voltar ao topo

Principais parâmetros bibliométricos

Os objetivos mais frequentes da pesquisa bibliométrica levam em conta os seguintes parâmetros: 

• Temporais (diacronia do campo disciplinar ou recorte sincrônico de um momento histórico).
• Temáticos (objetos de estudo e abordagens teóricas).
• Autorais (coautoria, produtividade, grau de especialização).
• De redes (grupos e suas redes, nós institucionais, nacionais e/ou editoriais na produção acadêmica).
• Distributivos (acessibilidade dos documentos, distribuição por idiomas e formatos).
• De impacto (citações, cocitações, downloads, reimpressões, revisões e traduções).

Esses parâmetros são aqui apresentados separadamente para maior clareza. No entanto, é importante estar ciente de que é comum em estudos bibliométricos combinar vários desses parâmetros para traçar um retrato amplo do aspecto em estudo. Assim, por exemplo, não é comum fornecer um estudo diacrônico apenas com números de crescimento, pois esses são frequentemente combinados com outros parâmetros, especialmente com aqueles que apresentam uma natureza temática e/ou distributiva.

A análise relacionada ao parâmetro temporal geralmente concentra-se em responder a determinadas perguntas: quando esse campo disciplinar começou a despertar interesse acadêmico e como seu tratamento evoluiu em um determinado período? Conforme mencionado, a mera justaposição de gráficos é frequentemente acompanhada de outras abordagens sócio-históricas e contextualizações que ajudam a entendê-los.

A análise temática busca classificar a produção bibliográfica de acordo com seus principais objetos de estudo, abordagens ou escolas teóricas, geralmente com base em estudos de frequência de palavras-chave e de palavras em títulos e resumos.

A análise autoral busca responder a um rol de outras perguntas: os pesquisadores são especialistas ou seus interesses são esporádicos? Eles tendem a trabalhar com outros autores ou sozinhos? Como a produtividade é distribuída no campo disciplinar?

A análise de rede sobrepõe-se parcialmente à anterior e busca examinar parâmetros de colaboração estável entre pesquisadores, se essas relações e redes tendem a ser nacionais ou internacionais e quais são as redes mais produtivas (e, portanto, geralmente mais influentes) em termos de grupos, centros de pesquisa, regiões e editoras especializadas.

A análise distributiva examina aspectos de natureza acessória e geralmente concentra-se na acessibilidade dos documentos (se são de acesso fechado ou aberto, uma tendência cada vez mais consolidada), na distribuição dos idiomas de publicação (como um reflexo dos equilíbrios no mundo acadêmico), ou nos formatos. Esses aspectos configuram-se como pistas que podem até mesmo fornecer informações sobre o foco epistemológico de um determinado campo disciplinar.

Por fim, a análise de impacto é a técnica bibliométrica mais conhecida na academia, pois desempenha um papel cada vez mais decisivo na avaliação da pesquisa individual e, portanto, nas possibilidades de ascensão na carreira. A maneira tradicional e mais comum de medir o impacto de um texto, de um autor ou de um repositório (periódico, editora etc.) consiste em calcular as citações recebidas por diferentes métodos, incluindo o fator de impacto e o índice h. Entre a comunidade acadêmica, até agora, tem havido uma tendência de presumir que o número de citações está diretamente correlacionado com a qualidade da pesquisa, e cada vez mais países aplicam esse índice de forma mecânica ao avaliar seus pesquisadores, não sem forte resistência. Entretanto, essa relação proporcional supostamente direta está longe de ser fidedigna. Para atenuar o que, às vezes, é visto como um uso perverso do impacto das citações, foram empreendidos esforços para qualificar os métodos de cálculo. Isso tem sido feito, por exemplo, com novos índices, até agora pouco consolidados, ou com diferentes intervalos de citação (tempo médio que um documento leva para receber sua primeira citação ou para atingir uma determinada porcentagem de citações) de acordo com cada campo disciplinar. Outros procedimentos complementares incluem a ampliação das bases de dados bibliográficos que funcionam como repertório de obras citáveis ou a incorporação do rastro que as publicações deixam na Internet em termos de número de visitas, leituras e downloads (altmetria). 

voltar ao topo

Perigos e limitações das análises bibliométricas

A imponente base matemática da bibliometria confere a ela uma aura de assepsia e objetividade que precisa ser qualificada. Um estudo bibliométrico de qualidade pode fornecer muitas informações úteis e empíricas, mas, como em qualquer análise estatística, alguns elementos centrais não são, de forma alguma, axiomáticos ou evidentes, tais como a definição do objeto de estudo, a seleção de métodos, indicadores e perguntas, a representatividade dos dados e sua interpretação. Portanto, é importante estar ciente de algumas preconcepções e limitações que acompanham os estudos bibliométricos. As que provavelmente mais se destacam são apresentadas a seguir.

 

Uma corrente é tão forte quanto seu elo mais fraco

A confiabilidade de uma análise bibliométrica depende, antes de tudo, da integridade e da representatividade dos dados nos quais ela se baseia. As bases de dados bibliográficos, especialmente em campos disciplinares dinâmicos, têm lacunas e vieses decorrentes de fatores como os critérios de inclusão, a disponibilidade e visibilidade das publicações do ponto de vista dos compiladores. No caso dos ETI, as bases de dados bibliográficos de referência, sejam elas criadas na Europa ou nos Estados Unidos, podem ser rotuladas como eurocêntricas em graus variados (BITRA ou TSB) ou anglófilas (Web of Science). Ou podem ser tão cheias de ruído documental (Google Scholar) ou tão carentes de rótulos específicos (Scopus) que, às vezes, são muito difíceis de serem usadas para os fins de um determinado campo disciplinar. Aqui está uma breve descrição de cada uma delas.

A Web of Science (WoS) e a Scopus são bases de dados generalistas que abrangem uma ampla variedade de campos disciplinares científicos. Nessas bases de dados, os ETI não têm rótulo ou categoria própria e geralmente são agrupados em “áreas correlatas”, como a Linguística. Portanto, é necessária uma análise manual detalhada dos documentos recuperados. Uma das principais limitações de ambas as bases de dados é que elas exigem uma assinatura, sem a qual nem todas as informações podem ser acessadas. Ambas abrangem apenas parcialmente as Ciências Humanas e Sociais, embora essa limitação seja mais proeminente na Web of Science do que na Scopus (Mongeon & Paul-Hus 2016). Os documentos recuperados são principalmente artigos de periódicos (e somente de periódicos indexados, com critérios muito restritivos) e, em menor escala, livros. Essa é uma limitação importante para os ETI, uma vez que os capítulos de livros, livros ou as teses de doutorado compreendem uma porcentagem nada insignificante do número total de publicações nesse campo (Rovira-Esteva, Franco & Olalla-Soler 2019). Uma base de dados com mais de 80% das entradas em inglês, que não tem um rótulo específico para os ETI, que praticamente ignora os documentos que não sejam artigos e que inclui menos de 10% dos periódicos especializados nesse campo, necessariamente gera resultados tendenciosos.

O Google Scholar (em português, Google Acadêmico) abrange de forma mais adequada as Ciências Humanas e Sociais (Martín, Orduña, Thelwall et al. 2018), embora tenha suas próprias limitações. A principal delas é que essa base de dados está repleta de ruído documental, sobretudo porque a compilação é automática (sem revisão humana) e indexa todos os documentos que encontra na Web, independentemente do tipo (inclui, por exemplo, apresentações de slides de conferências ou planos de ensino) e da qualidade da publicação.

A The International Information Network on Research into Conference Interpreting (CIRIN) é um boletim bibliográfico de acesso aberto sobre a pesquisa em Interpretação de Conferências.

A Bibliography of Interpreting and Translation (BITRA) e a Translation Studies Bibliography (TSB) são as duas bases de dados holísticas e específicas dos ETI. A BITRA é de acesso aberto, ao passo que a TSB exige uma assinatura. A BITRA extrai citações de documentos e indica acessibilidade aberta; ambas podem ser descritas como linguisticamente eurocêntricas, mas são recursos eficientes para o estudo de nosso campo.

Duas consequências básicas podem ser extraídas dessas possíveis limitações: em primeiro lugar, que os dados devem ser triangulados sempre que possível (nem todas as bases de dados compilam os mesmos dados e não são sistematicamente comparáveis) e, em segundo lugar, que essas limitações devem ser explicitamente declaradas para que o leitor afeito à análise bibliométrica possa contextualizar os resultados.

 

Os padrões de comportamento dos campos disciplinares são diferentes

Cada campo disciplinar é peculiar em termos de seu comportamento bibliográfico e de referencialidade. Por exemplo, o intervalo de citações, o número potencial de referenciadores e o número médio de citações por autor tendem a ser distintos, o que torna aconselhável o uso de parâmetros de análise padronizados e específicos para cada campo de pesquisa. Em outras palavras, os campos disciplinares não são diretamente comparáveis a partir de uma perspectiva bibliométrica e, portanto, são necessários estudos específicos para corrigir esse viés disciplinar. Se um campo disciplinar relativamente minoritário, como é o caso dos ETI, for incluído como parte de um campo maior, como o campo da Linguística, a grande maioria de seus textos e repositórios necessariamente aparecerão com um impacto menor do que seria o caso se o domínio minoritário fosse considerado isoladamente. Aliás, esse talvez seja o principal argumento a favor do desenvolvimento de bases de dados bibliográficos específicas para aumentar a visibilidade de um campo que, do contrário, sempre será periférica.

 

A confusão entre quantidade e qualidade

A ideia de que o número de citações seja um reflexo direto e objetivo da qualidade de uma publicação baseia-se na suposição de que todos os trabalhos acadêmicos estão em pé de igualdade em termos de referencialidade, de modo que a diferença nas citações só pode ser devida ao fato de que os melhores estudos atraem mais atenção entre os especialistas. Esse simplesmente não é o caso. Um artigo com conteúdo idêntico terá índices de citação completamente diferentes, desde o seu surgimento, se for escrito em esperanto ou em inglês, porque há muito menos pesquisadores que entendem esperanto. Portanto, é necessário relativizar o número absoluto de citações e tentar normalizá-lo na análise. Aqui está um exemplo.

Gideon Toury foi um teórico dos ETI cuja qualidade e valor histórico são uma questão de consenso. Ele também é o autor do trabalho mais citado na BITRA, muito mais do que qualquer outro acadêmico. Toury escreveu três livros, em 1977, 1980 e 1995. O volume de 1977 foi escrito em hebraico e, em março de 2020, teve 19 citações na BITRA (0,4 citações/ano). O livro de 1980, publicado em inglês por uma universidade israelense, é um dos alicerces da revolução teórica que deu origem aos modernos Estudos da Tradução e tem 293 citações (7,3 citações/ano). O livro de 1995, em inglês e lançado por uma prestigiada editora comercial holandesa, é basicamente uma reformulação ordenada do livro de 1980 e tem 960 citações (38,4 citações/ano). Uma aplicação mecânica da relação impacto-qualidade nos diria que o livro de 1977, no qual as teses de Toury são apresentadas pela primeira vez, é bastante fraco, o livro de 1980 é muito válido, mas nada extraordinário, ao passo que o volume de 1995, sem originalidade desde o início, é cinco vezes melhor do que o livro de 1980 e o melhor trabalho de pesquisa já realizado nos ETI. Na verdade, são as variáveis da língua na qual foi escrita e publicada a obra e do poder de divulgação das editoras — nada a ver com qualidade — que explicam o impacto diferente dessas três obras.

Além daquelas do exemplo anterior, talvez as principais variáveis de referencialidade sejam o motivo da citação (uma publicação também pode ser citada para receber críticas), o tempo decorrido (quanto mais anos se passarem desde a publicação de um texto, maior a probabilidade de ele acumular citações), a popularidade do objeto de estudo (análises de tradução de Shakespeare atraem muito mais pesquisadores do que aquelas que tratam de Rosalía de Castro) e o grau de especialização (quanto mais generalista, mais citações em potencial. Por isso, manuais, exposições gerais e resumos tendem a ser os documentos mais citados). Por exemplo, Franco Aixelá (2013) observou que a grande maioria dos 50 documentos mais citados nos ETI eram livros generalistas escritos em inglês e publicados no final do século XX.

Isso não significa que o número de citações não esteja relacionado à qualidade, mas significa que a única maneira de o impacto ser significativo é comparar entre iguais, ou seja, entre ensaios com um grau semelhante de referencialidade. Em outras palavras, ter muitas citações pode ser considerado uma indicação provável de interesse em determinada categoria, ao passo que a falta de citações com frequência se deve a motivos que nada têm a ver com falta de qualidade.

Na mesma linha de confusões relacionadas à qualidade, as agências de avaliação acadêmica geralmente usam o impacto da revista para avaliar um artigo. Para dar um exemplo, em março de 2020, a BITRA registrou quase 450 artigos na Target, uma das revistas de maior prestígio e a que tem o melhor índice de impacto nos ETI. Na BITRA, há dois artigos da Target com mais de 120 citações detectadas até aquela data, ao passo que mais de 100 artigos não tiveram nenhuma citação detectada. Usar o índice de impacto geral da revista automaticamente para caracterizar os artigos individuais significa que os dois artigos com mais de 120 citações têm o mesmo impacto e, portanto, (de acordo com o imaginário social) a mesma qualidade que os 100 artigos com zero citações. 

 voltar ao topo

Questões metodológicas

Uma base de dados é o primeiro instrumento necessário para a realização de uma análise bibliométrica. Há dois tipos principais de bases de dados: as criadas e fornecidas por terceiros e as bases de dados ad hoc. Essas últimas são criadas a partir da mineração de dados bibliográficos e bibliométricos de um determinado conjunto de publicações. Para que seja possível descrever tendências, esse corpus de publicações extraídas deve ser representativo, tanto qualitativa quanto quantitativamente. Essa representatividade costuma ser aprimorada com o uso de bases de dados de terceiros, o que também ajuda a limitar o viés decorrente dos interesses e preconcepções dos pesquisadores.

Para melhorar a representatividade e a integridade da base de dados, os dados de diferentes fontes podem ser integrados. Nos ETI, isso é recomendado especialmente para estudos baseados sobretudo na Web of Science e na Scopus, devido às suas limitações. Atualmente, não há ferramentas disponíveis para facilitar o processo de integração de dados de diferentes bases de dados, e essa é uma tarefa que precisa ser feita manualmente.

Após a obtenção das informações e a criação da base de dados para as análises, os dados devem ser preparados. Na etapa inicial, criar a base de dados em uma planilha ou em um gerenciador de base de dados é uma boa ideia. Os dados são preparados de acordo com os aspectos a serem analisados. O objetivo dessa primeira etapa é reparar erros para tornar a análise o mais limpa possível. Se, por exemplo, os parâmetros do autor tiverem de ser analisados, é importante que seus nomes estejam escritos corretamente e de forma coerente (para os softwares de análise, “E. A. Nida”, “Eugene Albert Nida”, “Nida, E. A.” ou “Nida, Eugene A.” são autores diferentes). Os símbolos que podem causar erros de leitura ao transferir informações e alterar formatos também devem ser removidos. Após a preparação, a base de dados é transferida para um aplicativo de análise estatística. Na ausência de um software específico para bibliometria, qualquer pacote estatístico pode ser usado para essa finalidade, e há programas gratuitos e de código aberto que permitem que essa tarefa seja realizada adequadamente.

Antes de prosseguir com a análise estatística, os dados devem ser normalizados. A normalização é o processo de transformação de dados para facilitar a comparação entre conjuntos diferentes. Por exemplo, ao se realizar uma pesquisa bibliométrica em 2021, dois artigos de 1990 e 2018, ambos com 15 citações, não indicam o mesmo impacto, pois o último alcançou o mesmo número de citações em muito menos tempo.

Waltman e van Eck (2013) listam vários sistemas de normalização de dados bibliométricos. Há dois métodos principais: o primeiro usa percentis (geralmente percentis 25, 50, 75, 90 e 95) em vez de contagens absolutas. O segundo divide os dados pelo máximo absoluto ou por um valor esperado.

Figura 1. Número de autores com 1-15 publicações nos ETI (1961-2015).

Estatísticas orientadas para a bibliometria

De modo geral, os dados bibliométricos quantitativos são discretos, com uma distribuição positivamente assimétrica (Figura 1) semelhante a uma distribuição de Pareto (cf. a lei de Zipf, a lei de Lotka e a lei de Bradford [Bailón, Jurado, Ruiz et al. 2005]).

 

Consequentemente, o teorema do limite central não é aplicável à bibliometria. Por esse motivo, as estatísticas paramétricas para fins de inferência devem ser usadas com cautela. Da mesma forma, as médias e os desvios padrão são parâmetros estatísticos que não fornecem uma descrição confiável do centro e da dispersão dos dados. Portanto, é aconselhável usar outros parâmetros, tais como a mediana e os percentis, no caso da descrição da tendência dos dados, e o desvio absoluto da mediana central ao descrever a dispersão. Em termos de procedimentos de regressão, os modelos baseados na distribuição de Poisson geralmente são apropriados para dados bibliométricos quando o tempo é usado como um fator na análise, por exemplo, do número de citações (De Bellis 2009).

Além disso, quando a amostra é muito grande, os resultados dos testes inferenciais tendem a ser estatisticamente significativos, mesmo que as diferenças entre os aspectos comparados sejam pequenas e, portanto, irrelevantes. É aconselhável que todos os testes estatísticos sejam acompanhados de tamanhos de efeito (cf. Mellinger & Hanson 2017 para calcular tamanhos de efeito) e que se tenha estabelecido previamente um nível mínimo de tamanho de efeito para determinar quais resultados significativos são relevantes para o estudo.

 

Alguns indicadores na produção acadêmica

A Tabela 1 lista alguns indicadores na análise da produção acadêmica. A produção pode ser analisada em termos da evolução das publicações, seus formatos, países e instituições com a maior produção científica e os idiomas mais produtivos, para citar apenas algumas possibilidades.

Tabela 1. Alguns indicadores relacionados à produção acadêmica
indicador	finalidade	estimativa
desenvolvimento ao longo do tempo	descrever como qualquer aspecto de interesse se desenvolve à medida que o tempo avança	frequência, por meio de índices cumulativos
produtividade por total de publicações (Vinkler 2009)	comparar a produtividade de grupos de pesquisa que compartilham características semelhantes em um determinado período	tp = período U(tp) = total de publicações nesse período K = média de pesquisadores analisados
produtividade por total de artigos (Vinkler 2009)	comparar a produtividade relacionada a periódicos de grupos de pesquisa que compartilham características semelhantes em um determinado período	tp = período P(tp) = total de publicações em periódicos nesse período Pi(tp) = total de publicações em periódicos indexados naquele período K = média de pesquisadores analisados
índice de atividade (Frame 1977)	determinar a taxa de produção de uma parte (subcampo disciplinar, país, idioma etc.) em relação à produção como um todo	Pt = total de publicações da parte PT = total de produções do todo

Indicadores de impacto

A Tabela 2 mostra alguns dos índices bibliométricos usados para medir o impacto da produção científica em termos de citações, mas existem outros.

 

Tabela 2. Alguns indicadores relacionados ao impacto (por meio de citações)
indicador	finalidade	estimativa
fator de impacto de uma revista (Garfield & Sher 1963)	medir a média de citações por artigo em uma determinada revista e ano por meio de citações recebidas em um determinado período (intervalo de citações, normalmente entre 2-5 anos)	C = total de citações a artigos publicados em uma revista nos últimos dois (ou cinco) anos P = total de artigos publicados em uma revista nos dois ou cinco anos anteriores y-1 Y y-2 = anos conforme estabelecido no intervalo de citação
índice h (Hirsch 2005)	medir a produtividade e o impacto de um pesquisador ou repositório	O maior número de publicações de um autor que foram citadas pelo menos h vezes
obsolescência de citações	descrever a obsolescência bibliográfica	distribuição anual de citações recebidas (por um documento ou um grupo de documentos) como uma contagem e como uma proporção cumulativa
idade mediana das citações	medir a idade mediana das citações recebidas por uma publicação em um determinado ano	mediana da idade das citações (ano da citação — ano da publicação citante) recebidas por um documento em um determinado ano
mediana da idade dos documentos citados	medir a mediana da idade dos documentos citados por uma publicação	mediana da idade dos documentos (estabelecido — ano de publicação) citados por um documento em um determinado ano
índice de imediatismo (McVeigh 2004)	medir o tempo que os documentos publicados em um determinado ano levam para serem citados na bibliografia do mesmo ano. Geralmente aplicado a periódicos	Cy = Número de citações aos artigos de um periódico publicados em um determinado ano Py = Número de artigos publicados nesse mesmo ano
Índice de atratividade Schubert & Braun 1986)	medir a taxa de citações recebidas por uma parte (subdisciplina, país, idioma etc.) em relação ao total de citações recebidas pelo todo	Ct = total de citações da parte CT = total de citações do todo
probabilidade de ser citado (Vinkler 2004)	medir a média de citações que um grupo de publicações feitas em um determinado período pode receber em um determinado ano	ry(t) ⋅ Py = número médio de referências nos documentos publicados no ano y Pt = número de documentos publicados no período t

Ao usar citações como unidade de análise, é necessário decidir se as autocitações devem ser incluídas, pois elas podem distorcer os resultados. Argumentos a favor e contra isso podem ser encontrados em Cooke e Donaldson (2014). Outros indicadores de impacto, além das citações, são o número de downloads, o número de resenhas positivas por pares, reimpressões, traduções etc.

 

Indicadores de autoria

De modo geral, os parâmetros de autoria estão ligados à produtividade e ao impacto. Esses indicadores estão relacionados principalmente à colaboração entre autores (e, consequentemente, entre instituições ou países). Portanto, são análises de coautoria. Para esse tipo de análise, o pesquisador deve decidir como contar os autores de uma publicação em coautoria, já que o trabalho que leva a uma publicação nem sempre é distribuído igualmente. Em geral, dois métodos são propostos: contagem completa e contagem fracionada. Na contagem completa, cada autor é reconhecido como o autor único da publicação (1 publicação entre 4 autores = 1 publicação por autor). Na contagem fracionada, o crédito da publicação pode ser dividido igualmente entre os autores (1 publicação entre 4 autores = 0,25 por autor) ou ponderado de acordo com fatores apropriados (como ordem de assinatura da publicação, status acadêmico etc.). A contagem completa é geralmente considerada mais operacional, pois é difícil saber como o trabalho foi dividido entre os coautores. No entanto, a contagem completa também tem muitos detratores, sobretudo nos campos em que a autoria tende a envolver dezenas de pessoas por documento. Várias iniciativas tentam estabelecer desde o início do cadastro da publicação a função de cada coautor. Vinkler (2009) lista vários métodos de contagem fracionária. A coautoria é frequentemente estudada por meio de redes bibliométricas (Figura 2).

Figura 2. Rede de colaboração entre autores nos ETI de 2011 a 2015 (fonte de dados: BITRA, setembro de 2019; método de contagem: completo; critério de inclusão: mínimo de quatro publicações em coautoria).

Essas redes fornecem uma visão geral da colaboração entre os autores e os colocam em grupos de acordo com o grau de proximidade entre eles. Esse método também é útil para visualizar redes de cocitação. As cocitações medem o número de vezes que dois documentos são citados simultaneamente na mesma publicação, fornecendo uma visão geral da influência e do impacto de determinados autores sobre outros. Para elaborar essas redes, há softwares específicos e gratuitos, como o VOSviewer (van Eck & Waltman 2010).

 

Indicadores temáticos

Os objetos de estudo de um campo disciplinar ou parte dele podem ser analisados com base em vários aspectos: em rótulos mais frequentes (no título, resumo ou palavras-chave), campos de pesquisa aos quais os documentos pertencem, na relação entre tópicos, em palavras-chave ou campos etc. As análises temáticas também são particularmente úteis para determinar o peso respectivo de escolas teóricas ou metodologias de pesquisa com base em termos-chave típicos de cada uma delas. Como no caso da coautoria, as redes bibliométricas são muito úteis para visualizar esse tipo de dados.

voltar ao topo

 

Trinta anos de estudos bibliométricos em Estudos da Tradução e da Interpretação

Para revisar a bibliografia de estudos bibliométricos no campo disciplinar dos ETI, as entradas da BITRA foram filtradas usando palavras-chave destinadas a recuperar trabalhos de natureza quantitativa (bibliométrica, quantitativa, cienciométrica, estatística etc.). O rótulo “bibliometria” é relativamente recente, e restringir a pesquisa a ele teria deixado de fora muitas contribuições com abordagens quantitativas ou baseadas em cálculos estatísticos mais ou menos sofisticados. Muitas delas foram, de alguma forma, pioneiras no campo e devem ser consideradas ao se estudar a evolução das abordagens bibliométricas quantitativas nos ETI. Para verificar sua elegibilidade, a lista de referências foi revisada manualmente, uma a uma, considerando o resumo — quando disponível — como a referência principal. Quando o caso era duvidoso ou as informações eram escassas, o documento era lido em sua totalidade, se acessível. As 117 referências que passaram nessa triagem compõem a base de dados usada na análise a seguir.

Podemos situar o nascimento dos estudos bibliométricos dentro dos ETI na década de 1990, com apenas 10 documentos (8,5%) que eram tematicamente diferentes, com um leve viés a favor da interpretação. O primeiro trabalho é o de Sajkevic (1992), embora ele se concentre mais em obras traduzidas do que em ETI. Nessa década, Franz Pöchhacker e Daniel Gile também se destacam como precursores dos estudos bibliométricos em interpretação.

Com o novo milênio, novos pesquisadores como Luc van Doorslaer, Javier Franco Aixelá, Nadja Grbić, Christian Olalla-Soler, Sonja Pöllabauer, Sara Rovira-Esteva e Ziyun Xu entraram em cena. Grbić e Pöllabauer (2008b) escreveram um artigo muito abrangente sobre conceitos e metodologias bibliométricas e como eles haviam sido aplicados aos ETI até aquele momento. De 2001 a 2010, foram publicados 34 artigos (29,1%), e a maior porcentagem (62,4%) corresponde a 2011-2019. Um pico de 22 publicações, em 2015, deve-se a uma edição especial do periódico Perspectives sobre bibliometria. Há também uma tendência de aumento em 2019, com 12 documentos. Essa terceira década mostra que a bibliometria está atraindo o interesse de um número maior de pesquisadores. Alguns têm vários trabalhos, mas os 73 artigos estão distribuídos entre 78 autores diferentes. Embora a maioria (61,5%) das contribuições seja de um único autor, quase 40% são em coautoria. Desses, mais da metade (22,2%) é de dois pesquisadores, 10,2% de três e 5,9% de quatro. Entretanto, as parcerias não tendem a durar mais do que algumas contribuições, exceto nos casos de Franco Aixelá e Rovira-Esteva que, com seis e 11 publicações, respectivamente, parecem ter consolidado equipes de trabalho nesse campo.

Pouco mais da metade dos estudos (51,3%) adota uma perspectiva multilíngue e internacional. Os demais são estudos de caso que enfocam diferentes aspectos dos ETI produzidos em idiomas específicos (que podem abranger mais de um país) ou áreas geográficas. Nesse sentido, a China é o país com o maior número de estudos (18,8%), quase todos realizados por seus próprios pesquisadores, seguida pela Espanha (9,4%). Em ambos os casos, os idiomas de publicação são quase sempre inglês e chinês ou inglês e espanhol, respectivamente. Há também dois trabalhos sobre países de língua espanhola e outros dois sobre os ETI na América Latina. O Brasil é o próximo país da lista, com três estudos específicos.

Quanto aos idiomas usados nos artigos, o inglês é claramente o idioma predominante, com 64,1% dos casos, seguido pelo espanhol (17,9%), chinês (8,5%), francês (5,1%) e português (1,7%). Apenas dois artigos foram encontrados em alemão e turco. Dois terços são artigos de periódicos (65,8%); um quarto são capítulos de livros (26,5%) e há cinco ensaios, dois livros e duas teses de doutorado. O único periódico que se destaca como uma plataforma para a publicação de estudos bibliométricos é Perspectives, devido à edição especial de 2015 mencionada anteriormente. De fato, os 77 artigos estão espalhados por 45 periódicos, a maioria deles especializados em ETI, mas também com alguns que não o são e, portanto, mais difíceis de localizar. Há 34 periódicos com apenas um artigo sobre bibliometria voltada para os ETI. Em termos de escopo temático, 57,3% das contribuições abrangem os ETI como um todo, ao passo que outras se concentram em um de seus subcampos disciplinares. No topo da lista estão os estudos sobre interpretação em geral ou em uma de suas modalidades (21,4%), seguidos por didática da tradução e tradução literária (com 5,1% cada), tradução técnico-científica (4,3%), tradução audiovisual (2,6%), linguística de corpus (1,7%) e, no final da lista, gênero e tradução, análise do discurso e teoria da tradução, com apenas uma contribuição cada.

Em algumas poucas publicações (10,2%), o objeto de estudo se restringe a um idioma específico, sem que nenhum se destaque. Muitas publicações não indicam o período de análise, pois são descrições do estado da arte. Outras apresentam uma visão diacrônica para descrever evoluções históricas, e um terço (33,3%) analisa períodos de tempo que variam de quatro a dois mil anos. Dos 39 estudos que especificam um intervalo de tempo, em 19 casos (48,7%) ele é inferior a 10 anos, 14 dos quais coincidem com estudos que se concentram apenas em periódicos incluídos em determinados índices de impacto (principalmente WoS), que se baseiam em intervalos de citação relativamente pequenos. Há oito artigos que analisam um intervalo de 10 a 30 anos e 12 que vão além desse número para abranger toda a nossa era.

As pesquisas tendem a abranger vários objetos de estudo e ferramentas metodológicas de análise ao mesmo tempo. A título de ilustração, 17 contribuições (14,5%) analisam parâmetros relacionados a pesquisadores (como sua afiliação, assuntos abordados, número de citações, padrões de coautoria, redes de cocitação e ordem de assinatura). A identificação dos tópicos predominantes de estudo nos ETI como um todo ou em algum subcampo analisando palavras em títulos, palavras-chave ou resumos também é uma abordagem relativamente frequente, com 22 ocorrências (18,8%). Outros parâmetros incluem a tipologia do documento (7), metodologia ou abordagem teórica (6), idioma (5), incluindo sua correlação com o número de citações, ou o número de páginas (2). Grbić & Pöllabauer (2008a) e Rovira-Esteva, Franco Aixelá & Olalla-Soler (2019) são dois exemplos de trabalhos ambiciosos devido à variedade de parâmetros que analisam e inter-relacionam.

As contagens de citações, incluídas em 13 artigos (11,1%), são relativamente recentes nos ETI, sobretudo por dois motivos: a baixa representatividade da produção acadêmica dos ETI nas bases de dados bibliográficos internacionais e a inexistência, até 2009, de uma base de dados específica que reunisse citações e referências, de modo que os dados pudessem ser cruzados para a realização de estudos de impacto de longo alcance no campo disciplinar. Os primeiros trabalhos que incluíram contagens de citações são de Gile (2005, 2006). Tanto o nascimento da TSB e da BITRA quanto a crescente inclusão de periódicos especializados em ETI nos índices de maior prestígio marcam um ponto de inflexão. Assim, 2009 representa o início de uma década em que o trabalho bibliométrico está proliferando, com análises estatísticas cada vez mais sofisticadas. 

voltar ao topo

 Potencial de pesquisa

Quase não há trabalhos que apresentem uma postura crítica em relação aos atuais sistemas de avaliação de pesquisa devido à situação precária dos ETI (cf. Rovira-Esteva & Orero 2011). Quase nenhum leva em conta índices alternativos (como o índice h do Google Scholar) ou outros, como os oferecidos pela Scopus, porque seu uso é novo na literatura especializada (Huang & Liu 2019). Essa precariedade só poderá ser superada com um número maior de estudos bibliométricos cada vez mais fortes, o que nos permitirá obter maior autoconhecimento, estabelecer quais dados representam a normalidade em nosso campo disciplinar e saber onde estamos em relação aos outros.

Atualmente, as possibilidades de análise bibliométrica quantitativa cresceram por vários motivos. Por um lado, graças à digitalização e à democratização das informações por meio da Internet, juntamente com o número crescente de documentos e bases de dados científicas de acesso aberto. Por outro lado, isso aconteceu devido ao aumento do número de periódicos dos ETI que entraram nos índices de impacto internacionais (na WoS, passamos de 7 periódicos em 2011 para 13 em 2020, e na Scopus, de 13 para 37) e à criação de bases de dados bibliográficos específicos dos ETI, reduzindo os vieses de representatividade e fornecendo informações sobre as citações de muitos de seus itens.

Muitas publicações ainda precisam ser estudadas, ou suas análises, até agora anedóticas, merecem esforços de pesquisa mais aprofundados, incluindo ordem de assinatura, perfil ou qualificações do autor, questões de gênero, redes de coautoria, interdisciplinaridade, análise de citações, número de páginas, visibilidade e acessibilidade das contribuições, indexação ou políticas de acesso aberto de periódicos, análise de coocorrências, instituições ou grupos de referência por subcampos disciplinares ou impacto em termos altmétricos. Os trabalhos de Grbić & Pöllabauer (2008b), Grbić (2013), van Doorslaer (2015) e Rovira-Esteva & Franco Aixelá (2018) apontam para caminhos inexplorados. Isso deve ser feito não apenas com bases de dados grandes e representativas que permitam análises longitudinais, mas também combinando abordagens mais qualitativas que permitam contextualizar os dados e obter resultados mais profundos. Com os recursos atuais, não apenas novas pesquisas podem ser realizadas, mas os estudos também podem ser replicados ou revisados periodicamente para atualizar a imagem que temos de nosso campo disciplinar.

voltar ao topo