Introdução

O emprego do método de meta-análises e revisões sistemáticas na investigação da eficácia de programas/intervenções junto a adolescentes infratores impulsionou o progresso na área mediante a identificação de diferentes aspectos que se mostravam associados a maior eficácia na redução da reiteração infracional, buscando compreender “o que funciona (e para quem)”. Especialmente as meta-análises estabeleceram critérios e procedimentos rigorosos para tratar conjuntos de estudos e permitiram sínteses quantitativas de seus resultados, diminuindo inferências qualitativas, muitas vezes enviesadas pelas percepções do pesquisador (Cullen, 2013).

Neste ponto, é relevante destacar o impacto da série de meta-análises produzidas por Mark Lipsey (2009; Tanner-Smith, Lipse y Wilson, 2016), especialista neste método. Essas foram realizadas tendo por base um extenso banco de dados de estudos empíricos (ensaios clínicos randomizados ou não) que apresentavam o tamanho do efeito das intervenções junto adolescentes infratores, na reiteração infracional (Lipsey, 2009; Tanner-Smith, Lipse y Wilson, 2016). A sofisticação das análises estatísticas nas sínteses meta-analíticas realizadas permitiu conclusões mais robustas e confiáveis, em torno de, ao menos, três pontos centrais: (1) as intervenções apresentavam, em média, um tamanho efeito positivo na redução da reiteração infracional, ainda que modesto; (2) o efeito das intervenções não era homogêneo, ou seja, diferentes aspectos como, por exemplo, a abordagem e o local/contexto da intervenção, impactavam o seu efeito sob a reiteração infracional; (3) aspectos metodológicos dos estudos primários impactavam os resultados da pesquisa.

Ainda, com base nas evidências obtidas nas meta-análises realizadas, Lipsy e colaboradores (2007) estruturam o “Protocolo Padronizado de Avaliação de Programas”, que visa classificar a eficácia de programas realizados no cotidiano do sistema de justiça juvenil, para a redução da reiteração infracional dos jovens atendidos. A avaliação guiada pelo protocolo inclui cinco itens gerais: (1) o tipo de intervenção realizada enquanto serviço primário, (2) os serviços suplementares oferecidos, (3) a duração e frequência do serviço, (4) a qualidade do serviço e (5) o nível de risco de reiteração infracional dos jovens atendidos. Este protocolo foi implementado pela equipe da “Divisão de Serviços de Juízes Juvenis do Escritório Administrativo dos Tribunais do Arizona”, em cinco de seus condados, e os resultados foram avaliados tanto por Lipsey e colaboradores (2007) quanto por pesquisadores independentes (Redpath y Brandner, 2010).

Em ambos os estudos, as pontuações obtidas pelo Protocolo apresentaram uma relação estatisticamente significativa com a reiteração infracional dos jovens, após a intervenção, no sentido esperado. Ou seja, a taxa de reiteração infracional dos adolescentes atendidos em programas com pontuações mais altas no Protocolo foi inferior à prevista, de acordo com ao risco de reincidência médio da própria amostra de jovens, ao passo que a taxa de reiteração daqueles atendidos em programas com pontuações mais baixas no Protocolo foi mais próxima do previsto (Lipsey, Howell y Tidd, 2007, Redpath y Brandner, 2010). É preciso frisar que, apesar de estatisticamente significativos, os resultados obtidos por pesquisadores independentes (Redpath y Brandner, 2010) foram mais modestos do que aqueles obtidos por Lipsy e colaboradores (2007), sendo que em um estudo mais recente acerca deste protocolo, realizado na Pensilvânia, junto a uma ampla amostra de jovens judicializados, não se obteve um resultado global estatisticamente significativo (Mulvey, Schubert, Jones, y Hawes, 2020).

De todo modo, desde então, a investigação científica tem buscado identificar e entender quais os diferentes aspectos/características dos programas/intervenções que se mostram relevantes à eficácia para a redução da reiteração infracional, de modo a produzir evidências científicas capazes de embasar a prática (Cullen, 2013). Dentro disto, a produção de meta-análises no campo da avaliação dos programas/das intervenções junto a adolescentes infratores vem desempenhando um papel fundamental no refinamento dos estudos sobre o tema (Lipsey 2009; Tanner-Smith, Lipse y Wilson, 2016) e os seus resultados e conclusões já têm impactado serviços prestados no âmbito do sistema de justiça juvenil (Lipsey, Howell y Tidd, 2007, Redpath y Brandner, 2010, Mulvey, Schubert, Jones, y Hawes, 2020), especialmente no contexto dos Estados Unidos (Lipsey, 2020).

Contudo, sabe-se que a qualidade metodológica empregada nos estudos meta-analíticos também impacta seus resultados, A despeito dos avanços proporcionados pelas meta-análises na investigação e na implementação de práticas baseadas em evidências, no âmbito do sistema de justiça juvenil, os níveis de rigor e de transparência metodológicos presente na sua condução, assim como em outros tipos de revisões científicas, afetam o nível de confiabilidade dos resultados apresentados (Polanin, Hennessy y Tsuji, 2020), sendo que fragilidades metodológicas desse tipo de estudo também produzem vieses (Polanin, Hennessy y Tsuji, 2020; Elliott et al., 2020; Shea et al, 2017). Ademais, como apontado em meta-análises sobre o tema, aspectos metodológicos dos estudos primários impactam os resultados da pesquisa, de modo que estudos com um baixo rigor metodológico tendem a produzir um tamanho de efeito maior na análise de diferentes aspectos das intervenções (Lipsey, 2009), o que também representa um viés.

Nesse sentido, para a leitura crítica dos resultados apresentados pelas meta-análises é fundamental a avaliação de sua qualidade metodológica, considerando aspectos como transparência, replicabilidade, abrangência e estratégia de busca, bem como mecanismos de análise e de minimização de viés dos estudos primários (Elliott et al., 2020, Shea et al, 2017). É nessa esteira que se propôs a realização de uma revisão sistemática de outras revisões sistemáticas e meta-análises acerca da eficácia de programas de intervenção para redução da reiteração infracional em jovens infratores, no contexto de instituições correcionais/de confinamento, visando descrever as características desses estudos, bem como avaliar seu rigor metodológico.

Método

Foi realizada uma revisão sistemática de outras revisões ou meta-análises, método denominado em inglês como “overview of reviews”. Esta cumpriu com os critérios metodológicos propostos pela Cochrane e Cambpell, renomadas instituições de pesquisa em intervenção na área da saúde e na área social, respectivamente (Higgns y Green, 2008, Biondi-Zoccai, 2016). A presente pesquisa foi registrada no Open Science Framework (OSF - número de registro https://doi.org/10.17605/OSF.IO/NXK98), onde se encontra disponível um arquivo suplementar. O protocolo de pesquisa foi elaborado cuidadosamente antes da execução da busca e pode ser verificado em detalhes, com as devidas atualizações, no arquivo suplementar.

Critério de Inclusão de estudos para esta revisão

Foram incluídos neste estudo: (a) artigos científicos de revisão sistemática e meta-análises abarcando estudos experimentais, quase experimentais e também sobre outras revisões ou meta-análises; (b) esses tinham que incluir estudos primários que tivessem como amostra, exclusivamente, jovens que participaram da intervenção com idades entre 12 e 21 anos incompletos; (c) que tivessem avaliado programas de intervenções para redução nos níveis de reiteração infracional, implementados em instituições de internação, no escopo do sistema de justiça juvenil; (d) tendo como comparação uma modalidade distinta de intervenção, ausência de intervenção sistematizada ou placebo; (e) e apresentando como medidas de resultados principais informações de atos infracionais, oficiais ou não, ou seja, dados de reiteração infracional após a intervenção. Foram excluídos estudos que focalizavam apenas efeitos de intervenções específicas voltadas a adolescentes envolvidos em infrações sexuais, incêndio ou piromania, uma vez que remetem a problemáticas particulares.

Método de busca para recuperação dos estudos

A busca por literatura foi realizada de forma online em sete bases de dados, em um primeiro momento no dia 07/02/2020 e, posteriormente, atualizada no dia 13/02/2023, seguindo o mesmo método. As bases de dados consultadas foram: ProQuest, MEDLINE, Scopus, Web of Science, PsycInfo, Campbell e Cochrane.

A escolha dos descritores se deu por meio de uma revisão narrativa de revisões sistemáticas sobre o assunto, analisando especificamente os descritores utilizados. Os descritos utilizados constam no arquivo suplementar. Para realização da busca, não foi empregado nenhum tipo de limite temporal ou restrições acerca da linguagem ou tipo de documento recuperado, apenas na atualização realizada em 13/02/2023, colocou-se como limite temporal os artigos publicados a partir de 2020.

Coleta e análise de dados

Em ambas as buscas, os artigos recuperados nas diferentes bases de dados foram exportados para a plataforma do EndNote Web. Após a eliminação das duplicatas, a análise dos títulos e dos resumos foi realizada por duas pesquisadoras independentes (MF, LG). Assim, a tabulação dos dados de seleção ou rejeição dos artigos foi realizada em uma planilha Excel. Mediante os resultados das avaliações, foi calculado o índice de concordância Kappa. As discordâncias entre as pesquisadoras foram resolvidas por uma terceira avaliadora com conhecimento sobre a temática estudada (LS). Por fim, os artigos selecionados foram lidos na íntegra e seus dados extraídos e organizados em uma planilha padronizada. Nesta etapa foi, ainda, possível descartar alguns estudos devido à incompatibilidade com os critérios de inclusão, não apreendida por ocasião da análise dos títulos e resumos.

Extração de dados

Os dados foram extraídos de forma conjunta pelas três pesquisadoras envolvidas no processo de seleção dos estudos, sendo organizados em uma planilha do Excel, de forma em que cada autora se responsabilizou pela extração dos dados de parte dos artigos. As informações extraídas referiam-se aos seguintes tópicos: identificação do artigo, objetivos, critérios de inclusão, características dos participantes incluídos na revisão sistemática, características metodológicas dos estudos primários, características das intervenções realizadas nos estudos primários e resultados identificados pela revisão sistemática, incluindo ou não meta-análise.

Avaliação da qualidade metodológica das revisões incluídas

A qualidade das revisões incluídas foi avaliada conforme os parâmetros propostos pela ferramenta AMSTAR-2, formada por 16 itens. Essa permite a avaliação da qualidade metodológica de revisões sistemáticas e meta-análises. Apesar de a ferramenta não permitir o cálculo de um escore geral de classificação, ela sugere a avaliação da confiança geral nos resultados dos estudos a partir da presença ou ausência de sete itens considerados críticos. Assim, a avaliação da confiança geral nos resultados pode ser considerada: alta, moderada, baixa ou criticamente baixa (Shea et al, 2017).

Resultados

Resultados da busca

Somando o resultado das duas buscas realizadas, foram recuperados 643 artigos nas sete bases de dados consultadas. Ao eliminar as duplicações, os títulos e resumos de 442 artigos foram analisados por duas avaliadoras independentes de acordo com os critérios de inclusão descritos anteriormente, resultando na seleção de 40 estudos para leitura integral. O índice de concordância Kappa calculado foi de 0,798 com o índice de confiabilidade de 95%, que pode ser considerado como uma boa concordância entre as pesquisadoras (Silva y Paes, 2012). Após a leitura integral dos 40 estudos selecionados, constatou-se que parte dos artigos não atenderam os critérios determinados, de forma que apenas 25 artigos foram incluídos neste estudo. A justificativa de cada artigo excluído, após a leitura integral, pode ser visualizada na Tabela 1 dos arquivos suplementares.

Descrição dos artigos incluídos

Todos os artigos incluídos estavam na língua inglesa, sendo a maioria deles (n = 14) de pesquisadores provenientes dos Estados Unidos. Os demais estudos são europeus, oriundos da Holanda (n = 04), Espanha (n = 02), Suécia (n = 02), Inglaterra (n = 01) e País de Gales (n = 01), e em um último não foi possível identificar a nacionalidade. É importante salientar que dentre as revisões sistemáticas recuperadas, 20 realizaram cálculos meta-analíticos para a síntese dos resultados, sendo que 18 analisaram dados provenientes de estudos primários e 02 analisaram outras meta-análises; os 05 estudos restantes consistem em revisões sistemáticas com síntese narrativa dos resultados.

A maioria dos estudos investigou o efeito dos programas de intervenção, em geral, comparando a eficácia de diferentes modalidades (bases teórico-metodológicas), contextos de intervenção ou os padrões de conduta delituosa dos jovens. Assim, a maior parte dos estudos foi publicada em revistas de Criminologia (n = 13) ou de áreas correlatas, como psicologia e trauma (n = 04), adolescência (n = 02), serviço social (n = 02), revisão sistemática (n =02) e outros (n = 02). A descrição de cada artigo incluído pode ser visualizada na íntegra na Tabela 3 do arquivo suplementar. Outro dado interessante acerca da produção de meta-análises e revisões de literatura sobre o tema é seu incremento ao longo dos anos. É possível visualizar, na Figura 2, como sua produção é crescente, especialmente a partir dos anos 2000, com uma aceleração nos anos recentes, a contar de 2020.

Qualidade metodológica das revisões e meta-análises incluídas

A maior parte dos estudos avaliados (n = 18) apresentou uma qualidade metodológica que pode ser considerada criticamente baixa, de acordo com os critérios da ferramenta AMSTAR 2 (Shea et al., 2017). Uma parcela dos estudos, contudo, apresentou uma qualidade baixa (n = 3) e moderada (n = 3). Apenas um estudo (n = 1), realizado por meio da Campbell, apresentou qualidade metodológica que pode ser considerada alta. Destaca-se que a qualidade metodológica refere-se ao nível de confiança geral que se pode ter nos resultados apresentados pela revisão sistemática ou meta-análise avaliada. Os resultados detalhados da avaliação de cada estudo incluído podem ser verificados na Tabela 4 dos arquivos suplementares.

Os critérios principais de qualidade metodológica da ferramenta AMSTAR 2 (Shea et al., 2017) que foram atendidos pelos estudos incluídos podem ser visualizados na Figura 3, dentre eles destacam-se, em azul, os itens considerados críticos pela ferramenta. Nesse sentido, observa-se que o item crítico menos presente nos estudos avaliados (portanto, mais falho) foi a declaração explícita da existência de um método de revisão estabelecido, antes da busca, e com justificativa de possíveis desvios (item 2). Tal critério foi atendido por apenas 09 artigos. Portanto, foi o que mais contribuiu para o resultado geral dos estudos incluídos, como sendo de qualidade baixa.

Ademais, observa-se que os outros itens críticos que também impactaram de forma expressiva o resultado geral dizem respeito à avaliação e à discussão adequada de diferentes tipos de riscos de viés dos resultados em análise, dos ensaios clínicos randomizados ou não, e também do viés de publicação (itens 9, 13 e 15). Como se observa no gráfico, tais critérios foram atendidos por menos de 15 artigos.

Discussão

A produção de revisões sistemáticas acerca da eficácia de programas de intervenção, visando a redução da reiteração infracional juvenil, em sua maior parte, está localizada no contexto estadunidense. Sabe-se que os Estados Unidos da América (EUA) são o país com a maior taxa de encarceramento do mundo, com 639 presos a cada 100 mil habitantes, o que totaliza 2,2 milhões de pessoas em situação de encarceramento. Desse montante, 50 mil são adolescentes que se encontram confinados em instituições correcionais (do tipo internato) (Cathey, 2019). Assim, a redução das taxas de reiteração/reincidência se mostra uma questão particularmente importante para os EUA, seja por questões econômicas, considerando a relação custo-benefício do investimento em programas, seja por questões de preocupação com a segurança pública do país.

Nessa esteira, observa-se o incentivo, nos EUA, para a adoção de práticas baseadas em evidências, no âmbito da justiça juvenil, por meio da iniciativa federal do Office of Juvenile Justice and Delinquency Prevention’s (OJJDP’s), mantendo dois registros online de programas baseados em evidência na área: o “Model Programs Guide”, lançado nos anos 2000, e o “Crime Solutions”, lançado em 2011 (Elliott et al., 2020). Tal iniciativa se mostra também um incentivo para a investigação científica dos efeitos das intervenções no âmbito da justiça juvenil, no país, dada a valorização dos resultados dessas, na proposição e execução das políticas públicas. Essa política parece influenciar o fato de se ter uma maior prevalência, em contexto estadunidense, das meta-análises recuperadas nesta pesquisa. Nos resultados do estudo aqui realizado, observa-se que o crescimento da produção científica de meta-análises sobre o tema, a partir dos anos 2000, coincide com o ano de lançamento do “Model Programs Guide”.

Contudo, existem críticas à implementação e ao efeito de tais intervenções no próprio contexto estadunidense. Goshe (2019) aponta que, apesar dos notáveis avanços observados na humanização e na redução das taxas de internação dos jovens, a justiça juvenil estadunidense falhou em seu ideal inicial de reabilitação. Segundo a autora, o conceito de reabilitação pressupõe um processo complexo de inserção social plena e de exercício da cidadania, com a superação das causas que levam ao cometimento de delitos. Contudo, o que se observa é uma aposta em programas curtos, de cerca de 35 sessões ou 40h, focalizados em mudanças comportamentais e psicológicas, mas que, via de regra, ignoram a promoção de laços sociais no contexto de vida dos jovens e, portanto, falham na ampliação e sustentação de uma reabilitação efetiva.

Para além disto, vale destacar, que todos os estudos têm como primeiro autor pesquisadores oriundos do norte global. Essa informação denota a existência de um recorte sócio-político na produção de sínteses narrativas e meta-analíticas sobre a eficácia das intervenções para a redução da reiteração infracional juvenil. O debate acerca dessa localização geográfica dos autores/estudos relacionados à produção de conhecimento científico é crescente nas ciências sociais como um todo, em se considerando o quanto as evidências resultantes de tais sínteses remetem a um conhecimento que pode ou não ser generalizado (Moosavi, 2019).

Diferentes fatores explicativos para essa concentração geográfica dos estudos/autores são apontados (Moosavi, 2019). Em alguma medida, a escassez de estudos e, consequente produção científica, no tema, no sul-global remete a fatores históricos, políticos e sociais, que se convertem em obstáculos bastante concretos ao avanço das investigações na região: falta de financiamento público/governamental e privado para a pesquisa; falta de apoio institucional; dificuldade em se obter dados oficiais, dada a baixa sistematização e difusão dos mesmos; falta de liberdade acadêmica para dedicação exclusiva em pesquisa, bem como o fenômeno nomeado como “fuga de cérebros”, que remete ao fato de pesquisadores do sul global irem exercer o trabalho de pesquisador em países do norte, devido às melhores condições institucionais e financeiras ofertadas. Ademais, a pressão neoliberal por volume e velocidade na produção acadêmica dificulta a realização de experimentações exploratórias e o desenvolvimento de elaborações teóricas mais robustas, para a proposição de estudos que partam, de fato, da realidade de países do sul e do leste global (Moosavi, 2019).

Considerando a área de concentração das publicações dos estudos revisados, tem-se a Criminologia que, como ciência e carreira autônoma, não existe na maior parte dos países do sul global. Verifica-se que a Criminologia, enquanto disciplina científica autônoma, tem se desenvolvido com uma progressiva ampliação e ramificação de seus campos de estudos. Nesse âmbito, destaca-se, enquanto uma mudança potencialmente valiosa para o aprimoramento da Criminologia, um esforço crescente para integrar perspectivas tradicionais às contemporâneas, para condução de estudos, bem como uma tendência de maior globalização de seus estudos. As abordagens integrativas visam suprir as lacunas existentes nas teorias clássicas, a partir da incorporação de conceitos e perspectivas críticas atuais, sem desprezar a validade do que já foi construído. Por sua vez, o movimento de globalização da Criminologia busca democratizá-la em escala global, com o esforço de construir conceitos e perspectivas críticas que partam de fato da realidade de diferentes regiões do globo. Nessa esteira emergem as Criminologias Asiáticas, Africanas e Árabes, assim como a denominada Criminologia do Sul. Esta tem ganho visibilidade, visto que se aprofunda em questões especiais para o Sul Global como um todo que, via de regra, são menosprezadas por teorias e perspectivas ocidentais (europeias e anglo-americanas) como, por exemplo, as relativas à raça, à etnia e ao colonialismo (Asli, 2024).

Afora esses apontamentos sobre os limites dos estudos recuperados, deve-se também sublinhar que as sínteses da produção científica sobre intervenções para a redução da reiteração infracional juvenil apresentadas se restringem, principalmente, aos cálculos meta-análiticos, sem sínteses narrativas. É certo que o emprego de meta-análises mostra-se eficaz para a redução de vieses do pesquisador na apresentação dos resultados e oferece resultados interessantes, dada à comparação quantitativa entre diferentes variáveis dos estudos primários (Cullen, 2013, Lipsey, 2020). Contudo, a realização de uma síntese apenas quantitativa de diversos estudos, com delineamentos distintos, também impõe cuidado na interpretação quanto à fidedignidade dos resultados, o que demanda um maior rigor na análise da qualidade metodológica de tais meta-análises (Polanin, Hennessy y Tsuji, 2020). Há também críticas recentes ao risco de viés das técnicas estatísticas adotadas para simplificar a compreensão dos resultados dos estudos meta-analíticos (Schwarzer, Chemaitelly, Abu‐Raddad, y Rücker, 2019).

O histórico de desenvolvimento do próprio método meta-analítico constitui-se em um pano de fundo importante para compreensão do contexto, do período e, inclusive, das fragilidades na produção das meta-análises recuperadas nesta pesquisa. A implementação de sínteses quantitativas dos resultados de diferentes pesquisas surgiu enquanto uma necessidade no campo das ciências sociais, diante da produção de um grande número de relatórios de pesquisas abreviados, com análises estatísticas inferenciais, mas com pouco poder elucidativo acerca das questões norteadoras dos próprios estudos (Shadish y Lecy, 2015).

O pesquisador que cunhou o termo “meta-análise”, sendo o primeiro a descrever suas principais características, foi o psicólogo e estatístico estadunidense Gene Glass, na década de 1970 (Shadish y Lecy, 2015). Ele buscou desenvolver o método movido pelo objetivo de investigar os efeitos da psicoterapia, de acordo com a produção científica da época, de forma menos arbitrária. Ademais, sabe-se que outros pesquisadores estadunidenses da época realizaram esforços semelhantes de sínteses estatísticas dos resultados de estudos na área das ciências sociais (Shadish y Lecy, 2015). A partir daí, salienta-se que o método meta-analítico, além de ter sido inaugurado em contexto estadunidense, é recente e, portanto, ainda encontra-se em desenvolvimento. É possível, inclusive, localizar diversos estudos recentes discutindo ampliações das possibilidades de análises estatísticas que transcendem a estimativa de tamanho de efeito geral, ou a comparação entre eles, tal como proposto por Glass (2015). Tem-se, por exemplo, a meta-análise longitudinal ou multinível (Sera, Armstrong, Blangiardo, y Gasparrini, 2019).

Assim, compreende-se tratar-se de um método em desenvolvimento, que ainda apresenta fragilidades, tal qual verificado na maior parte dos estudos recuperados e incluídos nesta pesquisa. De todo modo, o conhecimento desenvolvido até aqui permitiu a identificação de critérios/fatores críticos na análise de qualidade de meta-análises (Shea et al, 2017), tornando sua consideração na avaliação da meta-análise fundamental, para uma leitura crítica dos resultados apresentados, bem como para fomentar o desenvolvimento do próprio método de análise.

Dentre os critérios/fatores críticos não atendidos, enquanto os principais limites da qualidade metodológica dos estudos recuperados, destaca-se a ausência de descrição detalhada dos procedimentos realizados, o que impossibilita sua replicabilidade (Elliott et al., 2020, Polanin, Hennessy y Tsuji, 2020, Wong y Bouchard, 2023). É possível que a opção, no presente estudo, de buscar apenas por artigos publicados e disponíveis nas bases de dados analisadas possa ter contribuído para esse fato, visto que, em geral, as políticas editoriais, para a publicação de artigos científicos, impõem um limite de páginas que, por vezes, concorrem para uma escrita mais concisa.

Nesse sentido, há evidência de que a contagem do número de palavras do artigo apresenta uma correlação positiva e significativa com a sua reprodutibilidade, ou seja, quanto maior a extensão do artigo, mais ele traz informações que possibilitam sua reprodutibilidade. Contudo, na pesquisa em questão, a reprodutibilidade não se correlacionou significativamente com a transparência, visto que parte importante dos estudos analisados, embora esses tenham relatado os procedimentos realizados, não o descreveram de modo suficiente para a sua reprodução (Wong y Bouchard, 2023). De todo modo, atualmente, existem estratégias para a promoção da transparência da escrita científica, como a publicação dos protocolos de pesquisa e demais dados pertinentes em um registro público online, como o Open Science Framework (OSF; https://osf.io/), como anexos à publicação. Inclusive, esse foi um recurso utilizado no presente estudo. Portanto, pondera-se que não existem obstáculos definitivos ao incremento da qualidade metodológica das meta-análises, no tocante a esse critério fundamental.

A baixa qualidade da descrição metodológica de artigos de meta-análise é especialmente preocupante em um contexto de tomada de decisão baseada em evidências, já que a falta de transparência dificulta a sua replicação em diferentes contextos (Pigott y Polanin, 2020). Com isso, Hardwike e colaboradores (2020) refletem que, apesar da existência de importantes discussões para se refinar a qualidade do conhecimento científico gerado, a falta de adoção de práticas de pesquisa minimamente transparentes e reproduzíveis, no campo das ciências sociais, diminuem sua credibilidade e eficiência.

Ao analisar estudos de revisão da área de Psicologia, por exemplo, identificou-se que estudos de revisão e meta-análise alcançavam, em média, metade dos critérios necessários para transparência e reprodutibilidade e que, ao longo de três décadas, essa proporção aumentou. Os critérios mais comuns de serem alcançados são: os critérios de elegibilidade, a medida de tamanho de efeito utilizada e as técnicas de síntese quantitativa. Por outro lado, os critérios relativos aos procedimentos de seleção e extração de dados, os códigos estatísticos completos e os tamanhos de efeito e as variáveis moderadoras de cada estudo primário, são menos identificados (Polanin, Hennessy y Tsuji, 2020). Na área da Criminologia, Wong e Bouchard (2022), no tocante à meta-análises, identificaram que a taxa média de transparência foi de 63%, tendo como base o protocolo PRISMA 2020, sendo que alguns critérios centrais não são recorrentemente atendidos, especialmente: registro do protocolo, disponibilidade dos códigos e dados e apresentação completa dos resultados. As autoras discutem a necessidade de modificações substanciais nas práticas de relato de pesquisa.

Vale a ressalva de que a maior parte dos estudos incluídos no presente estudo foram publicados há mais de dez anos, entre 1985 e 2014. Tal característica amostral pode ter impactado na qualidade metodológica identificada, visto que diferentes pesquisas mostram que a transparência metodológica de meta-análises em publicações mais recentes era mais notável, tendo uma chance maior de apresentarem informações suficientes para sua reprodutibilidade (López-Nicolás, López-López y Rubio-Aparicio, 2022; Polanin, Hennessy y Tsuji, 2020). Pode-se hipotetizar que, com o passar dos anos, a área se desenvolveu, tornando-se mais rigorosa e, com isso, melhorando no monitoramento dos fatores críticos pelos quais se deve primar.

A referência a um protocolo de pesquisa elaborado previamente ou a disponibilização de seu pré-registro também se destaca entre os critérios relevantes para a transparência e a qualidade metodológica das meta-análise. Contudo, isso se fez presente em uma minoria dos artigos incluídos nesta pesquisa, assim como, em outras pesquisas acerca da transparência e reprodutibilidade de meta-análises (López-Nicolás, López-López y Rubio-Aparicio, 2022, Polanin, Hennessy y Tsuji, 2020). Nesse sentido, López-Nicolás e colaboradores (2022) discutem que a importância do pré-registro vai além da promoção da transparência, atuando também na prevenção de viés, com base nos resultados, tendo em vista a declaração prévia das principais hipóteses, planos de design e análises.

Ademais, é preciso considerar que meta-análises acerca da eficácia de intervenções no campo da delinquência juvenil têm como base estudos primários realizados por meio de ensaios controlados randomizados ou quase experimentais. Portanto, a justificativa acerca do desenho dos estudos primários incluídos se torna relevante para seu rigor metodológico, critério este que foi pouco prevalente no conjunto dos estudos avaliados nesta pesquisa. A importância desse critério é destacada, por exemplo, em uma meta-análise acerca da eficácia de programas de intervenção para a redução da violência doméstica, junto aos agressores, pelo qual verificou-se que, embora os resultados agrupados tivessem sido favoráveis à intervenção, ao separar o tamanho de efeito dos estudos realizados por meio de ensaios controlados randomizados, dos estudos quase experimentais, os primeiros não apresentaram um tamanho de efeito significativo (Cheng, Davis, Jonson-Reid y Yaeger, 2021). Desse modo, verifica-se que a inclusão de estudos quase experimentais junto de experimentais podem concorrer para um viés importante nos resultados, o que deve ser explicitado e justificado no método, bem como debatido nos resultados.

Conclusão

Em suma, apesar do crescente avanço na produção de conhecimento científico acerca de práticas baseadas em evidências, os resultados obtidos na presente pesquisa indicam que as meta-análises acerca da eficácia de intervenções para a redução da reiteração infracional de adolescentes partem apenas da realidade do norte-global e ainda apresentam diversas fragilidades metodológicas. Diante disso, o emprego de abordagens integrativas no campo da Criminologia, para subsidiar a proposta de programas, assim como o estímulo a uma maior globalização de seus estudos, com testes e reelaborações dessas teorias em diferentes e diversas realidades, apresenta-se como uma maneira de preencher lacunas existentes na construção de conceitos e de perspectivas críticas, fundadas em diferentes contextos socioculturais, quanto à eficácia/efetividade de programas de intervenção na área (Asli, 2024). Ademais, a adoção de práticas científicas mais rigorosas, seja na aplicação do método das meta-análises, seja no alcance de critérios fundamentais, no processo de publicação, visando maior transparência e reprodutibilidade, revela-se urgente e fundamental para uma maior robustez dos resultados divulgados a partir das meta-análises, tendo em vista, inclusive, o fomento à credibilidade e à propagação das práticas baseadas em evidências (Pigott y Polanin, 2020).

Funções de colaboração das autoras

L.C.G. e M.R.B. foram responsáveis pela conceitualização do artigo.

L.C.G., M.G.O.F. e L.S.G. foram responsáveis pela metodologia.

L.C.G., M.G.O.F. e L.S.G foram responsáveis pela investigação e tabulação dos dados.

L.C.G., L.S.G e M.R.B. foram responsáveis pela redação.

Referencias bibliográficas

Blackburn, S. (2019). Juvenile Justice in Pennsylvania: Mission‐Driven; Performance‐ Based; Outcome‐Focused. Juvenile and Family Court Journal, 70(1), 73–87. https://doi.org/10.1111/jfcj.12127 

Cathey, D. (2019). Relatório Mundial 2020: Rights Trends in Estados Unidos. Human Rights Watch. https://www.hrw.org/pt/world-report/country-chapters/united-states

Cheng, S.-Y., Davis, M., Jonson-Reid, M. y Yaeger, L. (2021). Compared to What? A Meta-Analysis of Batterer Intervention Studies Using Nontreated Controls or Comparisons. Trauma, Violence & Abuse, 22(3), 496-511. https://doi.org/10.1177/1524838019865927

Cullen, F. T. (2013). Rehabilitation: Beyond Nothing Works. Crime and Justice, 42(1), 299–376. https://doi.org/10.1086/670395

Elliott, D. S., Buckley, P. R., Gottfredson, D. C., Hawkins, J. D. y Tolan, P. H. (2020). Evidence‐based juvenile justice programs and practices: A critical review. Criminology & Public Policy, 19(4). https://doi.org/10.1111/1745-9133.12520

Glass, G. V. (2015). Meta-analysis at middle age: a personal history. Research Synthesis Methods, 6(3), 221–231. https://doi.org/10.1002/jrsm.1133

Goshe, S. (2019). How Contemporary Rehabilitation Fails Youth and Sabotages the American Juvenile Justice System: A Critique and Call for Change. Crit Crim, 27, 559–573. https://doi.org/10.1007/s10612-019-09473-5

Moosavi, L. (2019). A Friendly Critique of 'Asian Criminology' and 'Southern Criminology'. The British Journal of Criminology, 59(2), 257–275. https://doi.org/10.1093/bjc/azy045

Lipsey, M. W. (2009). The Primary Factors that Characterize Effective Interventions with Juvenile Offenders: A Meta-Analytic Overview. Victims & Offenders, 4(2), 124–147. https://doi.org/10.1080/15564880802612573

Lipsey, M. W. (2020). Revisited: Effective use of the large body of research on the effectiveness of programs for juvenile offenders and the failure of the model programs approach. Criminology & Public Policy, 19(4), 1329–1345. https://doi.org/10.1111/1745-9133.12530

Lipsey, M. W., Howell, J. C. y Tidd, S. T. (2007). The standardized program evaluation protocol (SPEP): A practical approach to evaluating and improving juvenile justice programs in North Carolina. Final evaluation report. Nashville, TN: Vanderbilt University. Available from author, Retrieved from http://mark.lipsey@vanderbilt.edu

López-Nicolás, R., López-López, J.A., Rubio-Aparicio, M. et al (2022). A meta-review of transparency and reproducibility-related reporting practices in published meta-analyses on clinical psychological interventions (2000–2020). Behavior Research Method, 54, 334–349. https://doi.org/10.3758/s13428-021-01644-z

Mulvey, E. P., Schubert, C. A., Jones, B. y Hawes, S. (2020). A validation of SPEP™ in Pennsylvania. Pennsylvania Commission on Crime and Delinquency. https://www.pccd.pa.gov/Juvenile-Justice/Documents/A%20Validation%20of%20SPEP%20in%20PA%20Report.pdf

Pigott, T. D. y Polanin, J. R. (2020). Methodological Guidance Paper: High-Quality Meta-Analysis in a Systematic Review. Review of Educational Research, 90(1), 24-46. https://doi.org/10.3102/0034654319877153

Polanin, J. R., Hennessy, E. A. y Tsuji, S. (2020). Transparency and Reproducibility of Meta-Analyses in Psychology: A Meta-Review. Perspectives on Psychological Science, 15(4), 1026-1041. https://doi.org/10.1177/1745691620906416

Redpath, D. P. y Brandner, J. K. (2010). The Arizona standardized program evaluation protocol (SPEP) for assessing the effectiveness of programs for juvenile probationers. SPEP rating and relative recidivism reduction: An update to the January 2008 Retrieved from https://my.vanderbilt.edu/spep/files/2013/04/AZ-SPEP-Recidivism-Analysis_Update_-2010.pdf

Schwarzer, G., Chemaitelly, H., Abu‐Raddad, L. J. y Rücker, G. (2019). Seriously misleading results using inverse of freeman‐tukey double arcsine transformation in meta‐analysis of single proportions. Research Synthesis Methods, 10(3), 476-483. https://doi.org/10.1002/jrsm.1348

Sera, F., Armstrong, B., Blangiardo, M. y Gasparrini, A. (2019). An extended mixed-effects framework for meta-analysis. Statistics in Medicine, 38(29), 5429-5444. https://doi.org/10.1002/sim.8362

Shadish, W. R. y Lecy, J. D. (2015). The meta-analytic big bang. Research Synthesis Methods, 6(3), 246–264. https://doi.org/10.1002/jrsm.1132

Shea, B. J., Reeves, B. C., Wells, G., Thuku, M., Hamel, C., Moran, J. et al. (2017). AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ [Internet]. https://doi.org/10.1136/bmj.j4008

Tanner-Smith, E.E., Lipsey, M.W. y Wilson, D.B. Juvenile drug court effects on recidivism and drug use: a systematic review and meta-analysis. Journal of Experimental Criminology, 12, 477–513 (2016). https://doi.org/10.1007/s11292-016-9274-y

Wong, J. S. y Bouchard, J. (2023). Do Meta-Analyses of Intervention/Prevention Programs in the Field of Criminology Meet the Tests of Transparency and Reproducibility? Trauma, Violence, & Abuse, 24(3), 1522-1542. https://doi.org/10.1177/15248380211073839

Recepción: 16 agosto 2024

Aprobación: 06 marzo 2025

Publicación: 01 junio 2025