Validade e Confiabilidade de Pesquisas e Meta-Análise: o Caso de Pesquisas sobre Segurança Pública?

Fonte da imagem: http://www.bmj.com/graphics/7121/7112ed4.gif

por George Felipe de Lima Dantas
em20 de setembro de 2009

A expressão meta-análise está relacionada com a atividade de pesquisa em geral e, mais especificamente ainda, com as técnicas respectivas envolvendo estatísticas a elas aplicadas. As pesquisas de mercado envolvendo produtos farmacêuticos, por exemplo, concentram-se no estudo da trilogia, segurança, efetividade e facilidade de uso. Um desses aspectos, a efetividade, refere-se aos resultados dos efeitos terapêuticos de tratamentos médicos, quiçá um tópico tipicamente revelador do que seja a ‘meta-análise’.

Grosso modo, a meta-análise seria a ‘análise das análises’... É necessário retomar alguns antigos jargões metodológicos para abordar o tema.

No caso mencionado dos efeitos terapêuticos de drogas da indústria farmacêutica utilizadas em tratamentos médicos humanos, por exemplo, é comum a realização de pesquisas para verificar a situação daquele(s) que se submete(m) a um determinado tratamento específico, novo, observando e avaliando o ‘antes e o depois’ ('before & after', conforme o jargão). São os chamados clinical trials ('julgamentos clínicos', classicamente envolvendo cobaias, depois símios e finalmente humanos).

- O tratamento foi efetivo, considerando observações clínicas antes e depois da sua realização?

- As observações ‘pós-tratamento’ mostram melhorias estatisticamente significativas naqueles que foram submetidos ao novo ‘protocolo terapêutico’, em relação aos indivíduos submetidos ao outro tipo de tratamento e mesmo aos indivíduos do ‘grupo de controle’ (sem receberem trtamento algum e submetidos a ‘placebos’, simulacros de medicamentos, inertes, que não trazem nenhum medicamento)?

Mas existem também outras pesquisas, inclusive envolvendo programas de governo em que são utilizados ‘tratamentos’ que não os de terapias médicas. Eles podem ser materializados, por exemplo, no aumento do número de horas de aula para atividades escolares adicionais; na instalação de postos policiais de segurança comunitária; na concessão de cartões de acesso gratuito a transportes coletivos, etc.

Também devem ser aí incluídas as populares surveys (pesquisas amostrais de opinião de profissionais, por exemplo) para detectar problemas específicos, caso de violência e corrupção entre policiais; corrupção de menores por professores e líderes religiosos; prescrição de drogas potencialmente letais (até mesmo de 'clientes importantes' como um Michael Jackson, em relatos disseminados na mídia em 2009 ...); corrupção entre membros do legislativo, etc.

Ora, pesquisas sobre o impacto (efeitos pretendidos versus efeitos atingidos) desses programas, ou dos efeitos deletérios referidos nas "surveys", variarão em termos de validade e confiabilidade, a depender dos rigores metodológicos e dos vieses (tendências) a que estejam submetidas tais pesquisas.

De maneira bastante sintética, a validade pode ser entendida como a propriedade de algo efetivamente tratar do que anuncia tratar (por exemplo, se o tema estudado é HIV/AIDS ou comportamentos e/ou preferências sexuais das pessoas). Já a confiabilidade refere-se aos instrumentos de medida no que concerne as ‘métricas’ (tomadas de medida) em relação, por exemplo, ao índice de óbitos de vítimas do vírus H1N1 e pertinência dos casos estudados acerca da questão/tema (gripe comum ou realmente por H1Ni1?).

Quem é perguntado também é um sério fator de confiabilidade (as perguntas sobre programas de apoio a mulheres grávidas são respondidas por elas ou pelos provedores do programa?) - No primeiro caso citado antes, não seria tão válida uma pesquisa genérica sobre HIV/AIDS que tratasse apenas de práticas sexuais específicas e entre indivíduos que a ela aderiram. Já no segundo, não seria confiável uma pesquisa sobre óbitos por H1N1, incluindo casos de óbitos por gripes com complicações secundárias, e que não tenham sido especificamente de indivíduos diagnosticados como infectados pelo H1N1 (mas sim por outros vírus quaisquer).

Outra questão ainda é o potencial uso político-ideológico partidário das conclusões a que os ‘consumidores de estatísticas’ são levados diante dos respectivos estudos realizados. Existe um bordão clássico, atribuído ao primeiro-ministro britânico Benjamin Disraeli (ainda no século 19), disseminado pelo mundo afora, e que refere que ele teria dito que “Existem três tipos de mentiras: mentiras, grandes mentiras ou ‘mentiras danadas’ (damned lies) e estatísticas”.

É universal a utilização de estatísticas e dos números produzidos pela aplicação de suas funções, bem como do poder disso na comunicação social, capaz de levar as pessoas ao convencimento (formação de opinião), mesmo quando as hipóteses sustentadas são pouco convincentes nelas mesmas.

Um exemplo bem comum e primário de problemas na utilização de estatísticas é o poder de valores extremos sobre o cálculo de resultados médios. Objetivamente considerando, um exemplo disso seria uma avaliação da aprendizagem (prova) em que a metade de uma turma de 20 alunos (dez alunos) ‘tira zero’ em um teste e a outra metade (outros dez alunos portanto) ‘tira dez’. A média dessa turma seria cinco. Ou seja, uma média medíocre, mas que ainda assim não representaria quase nada sobre o desempenho do grupo como um todo. O exemplo mostra que cinco é muito pouco para representar a amostra do grupo em que dez alunos tiram dez, enquanto o mesmo cinco é um valor demasiado alto para representar a amostra de um grupo em que dez alunos tiraram zero. Ou seja, essa turma não é constituída por alunos que tiraram pouco mais ou pouco menos de cinco como poderia ser de imaginar.

Com a meta-análise, entretanto, é possível chegar a ‘conclusões de síntese’ sobre um determinado tema tratado por vários estudos singulares. Em situações como a da pesquisa médica envolvendo valores como a vida humana, a meta-análise passou a ser uma tônica da pesquisa moderna sobre a efetividade de novos tratamentos e/ou terapias. Ora, se a meta-análise deriva diretamente da combinação de diferentes estudos, as condições para sua realização demandam, obviamente, (i) o exame (análise) de vários estudos sobre o mesmo tema; (ii) o conhecimento da maneira (metodologia) com que cada um deles foi realizado e; (iii) o processamento qualitativo e quantitativo de procedimentos e técnicas utilizadas por metodologias múltiplas, efetivamente aplicadas em cada estudo em separado.Tudo isso feito e considerado, podem ser geradas conclusões somativas, ‘para pior’ ou ‘para melhor’, ou nova conclusão alguma, sobre uma série de pesquisas anteriores acerca de um mesmo tema.

Os possíveis méritos da meta-análise incluem a possibilidade da superação de vieses, a constatação de questões de precisão e aplicação de métodos específicos em relação aos respectivos resultados, bem como a verificação e certeza da ‘transparência’ de objetos, objetivos e metodologias de pesquisas singulares prévias.

Viés

O viés, conforme aqui referido, é uma expressão comumente utilizada em pesquisa, para descrever uma tendência ou preferência em relação a um determinado resultado de pesquisa. Ele se mostra por resultados que, embora não explicitamente, corroborem uma tendência ou preferência em relação a uma perspectiva ou ideologia do(s) pesquisador(es) e de seu(s) patrocinador(es). São as chamadas ‘pesquisas de encomenda’. Vem daí a regulamentação praticada no Brasil de hoje pela Justiça Eleitoral, no que concerne ‘pesquisas eleitorais’, incluindo as de ‘intenção de voto’. Nada mais normal e legítimo, já que tais pesquisas, caso enviesadas, podem produzir viés no próprio pleito, induzindo o voto para supostos ‘preferidos’, sob o signo do ‘já ganhou’...

Existem, por exemplo, entre outros vieses: vieses de gênero/sexo, em relação a pontos de vista corroborativos dos interesses de um gênero/sexo específico ou preferência sexual; vieses políticos: em relação à predominância da agenda de políticas públicas de uma determinada corrente político-ideológica específica; vieses culturais: idéias que são tratadas sob o signo de uma suposta ‘cultura hegemônica’, por exemplo – o etnocentrismo europeu 'em África', com suas ‘receitas universais de sucesso’ de ser e agir enquanto branco, de olhos claros, cabelo liso, etc.

E todos nós temos vários vieses, mas apenas um deles é o da busca da verdade e da certeza, muitas vezes descompensado por vários outros vieses mais...

Uma das maneiras de compensar para vieses (se for considerado que o viés é intrínseco da condição humana...) é observar e evitar que apenas certos estudos sejam incluídos na meta-análise de vários deles (no caso, 'quanto mais, melhor'...). Certamente é o caso de pesquisas que favorecem a opinião ou ideologia(s) daquele(s) que as encomendou e/ou realizou(aram). E isso acontece sempre que são excluídos de estudos de meta-análise resultados de pesquisas e trabalhos de pesquisadores que não produzam diferença significativa naquilo em que o ‘cliente‘ que as encomendou esperava que tais pesquisas ‘fizessem uma diferença’. Ou seja, certos trabalhos serão revisados em conjunto e outros simplesmente não serão sequer incluídos enquanto massa para crítica e revisão.

Precisão

A precisão é outro aspecto importante da meta-análise. O dimensionamento do efeito de um ‘tratamento’ (ou mesmo de uma opinião sobre algo, caso das “surveys”) dependerá muito, na meta-análise, da dimensão e representatividade das amostras estudadas de uma determinada população. A meta-análise também será tanto melhor, quantitativamente, quanto maior quantitativamente for também o número de análises de trabalhos singulares prévios ao tema a que ela se reporte. Interessantemente, uma meta-análise bem provida de pesquisas prévias tem o condão de detectar efeitos significativos relativos a pequenos aspectos/detalhes da grande questão estudada. Os efeitos observados em subgrupos da amostra ficam assim bem melhor percebidos. Isso se deve, ao menos em parte, ao que se chama em estatística de ‘metaregressão’.

No caso da segurança pública e de seus diversos tipos de agentes (genericamente considerados), por exemplo, é possível esperar efeitos bastante diversos de questionamentos de opinião de indivíduos pertencentes a diferentes cargos. É o caso das opiniões de titulares de cargos institucionais de maior ou menor número absoluto na estratificação hierárquica funcional geral. Isso traz um problema de precisão conclusiva, já que, metaforicamente, o número de ‘maçãs e laranjas’ não pode ser considerado, em sua totalidade, como somatório de uma mesma 'fruta'.

As opiniões de coronéis não podem ser avaliadas conjuntamente com as de soldados, assim como as de delegados não podem ser avaliadas conjuntamente com as de agentes. - Mas não será bastante interessante, através da meta-análise, determinar o que elas têm de comum?

Transparência

A meta-análise não é uma panacéia metodológica livremente disponível, entre vários outros elementos do ‘arsenal de instrumentos de pesquisa’, ao alcance da mão, espécie de ‘antídoto contra vieses’. Para que ela possa ser propriamente realizada, é necessário que os decisores, em nível de gestão, estejam pré-dispostos a aceitar tudo que possa ficar revelado de ideologias, opiniões e decisões tomadas ao longo de todo um processo histórico. E tal desprendimento deve permitir também que os consumidores finais desses produtos de pesquisas tirem suas próprias conclusões, livremente, incluindo a razoabilidade de decisões tomadas ao longo de processos extensos e do seu possível impacto em uma estimativa do tamanho do impacto final correspondente.

Conclusão

Pesquisar (explorar e estudar sobre um tema) e concluir de maneira válida e confiável, não é algo fácil, tampouco natural. Entre (i) a ignorância e (iv) a verdade e a certeza, é enorme a profusão da dúvida (ii) e da opinião (iii). A disciplina de metodologia da pesquisa serve como uma trilha e não um ‘trilho’, nesse caminho tortuoso que é o da busca do conhecimento pela humanidade. Em tempos de obscurantismo medieval, tergiversar sobre determinadas “verdades” pré-estabelecidas custou a vida de muita gente em uma famigerada ‘inquisição’.

Nunca estamos muito distantes da ira e do ódio da oposição ideológica ao que não se conforme aos ditames de grupos historicamente empoderados ou ‘de situação’. Na poderosa América do Norte, certo senador criou um clima de verdadeiro pânico na ‘caça às bruxas do comunismo’ no pós-guerra, arruinando a vida de muita gente, até mesmo do meio artístico. Ao contrário, o regime de Joseph Stalin, na defunta e não menos poderosa União Soviética, ficou famoso pelo ‘patrulhamento ideológico’ e dos milhões de mortos pelo simples fato de supostamente lhe fazerem oposição ideológica...

Na verdade, a ‘liberdade de consciência’ passa também e necessariamente pela liberdade de produzir e saber sobre um conhecimento desenviesado, preciso e transparente (o chamado ‘direito de saber’). Para tanto, existem instituições, tanto no Brasil quanto fora dele, especialmente constituídas para produzir pesquisas de tradicional e conhecida idoneidade (ou neutralidade).

Será que vivemos em uma idade da treva ou da iluminação no que tange pesquisas e a busca pela 'verdade e a certeza'?

- Um determinado bordão refere que certos homens e mulheres utilizam estatísticas como os embriagados utilizam os postes de luz -- para apoiar-se neles -- e não para se valer da luz que eles produzem...