Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

Análise de Conteúdo Categorial

Rafael Sampaio
February 23, 2022

Análise de Conteúdo Categorial

Aula aplicada da técnica de pesquisa "análise de conteúdo", seguindo padrões científicos mais rígidos que aqueles normalmente utilizados na literatura brasileira.

Rafael Sampaio

February 23, 2022
Tweet

More Decks by Rafael Sampaio

Other Decks in Education

Transcript

  1. INCT.DD| COMPADD 2021 2 Rafael Cardoso Sampaio Doutor em Comunicação

    e Cultura Contemporâneas (UFBA) Professor do Departamento de Ciência Política, do PPGCP e do PPGCOM da UFPR Pesquisador do Instituto Nacional de Ciência e Tecnologia em Democracia Digital (INCT.DD) Líder do grupo de pesquisa Comunicação Política e Democracia Digital (COMPADD) Ex-presidente da Associação Brasileira de Pesquisadores em Comunicação e Política (Compolítica) Interessado em: Comunicação política (enquadramento, agendamento), política digital (YouTube, Instagram), campanhas online, democracia digital, inovações democráticas digitais, consultas públicas online, orçamento participativo digital, deliberação online, discurso do ódio online, retórica da extrema-direita, governo aberto, transparência digital, métodos qualitativos, cientometria e uso da análise de conteúdo no Brasil. twitter.com/cardososampaio [email protected]
  2. INCT.DD| COMPADD 2021 4 Aula 1 O que é um

    bom trabalho feito com Análise de Conteúdo O uso excessivo do manual de Bardin Limites e problemas no uso exclusivo de Bardin É qualitativa ou quantitativa? Até onde vai a Análise de Conteúdo?
  3. INCT.DD| COMPADD 2021 5 Um conjunto de técnicas de análise

    das comunicações visando obter, por procedimentos, sistemáticos e objetivos de descrição do conteúdo das mensagens, indicadores (quantitativos ou não) que permitam a inferência de conhecimentos relativos às condições de produção/recepção (variáveis inferidas) destas mensagens (Bardin, 1977, p. 42). Definição
  4. INCT.DD| COMPADD 2021 6 Análise de Conteúdo Codificar conteúdos Classificar

    conteúdos Tagear/etiquetar Árvore de tags Textos Áudios Vídeos Imagens Reduzir Ordenar Descrever Compreender Inferir Explicar De novo, porém mais simples
  5. INCT.DD| COMPADD 2021 8 Aplicação prática acadêmica Resumo Defendemos neste

    artigo a utilização da análise de enquadramento multimodal para acompreensão da cobertura jornalística, pois somente uma análise sistemática dos diferentes modos comunicativos da notícia – imagem, narrativa e frame - pode aproximar o pesquisador da imagem geral construída pelo noticiário. Este artigo traz um primeiro exercício analítico sobre parte de um corpus de uma pesquisa em andamento sobre o impeachment de Dilma Rousseff, composto por 187 notícias do jornal o Globo e 131 da Folha de S. Paulo. Foi possível perceber que a cobertura dos dois jornais privilegiou um enquadramento do processo de impeachment como um fato ordinário da política nacional, como mera disputa política entre grupos rivais, sem oferecer interpretações para além do protocolo básico da redação da notícia. Palavras-Chave: enquadramento. Análise de enquadramento multimodal. Impeachment.
  6. INCT.DD| COMPADD 2021 9 Resultados Não foi identificado o cenário

    em 58,59% das fotos e em 25% são de pessoas em ambientes internos. Na variável ação desempenhada o que é mais recorrente são pessoas em estado passivo, quando não realizam qualquer atividade (32%), e em atividades cotidianas flagradas (22%), seguida de apresentação ou discurso (13,28%). Rizzotto et al (2017).
  7. INCT.DD| COMPADD 2021 10 Resultados Em 38,3% das notícias analisadas

    foram atribuídos papeis aos personagens. A vítima apareceu 13,8% das vezes; o vilão 22,6%; e o herói, 10,6%.
  8. INCT.DD| COMPADD 2021 11 Resultados A principal causa foram as

    próprias disputas políticas ou ideológicas do processo de impeachment (44,9%). Logo em seguida, uma parte das matérias tende a identificar que o problema é a própria questão da Legalidade, legitimidade do processo de impeachment (14,4%) e da excessiva interferência do Judiciário (13,5%), mostrando que os questionamentos ao processo em si e das disputas entre os poderes foram noticiados.
  9. INCT.DD| COMPADD 2021 12 Resultados Os resultados indicam que não

    houve quaisquer recomendações de tratamento em quase 70% do corpus.
  10. INCT.DD| COMPADD 2021 13 Pesquisa científica – como afiançar? Amostra

    Notícias publicadas pelo O Globo, Folha de S. Paulo (FSP) e O Estado de S. Paulo, entre 2 de dezembro de 2015, dia em e 13 de maio de 2016. A coleta foi restrita à editoria de política ou equivalente (e.g. “Poder”) Livro de Códigos http://www.inf.ufpr.br/carla/Livro_de_codigos_impeachment.pdf Confiabilidade Treinamento Os testes de confiabilidade foram realizados após o treinamento de nove codificadores, utilizando os índices alpha de Krippendorff e kappa livre de Brennan e Prediger. Base de dados para replicação Ausente!  https://bdc.c3sl.ufpr.br/handle/123456789/26
  11. INCT.DD| COMPADD 2021 14 “É uma análise quantitativa condensadora que

    se baseia no método cientifico (incluindo atenção a objetividade intersubjetividade, design anterior, confiabilidade, validade, generalização, replicabilidade e teste de hipóteses) que não é limitada para os tipos de variáveis que podem ser medidas ou a contexto no qual as mensagens são criadas ou apresentadas (Neuendorf, 2002, p. 10). “É uma técnica de pesquisa que objetiva criar inferências válidas e replicáveis de textos (ou outro conteúdo significativo) para os contextos de seu uso” (Krippendorff, 2004, p. 10). Para o autor, ela não pode ser vista como exclusivamente quantitativa. Definição (lá e de volta outra vez)
  12. INCT.DD| COMPADD 2021 15 “É uma técnica para produzir inferências

    de um texto focal para seu contexto social de maneira objetivada” (Bauer, 2007, p. 191). Para o autor, ela assume características tanto quantitativas quanto qualitativas (híbrida). “É um método de pesquisa que providencia meios objetivos e sistemáticos para fazer inferências válidas de dados verbais, visuais ou escritos para descrever e quantificar fenômenos específicos. (Downe-Wamboldt, 1992, p.314) Outras definições
  13. INCT.DD| COMPADD 2021 16 “Análise de conteúdo é uma técnica

    de pesquisa científica baseada em procedimentos sistemáticos, intersubjetivamente validados e públicos para criar inferências válidas sobre determinados conteúdos verbais, visuais ou escritos, buscando descrever, quantificar ou interpretar certo fenômeno em termos de seus significados, intenções, consequências ou contextos” (Sampaio, Lycarião, 2021, p.7).
  14. INCT.DD| COMPADD 2021 17 • Começaram com análises sistemáticas de

    textos bíblicos, no século 17; • Na ciência, sua origem estaria voltada para as análises quantitativas de jornais; • Com o surgimento da mídia de massa, cresce o interesse das ciências sociais e comportamentais em estudar estereótipos, estilos, símbolos, valores e propagandas; • Entre 1920 e 1940, Harold D. Lasswell foi dos precursores da técnica ao integrar um grupo de estudos sobre períodos de guerra com foco em jornais e rádio e preocupado com questões básicas de amostra, problemas de medida, confiabilidade e validade das categorias; Histórico
  15. INCT.DD| COMPADD 2021 18 • Entre 1940 e 1950, a

    AC passa por uma expansão da técnica para outros campos de pesquisa, como história, psiquiatria, psicanálise, e passa por uma perda de foco; • Entre 1960 e 1970, marca as primeiras experiências em análises automatizadas e o uso da técnica, como a necessidade de categorias padronizadas, o papel das teorias e os problemas de inferências; • Nas últimas décadas, a análise de conteúdo passou a ser usada para gerar dados e resultados para uma série de pesquisas, atuando também como uma técnica intermediária em complemento com outras técnicas, como entrevistas em profundidade, grupos focais e questionários. Histórico
  16. INCT.DD| COMPADD 2021 19 • Comunicação de Massa – análise

    de conteúdo – Albert Kientz - 1973 • Análise de Conteúdo (versão portuguesa) – Bardin 1977 • Análise de Conteúdo (versão brasileira) – Bardin 1979 • GOMES, F. Araujo. Pesquisa e análise de conteúdo (mass media). Rio de Janeiro: Âmbito Cultural, 1979. • A linguagem da Política – Harold Lasswell - 1982 • Pesquisa social: teoria, método e criatividade – Minayo, Gomes 1993 • O método de análise de conteúdo – uma versão para enfermeiros – Maria Socorro Pereira Rodrigues e Maria Tereza Leopardi - 1999 Histórico no Brasil
  17. INCT.DD| COMPADD 2021 20 • O desafio do conhecimento: pesquisa

    qualitativa em saúde – Minayo 2000 • Análise de Conteúdo clássica: uma revisão – Martin Bauer - 2002 • Análise de Conteúdo – Maria Laura Franco - 2003 • Análise de Conteúdo na Comunicação Organizacional – Marconi Urquiza, Denilson Marques – 1921 • Análise de Conteúdo Categorial: um manual de aplicação - 2021 Histórico no Brasil
  18. INCT.DD| COMPADD 2021 21 • Descrever tendências no conteúdo da

    comunicação; • Traçar o desenvolvimento de conhecimento; • Desvelar diferenças no conteúdo de comunicações em contexto internacional; • Comparar as mídias e diferentes níveis de comunicação; • Auditar o conteúdo de comunicação em relação a seus objetivos; • Construir e aplicar padrões de comunicação; • Ajudar em operações técnicas de pesquisa (codificar questões abertas em questionários); • Expor técnicas de propaganda; Tipos de uso
  19. INCT.DD| COMPADD 2021 22 • Descobrir características estilísticas; • Assegurar

    inteligência militar ou política; • Identificar as intenções e outras características da comunicação; • Determinar o estado psicológico de pessoas ou grupos; • Detectar a existência de propaganda (para termos legais); • Repetir sobre atitudes, interesses e valores (padrões culturais) de grupos da população; • Descrever respostas atitudinais e comportamentais para comunicações; • Revelar o foco da atenção (Sampaio; Lycarião, 2021, p. 21-22). Tipos de uso
  20. INCT.DD| COMPADD 2021 23 • Atribuições: conceitos, atitudes, crenças, intenções,

    emoções e processos cognitivos que se manifestam em atributos verbais de comportamento. Podem ser vistos em conversações, mas também em meios de comunicação. • Relações sociais: foco em como a língua é usada, baseado em gramáticas sociais de discursos gravados ou comunicação escrita de locutores ou escritores, considerando questões como autoridade, poder, acordos contratuais e desigualdades; (Krippendorff, 2004, p. 76-77). Áreas recomendadas
  21. INCT.DD| COMPADD 2021 24 • Comportamentos públicos: valores individuais, disposições,

    concepções do mundo e comprometimento ao seu jeito de ser em conversações envolvem repetições de confirmação. À medida que é um comportamento público, logo observado e julgado pelos outros, ele está no domínio da linguagem. • Realidades institucionais: geralmente ignoramos a natureza institucional da realidade do casamento, dinheiro, governo, história, doenças e mesmo propósitos científicos ; (Krippendorff, 2004, p. 76-77). Áreas recomendadas
  22. INCT.DD| COMPADD 2021 25 • Artigos científicos em Contabilidade, Administração,

    Medicina, Comunicação, Ciências Sociais, etc; • Estudo de leis, comunicação impressa de instituições, etnografia; • Mensagens postadas no Twitter, no Facebook, no Instagram e depois redes sociais digitais, memes políticos; • Comentários de jornais, conversações e/ou deliberações on-line, discordâncias e desrespeito on-line, grupos de conversações sobre questões sensíveis ou polêmicas; • Pronunciamentos oficiais, HGPE, campanha eleitoral negativa; Aplicação da AC no Brasil
  23. INCT.DD| COMPADD 2021 26 • Anotações de enfermeiros em prontuários,

    entrevistas e grupos focais em pesquisas clínico-qualitativas; • Programas de partidos políticos, planos de governo, websites de partidos políticos e de candidatos, debates eleitorais; • Notícias de jornais impressos sob a perspectiva do enquadramento, valência, editoriais de jornais impressos; • Livros e materiais didáticos, artigos da Wikipédia; • Publicidade, marketing, SEO , entre tantos outros possíveis objetos. (Sampaio; Lycarião, 2021, p. 24-25) Aplicação da AC no Brasil
  24. INCT.DD| COMPADD 2021 31 Conteúdos de Botânica em livros didáticos

    de Biologia do Ensino Médio (Souza, Garcia, 2019)
  25. INCT.DD| COMPADD 2021 33 • 1) faz uma ponte entre

    um formalismo estatístico e a/uma análise qualitativa dos materiais; • 2) reduz grandes quantidades de texto em uma descrição curta de algumas de suas características; • 3) faz uso de materiais que ocorrem naturalmente; • 4) é sistemática e pública (conjunto de procedimentos maduros e bem documentados); • 5) presta-se para dados históricos. (Bauer, 2007) Vantagens da AC
  26. INCT.DD| COMPADD 2021 34 • I) introduzir inexatidões de interpretação;

    • II) não reproduzir contexto original na análise; • III) tender a se centrar em frequências e descuida do que está ausente; • IV) perder a relação entre códigos e texto (e.g. o momento em que algo é dito) (Bauer, 2007) Fraquezas da AC
  27. INCT.DD| COMPADD 2021 35 • Quando Lasswell a cria é

    uma técnica quantitativa; • A partir dos anos 50 e 60 é apropriada por outras áreas e ganha contornos mais qualitativos; • Na literatura anglo-saxã, predomina a AC quantitativa; Afinal: qualitativa ou quantitativa? • Na literatura francesa, portuguesa e brasileira, Bardin teve grande impacto e a análise de conteúdo qualitativa predominou. • Porém também há bastante confusão entre a diferença de análise de conteúdo para análise qualitativa temática.
  28. INCT.DD| COMPADD 2021 36 • Análise textual | Análise léxica

    | Texto como dado • Análise de conteúdo automatizada ou computadorizada Mas e o Iramuteq nisso? AC x Análise textual Análise das palavras e das relações entre elas Indicada para altos volumes de texto Resultados mais rápidos e superficiais Indicada para exploração inicial ou mais geral Pode servir de base para AC
  29. INCT.DD| COMPADD 2021 41 Internet & Política 526 artigos/11 eventos

    (200-2014) Sampaio, Bragatto, Nicolas, 2016
  30. INCT.DD| COMPADD 2021 44 constatou-se que grande parte das publicações

    não tem a intenção de aplicar a técnica análise de conteúdo, cerca de 18 artigos. Apenas uma publicação menciona a forma de realização da análise na íntegra, o artigo de número 12. A publicação de número 14 também relata que fez uso da análise segundo Bardin (1977), entretanto não esclarece a forma de condução de análise e a formação das categorias. [...]Pode-se perceber que o termo categorias, computou resultados muito abrangentes, sendo que a grande maioria não apresentava a análise de conteúdo (Silva et al, 2017, p. 12).
  31. GRUPPOCOM| COMPADD 2021 45 Estado da arte • Inúmeras pesquisas

    bibliográficas sobre o uso da AC. 1) quase todas restringiram-se a analisar apenas suas áreas de origem; 2) lidaram com um N baixo de artigos; 3) identificaram uma predominância de Laurence Bardin como a principal autora da AC brasileira; 4) a maior parte das aplicações de análise de conteúdo na pesquisa brasileira é incompleta e/ou de baixa qualidade e rigor científico. (Castro et al., 2011; Gomes et al., 2020; Martinez & Pessoni, 2015; Nascimento et al., 2019; Palmeira et al., 2020; Quadros et al., 2014; Seramim & Walter, 2017; Silva et al, 2017)
  32. GRUPPOCOM| COMPADD 2021 46 Um mapeamento bibliográfico da área •

    O artigo apresenta uma análise cientométrica de 3.484 artigos publicados entre 2002 e 2019 na base SciELO que fazem referência à análise de conteúdo (AC). • Produção anual, periódicos, autores mais citados e cocitados e a presença específica do manual de Bardin • Colégio de ciências da vida contou com 2.087 artigos (59.9%). • O colégio de humanidades com 1.211 (34.8%) • Colégio de ciências exatas, tecnológicas e multidisciplinares com 186 (5.3%).
  33. GRUPPOCOM| COMPADD 2021 48 Sampaio et al (2021) Ciências da

    vida N Humanidades N bardin l, 2011, análise de conteúdo 356 bardin l, 1977, análise de conteúdo 186 bardin l, 1977, análise de conteúdo 237 bardin l, 2011, análise de conteúdo 141 bardin l, 2009, análise conteúdo 135 bardin l, 2009, análise de conteúdo 78 bardin l, 2004, análise de conteúdo 93 bardin l, 2004, análise de conteúdo 57 minayo mcs, 2010, o desafio do conhecimento 78 bardin l, 1979, análise de conteúdo 50 bardin l, 2008, análise de conteúdo 72 laville c, dionne j, 1999, a construção do saber 47 bardin l, 2010, análise de conteúdo 72 bardin l, 2010, análise de conteúdo 36 bardin l, 1979, análise de conteúdo 67 minayo mcs, 2010, o desafio do conhecimento 27 minayo mcs, 2014, o desafio do conhecimento 63 yin rk, 2001, estudo de caso 26 minayo mcs, 2004, o desafio do conhecimento 62 ludke m, 1986, pesquisa em educação 24 fontanella bjb, janete r, turato eg, 2008, cad. saúde pública 60 yin rk, 2005, estudo de caso 22 minayo mcs, 2007, o desafio do conhecimento 52 fontanella bjb, janete r, turato eg, 2008, cad. saúde pública 21 minayo mcs, 2008, o desafio do conhecimento 45 moraes r, 1999, rev. educação porto 21 minayo mcs, 2006, o desafio do conhecimento 44 bardin l, 2008, análise de conteúdo 20
  34. GRUPPOCOM| COMPADD 2021 54 Mas o que tem demais em

    ter muito Bardin? • Qualquer área metodológica vai ter dificuldades em avançar não renovando autores/as, manuais, livros e afins. • Porém, no caso do manual, há outros problemas: 1. Ele foi lançado em 1977 e atualizado no início dos anos 90 (Bardin, 2016, p. 13) 2. Não reflete as discussões epistemológicas e metodológicas de 2 décadas; 3. Não reflete as diversas mudanças e atualizações trazidas pelos meios digitais. 4. Por algumas especificidades, o manual parece ser mal lido. 5. Déficits no emprego da técnica não são exclusividade do Brasil, mas Bardin sim!
  35. GRUPPOCOM| COMPADD 2021 55 Ainda há ausências importantes • Técnicas

    de Amostragem ou de criação de corpus qualitativo; • Elaboração e disponibilização do livro de códigos; • Treinamento dos codificadores; • Teste de confiabilidade entre codificadores; • Testes estatísticos para AC quantitativas; • Uso de softwares CAQDAS para AC qualitativas; • Tratamento ético dos dados para AC qualitativas. • Transparência da pesquisa e princípios de replicabilidade (e.g. repositórios)
  36. GRUPPOCOM| COMPADD 2021 56 Uma técnica parada no tempo •

    Hipótese do “ciclo vicioso”. • Os déficits na aplicação da AC não são específicos do Brasil, mas o uso concentrado de Bardin é o CPF de nossa estagnação. • Enquanto é natural alguma demora entre a ponta de lança da discussão metodológica e epistemológica e sua aplicação, o caso brasileiro parece apontar um problema extra: • AC no Brasil é sinônimo de Bardin e é um manual que não é atualizado. • Falta então mais materiais disponíveis em português e uma discussão epistemológica e metodológica mais vibrante
  37. GRUPPOCOM| COMPADD 2021 60 Aula 2 Como pensar e executar

    um trabalho com Análise de Conteúdo Regras para elaboração de suas categorias Como elaborar um livro de códigos para classificar Princípios básicos de amostragem de textos Como treinar um time de classificação Treinamento x revisão de livro de códigos
  38. GRUPPOCOM| COMPADD 2021 61 Leitura equivocada ou inexistente de Bardin

    Bardin (2016, p. 123) 1. Pré-análise Leitura flutuante 2. Exploração do material Codificação (regras para categorias) 3. Tratamento dos resultados e intepretações Inferências
  39. INCT.DD| COMPADD 2021 62 Primeira Etapa: pré-análise Nesta etapa são

    desenvolvidas as operações preparatórias para a análise propriamente dita. Consiste num processo de escolha dos documentos ou definição do corpus de análise; formulação das hipóteses e dos objetivos da análise; elaboração dos indicadores que fundamentam a interpretação final. Segunda Etapa: exploração do material ou codificação Consiste no processo através do qual os dados brutos são transformados sistematicamente e agregados em unidades, as quais permitem uma descrição exata das características pertinentes ao conteúdo expresso no texto. Terceira Etapa: tratamento dos resultados -inferência e interpretação Busca-se, nesta etapa, colocar em relevo as informações fornecidas pela análise, através de quantificação simples (frequência) ou mais complexas como a análise fatorial, permitindo apresentar os dados em diagramas, figuras, modelos etc. (Bardin, [1977] 2016)
  40. INCT.DD| COMPADD 2021 67 Sampaio, R. C.; Lycarião, D. Análise

    de conteúdo categorial: manual de aplicação. Brasília: Enap, 2021
  41. INCT.DD| COMPADD 2021 68 CONCEITUAÇÃO 1. Identificar o problema (revisão

    de literatura) 2. Questões de pesquisa e hipóteses • a própria maneira como uma análise de conteúdo será configurada depende diretamente do tipo de questões a que ela deseja dar resposta. • Análise de conteúdo enquanto uma técnica de pesquisa científica. • Deve ser aplicada para responder a problemas e, especialmente, a questões de pesquisa.
  42. INCT.DD| COMPADD 2021 69 Uma revisão de literatura adequada deve

    responder à questão “quanto já sabemos sobre o fenômeno a ser estudado”? Uma revisão de literatura adequada produzirá um estado da arte das pesquisas sobre o fenômeno, que apresentará, entre outras coisas, 1) métodos e técnicas utilizadas em estudos anteriores; 2) corpus utilizado para a pesquisa; e 3) resultados encontrados. Dessa maneira, tende a ser mais viável a identificação das lacunas presentes em estudos da área e dos pontos que justamente merecem receber mais atenção, ou seja, do problema de pesquisa.
  43. INCT.DD| COMPADD 2021 70 DESENHO 3. Selecionar a unidade e

    subunidade de análise Conforme sugerido por Neuendorf (2002) e Krippendorff (2004), a primeira definição está na unidade amostral, afinal, quais serão as “porções” de texto ou de conteúdo a serem analisadas? • Naturalmente, a unidade amostral já definirá a unidade física (Cervi, 2016), ou seja, qual o meio físico do qual o conteúdo se originou, se era jornal impresso, rádio, TV, blogs, postagens de redes sociais on-line, vídeos ou documentos impressos
  44. INCT.DD| COMPADD 2021 71 vamos supor que um pesquisador está

    interessado em verificar se houve notável imparcialidade jornalística em um evento político de grande natureza, como é o caso do impeachment da Presidente Dilma Rousseff. Essa pesquisa poderia incluir unidades amostrais de capa, editoriais e notícias. Fazendo-se um recorte temporal, por exemplo, é natural que haveria mais notícias que editoriais, ou mesmo chamadas de capa a respeito do evento; portanto, são necessárias amostras diferentes.
  45. INCT.DD| COMPADD 2021 72 • Definida a unidade amostral, é

    preciso determinar a unidade de análise (também chamada na literatura de unidade de codificação), o elemento unitário de conteúdo a ser classificado (Moraes, 1999). • Muitas vezes, a unidade de análise será idêntica à unidade amostral, ou seja, a análise de conteúdo se dará no texto/documento como um todo. • Em análises bibliométricas, por exemplo, a unidade de análise frequentemente é o artigo acadêmico como um todo.
  46. INCT.DD| COMPADD 2021 73 • Em determinados casos, pode ser

    que a análise do conteúdo como um todo possa não ser o mais recomendado, por ser um conteúdo complexo e/ou extenso. • AC aplicada a filmes de longa-metragem: se um filme vai ser analisado como um todo, será bastante difícil se alcançar bons valores nos testes de confiabilidade, e a replicação do estudo será muito complexa. E o Vento Levou tem exatos 238 minutos de duração
  47. INCT.DD| COMPADD 2021 74 • As pesquisas sobre (HGPE): Normalmente,

    a unidade amostral é um programa inteiro, enquanto a unidade de análise utilizada por boa parte da literatura é o “segmento”, que é uma definição análoga a uma cena de programas audiovisuais. O segmento irá se alterar quando: a) o cenário mudar; b) os personagens mudarem e/ou c) a narração mudar. Então, em vez de analisar o programa televisivo como um todo, os pesquisadores aplicam as categorias de análise de conteúdo a cada segmento de cada programa de HGPE (Figueiredo et al. 1997; Panke; Cervi 2012)
  48. INCT.DD| COMPADD 2021 75 • Em determinados casos, a unidade

    de análise poderá ser definida pela própria organização do conteúdo original. • Um bom exemplo é o caso de grupos focais. Ora, cada fala de cada participante de um grupo focal poderá funcionar adequadamente como a unidade de análise. • No caso da análise de textos, pode-se optar por definir o parágrafo ou mesmo a sentença como a unidade de análise, o que gerará a certeza de que os codificadores estão considerando os mesmos trechos do conteúdo para a codificação. No caso de leis, relatórios, livros ou textos igualmente extensos, essa pode ser uma saída apropriada.
  49. INCT.DD| COMPADD 2021 76 A pesquisa de Felipe Borba sobre

    o uso de propaganda negativa durante a campanha presidencial de 2014 nos soa como um excelente exemplo de AC com diferentes unidades de análise. - Spots TV – O Componente textual (imagens foram ignoradas), n=1033 - Spot Rádio – O componente textual, n=1297 - Debates – A fala do candidato em cada intervenção (pergunta, resposta, réplica e tréplica), n=450 - O Globo – A fala do candidato transcrita no jornal, n= 626 - Jornal Nacional – A fala do candidato exibida no telejornal, n= 133- Facebook – O texto escrito na postagem. Não foi considerado o conteúdo compartilhado, n= 543 (Borba, 2019, p. 45-46) Portanto, mesmo sendo uma única pesquisa, Borba trabalha com diferentes meios, com diferentes unidades de análise, que, por sua vez, possuem diferentes tamanhos de população. Ele posteriormente realiza uma classificação das falas em a) aclamação, b) ataque ou c) defesa; e os tipos de ataques realizados, nomeadamente i) político, ii) pessoal e iii) misto.
  50. INCT.DD| COMPADD 2021 77 Então, recapitulando Unidade amostral Unidades a

    serem analisadas: jornal impresso, rádio, TV, blogs, postagens de redes sociais on-line, vídeos, fotos, ilustrações, documentos impressos Unidade de análise Conteúdos de fato que serão analisados Parágrafos Capítulos de livros Posts de redes sociais Matérias de jornais, editoriais, capas Falas de um grupo focal
  51. INCT.DD| COMPADD 2021 78 4. Criar e definir categorias A.

    elaboração do livro de códigos B. elaborar a planilha de codificação A tarefa provavelmente mais importante na AC (categorial) está justamente na definição de um referencial de codificação (uma tradução para coding scheme ou, literalmente, esquema de codificação). “ Ele é um conjunto de questões (códigos) com o qual o codificador trata os materiais, e do qual o codificador consegue respostas, dentro de um conjunto predefinido de alternativas (valores de codificação)” (Bauer, 2007, p. 199). Os construtos analíticos podem ser derivados de: 1) teorias ou práticas existentes; 2) experiência ou conhecimento de peritos e pesquisa anterior (White; Marsh, 2006).
  52. INCT.DD| COMPADD 2021 79 Lembrete: diferentes palavras, significados similares Código

    = rótulo = tag/etiqueta O código é a unidade elementar da AC. Ele irá resumir, filtrar ou condensar dados de acordo com os objetivos e com os interesses da pesquisa. Grupos de códigos, por sua vez, são agrupados em categorias, ou seja, unidades analíticas que materializam as questões a serem verificadas. .
  53. INCT.DD| COMPADD 2021 80 Feres Júnior, Sassara, 2016 Um exemplo

    bastante simples é o estudo das valências, muito visto na Ciência Política (Cervi; Massuchin, 2013; Feres Júnior, Sassara 2016), que busca verificar se a cobertura midiática é enviesada a favor ou contra determinado governo, tema ou ator político. A categoria é Valência e os possíveis códigos a serem aplicados são: 1. Negativo, 2. Positivo e 3. Neutro. Valências de candidatos, partidos e governo em O Globo - Eleições 2010
  54. INCT.DD| COMPADD 2021 81 • Um texto não tem um

    significado único, estando aberto a inúmeras possíveis questões, embora “a AC interpreta o texto apenas à luz do referencial de codificação, que constitui uma seleção teórica que incorpora o objetivo da pesquisa” (Krippendorff, 2004, p. 199). • O referencial de codificação vai determinar quais são as categorias e códigos a serem aplicados, assim como as regras para a codificação que deverão ser devidamente seguidas pelos codificadores. • Portanto, esse referencial de codificação é materializado numa espécie de manual de codificação (codebook) ou simplesmente livro de códigos.
  55. INCT.DD| COMPADD 2021 82 Sustainable media events? Production and discursive

    effects of staged global political media events in the area of climate change
  56. INCT.DD| COMPADD 2021 89 As categorias de uma análise de

    conteúdo devem ser: 1) exclusivas, 2) exaustivas e 3) homogêneas, nesta ordem de importância. Exclusivas um mesmo elemento não deve estar em duas categorias diferentes sem razão “exclusividade mútua se refere à habilidade de uma linguagem de dados fazer claras as distinções entre o fenômeno a ser codificado. Nenhuma unidade de análise pode se encaixar em duas ou mais categorias.” (KRIPPENDORFF, 2004, p. 132)
  57. Uma mesma matéria não poderia ser classificada como tendo, ao

    mesmo tempo, uma valência positiva e neutra. Caso o material em questão apresente característica dos dois códigos, o codificador deve tomar uma decisão marcando o código preponderante (ou conforme instruções contidas no respectivo livro de códigos).
  58. INCT.DD| COMPADD 2021 91 Stemler (2001): classificar o currículo de

    uma escola secundária. As categorias são: matemática, ciência, literatura, Biologia, cálculo. biologia = ciência e cálculo = matemática
  59. INCT.DD| COMPADD 2021 92 “A bem intencionada prática de adicionar

    categorias como “ambíguo” ou “aplicável a duas ou mais categorias” a um conjunto de categorias com sobreposição não altera a indistinção básica das categorias; isto incentiva a indecisão de parte dos codificadores e raramente rende uma variável suficientemente confiável. (KRIPPENDORFF, 2004, p. 132). Quando uma análise de conteúdo usa tais categorias, revela mais sobre suas próprias concepções obscuras do que sobre as propriedades do texto, e enviesam seus resultados de pesquisa em direção a fenômenos facilmente descritíveis. Não existe nenhum remédio verdadeiro para concepções ambíguas”. (ibidem)
  60. INCT.DD| COMPADD 2021 93 Dizer que um conjunto de categorias

    deve ser exaustivo significa dizer que deve possibilitar a categorização de todo o conteúdo significativo definido de acordo com os objetivos da análise. Assim, cada conjunto de categorias deve ser exaustivo no sentido de possibilitar a inclusão de todas as unidades de análise. Não deve ficar nenhum dado significativo que não possa ser classificado (Moraes, 1999). Nunca é demais lembrar que a regra da exaustividade precisa ser aplicada aos conteúdos efetivamente significativos do estudo. Os objetivos da análise definem o conjunto de dados que efetivamente deverão ser categorizados. Exaustivas
  61. INCT.DD| COMPADD 2021 94 Uma vez tomada esta decisão, as

    categorias deverão ser exaustivas, isto é ter possibilidade de enquadrar todo o conteúdo (Moraes, 1999). esgotar a totalidade do ‘texto’; é preciso ter-se em conta todos os elementos desse corpus. Em outras palavras, não se pode deixar de fora qualquer um dos elementos por esta ou aquela razão (dificuldade de acesso, impressão de não interesse), que não possa ser justificável no plano do rigor. (Bardin, 2016, p. 126-127). Podem ser usados “outros”, “nenhum”, “não se aplica” para tornar o esquema exaustivo, mas com parcimônia.
  62. INCT.DD| COMPADD 2021 95 Stemler (2001): classificar o currículo de

    uma escola secundária. As categorias são: matemática, ciência, literatura, Biologia, cálculo. Educação Física? História? Geografia?
  63. “As classes formadas precisam ser tanto exaustivas quanto mutuamente exclusivas.

    Isto significa que se existem N casos para serem classificados, deve haver uma classe apropriada para cada um destes (exaustividade), mas apenas uma classe correta para cada, com nenhum caso sendo membro de duas classes (exclusividade mútua). Assim, deve haver uma classe (mas apenas uma) para cada um dos N casos”. (BAILEY, 1994 apud Carlomagno, Rocha, 2016).
  64. INCT.DD| COMPADD 2021 97 Um único princípio ou critério de

    classificação deve governar sua organização. Separar conceitos diferentes em variáveis distintas. Se houver mais de um nível de análise, o critério de homogeneidade deve estar presente em todos os níveis. Além disto é importante que esta homogeneidade não seja garantida apenas em conteúdo mas igualmente em nível de abstração (Moraes, 1999). elas não devem ser tão amplas ao ponto de serem capazes de abarcar coisas muito diferentes em uma mesma categoria, sob pena de não ter significado prático para o estudo (Carlomagno, Rocha, 2016). Homogêneas
  65. INCT.DD| COMPADD 2021 98 Nós geralmente procuramos minimizar a variância

    dentro do grupo, enquanto maximizamos a variância entre grupos. Isto significa que nós organizamos um conjunto de características em grupos, para que cada grupo seja tão diferente quanto possível de todos os outros grupos, mas cada grupo seja internamente homogêneo quanto possível. Ao maximizar ambos, homogeneidade intra-grupo e heterogeneidade entre-grupos, nós criamos grupos que são tão distintos (não sobrepostos) quanto possível, com todos os membros dentro de um grupo sendo tão iguais quanto possível. (BAILEY, 1994 apud Carlomagno, Rocha, 2016).
  66. INCT.DD| COMPADD 2021 99 Análise de campanha eleitoral (Carlomagno e

    Rocha, 2016), as opções são: propostas de políticas públicas, construção da própria imagem, campanha negativa (ataques a adversários); agenda (divulgação de eventos etc) Estaria pouco homogêneo. Opção 1 é muito ampla
  67. INCT.DD| COMPADD 2021 100 O livro de códigos (LdC) é

    um manual de como codificar, enquanto o formulário de codificação (FdC) apresenta espaços apropriados para aplicar os códigos para todas as variáveis medidas. Livro de códigos O objetivo de criar LdC e FdC é dar informação mais completas e menos ambíguas possíveis ao ponto de mitigar as diferenças individuais entre os codificadores. Juntos LdC e FdC devem funcionar sozinhos como o protocolo de análise de conteúdo;
  68. INCT.DD| COMPADD 2021 101 Adaptando a sugestão de Macqueen et

    al. (1998, p. 32), um livro de códigos deve incluir, ao menos, seis componentes básicos: 1) categorias e seus códigos; 2) breve descrição; 3) definição completa; 4) regras para quando aplicar os códigos; 5) regras para quando não aplicar os códigos; 6) exemplos. Em resumo, deve conter definições claras, instruções fáceis de serem seguidas e exemplos que não deixem ambiguidade (especialmente os que gerarem dúvidas). Mesmo detalhes mundanos de codificação precisam ser especificados.
  69. INCT.DD| COMPADD 2021 103 • Uma definição conceitual é uma

    declaração do pesquisador do que ele deseja estudar. Cada definição conceitual é um guia para as medidas da variável ou sua operacionalização. A definição conceitual e a operacionalização precisam bater (validade interna). • O mais adequado é numerar as suas categorias e seus respectivos códigos. • Após a elaboração do livro de códigos, é igualmente importante que seja elaborado um formulário de codificação (FdC), que é a planilha de dados que será preenchida pelos diferentes codificadores, seja nos treinamentos, seja no teste de confiabilidade, seja na codificação final. • Deve ser formatado para apresentar os espaços apropriados para a aplicação de todos os códigos possíveis nas devidas categorias.
  70. INCT.DD| COMPADD 2021 105 o objetivo de criar LdC e

    FdC é dar informação mais completa e menos ambígua possível, ao ponto de quase diminuir ao mínimo as diferenças individuais entre os codificadores. Portanto, LdC e FdC devem funcionar sozinhos como o protocolo de análise de conteúdo. Tal detalhamento também é importante para facilitar a validação dos dados da pesquisa em um primeiro momento, e mesmo para fins de replicabilidade. Ao definir os códigos, não assuma que qualquer coisa é óbvia; sempre explicite especificamente o que código deveria ou não capturar. [...] Inclua todas as informações na definição completa do código e nas explicações para seu uso. Coisas que podem parecer óbvias aos codificadores em um certo lugar e momento podem ser totalmente obscuras em outras circunstâncias (Macqueen et al., 1998, p. 35).
  71. INCT.DD| COMPADD 2021 108 Recapitulando O código é a unidade

    elementar da AC. Ele irá resumir, filtrar ou condensar dados de acordo com os objetivos e com os interesses da pesquisa. Grupos de códigos, por sua vez, são agrupados em categorias. As categorias devem ser Exclusivas Exaustivas Homogêneas O livro de códigos (LdC) é um manual de como codificar, enquanto o formulário de codificação (FdC) apresenta espaços apropriados para aplicar os códigos para todas as variáveis medidas.
  72. INCT.DD| COMPADD 2021 109 5. Amostragem Nas palavras de Neuendorf

    (2002, p. 83), “amostragem é o processo de se selecionar um subconjunto de unidades para o estudo da população como um todo”. Por isso, a ideia de amostra só se faz concebível e ponto de atenção quando os recursos disponíveis para realizar a pesquisa não são suficientes para se analisar todas as unidades da população. Quando isso é possível, ou seja, quando a população pode ser devidamente pesquisada em sua totalidade, no lugar de uma amostragem, realiza-se, então, o que se denomina de censo.
  73. INCT.DD| COMPADD 2021 110 como fazer com que os dados

    de apenas uma parte (os dados da amostra) possam falar sobre o conjunto de uma população? pode-se dizer que uma amostra é representativa no momento em que “ela leva a conclusões que são aproximadamente as mesmas que aquelas que se alcançaria caso toda a população fosse pesquisada” (Krippendorff, 2004, p. 112). Tais técnicas são divididas por Neuendorf (2002, p. 83-88) em dois grandes grupos, um de natureza probabilística (randômica) e outro de natureza não probabilística (não randômico)
  74. INCT.DD| COMPADD 2021 111 5.1 Técnicas probabilísticas (randômicas) Amostragem aleatória

    simples Amostragem sistemática Amostragem por agrupamento Amostragem estratificada Amostragem em múltiplos estágios Amostragem em bola de neve 5.2 Técnicas não probabilísticas (não randômicas) Amostragem por conveniência Por propósito ou relevância Por cotas Censo
  75. A amostragem a ser analisada foi selecionada a partir do

    método de semana construída, que consiste na estratifi cação da amostragem por dia da semana de modo a assumir a variação cíclica do conteúdo jornalístico (RIFFE et al., 1993). Para isso, é selecionado um dia aleatório, de um mês aleatório, que represente cada dia da semana, até que se forme uma semana completa. A construção da semana resultou em 461 postagens, sendo 262 do O Povo Online e 199 do Tribuna do Ceará. (Lycarião, Leite, 2020, p. 8) Exemplo da semana construída
  76. INCT.DD| COMPADD 2021 113 6. Pré-teste das categorias e das

    regras de codificação a. treinamento b. revisão do livro de códigos c. teste de confiabilidade-piloto Riffe et al (2013) O primeiro passo é familiarizar os codificadores com o material/conteúdo a ser analisado. Devem existir regras de codificação, incluindo quantas unidades de análise podem ser feitas, o tempo máximo de uma sessão de codificação, a necessidade de reler as regras antes de cada sessão.
  77. INCT.DD| COMPADD 2021 114 Codificadores devem discutir o protocolo de

    codificação com o supervisor/pesquisador e também entre eles. Devem ser apresentados problemas e dificuldades na hora de codificar, assim como deixar claro como estão codificando. Como parte do processo de treinamento, o livro de códigos pode ser revisado até que os codificadores estejam confortáveis com o esquema de codificação. As revisões podem ser realizadas até que a codificação comece.
  78. INCT.DD| COMPADD 2021 116 I) Escrever um livro de códigos

    com variáveis e categorias válidas para o fenômeno de interesse da pesquisa II) Treinamento dos codificadores com discussão III) Codificadores praticam em conjunto, engajando em discussões que buscam construir consensos IV) Possíveis revisões do livro de código V) Treinamento dos codificadores nas revisões VI) Codificadores praticam a codificação de modo independente em um número de unidades que represente a variedade da população estudada VII) Codificadores discutem os resultados da prática de codificação Treinamento - Passo a passo - Neuendorf
  79. INCT.DD| COMPADD 2021 117 VIII) Possíveis revisões do livro de

    códigos XIX) Treinamento dos codificadores nas revisões X) Codificadores fazem uma codificação piloto numa amostra para testar a confiabilidade XI) Pesquisador verifica confiabilidade mediante uma operação matemática que pondere a chance aleatória de concordância XII) Possíveis revisões ao livro de códigos XIII) Treinamento dos codificadores nas revisões XIV) Codificação independente final (incluindo checagens de confiabilidade). Nessa checagem, o cálculo do nível de confiabilidade deve ponderar a chance aleatória de concordância XV) Relato dos codificadores de suas experiências (Neuendorf 2002, p. 134).
  80. INCT.DD| COMPADD 2021 118 Não se trata de uma codificação

    democrática ou mesmo baseada em uma regra da maioria. Trata-se de padronizar as técnicas dos codificadores. Seus métodos de codificação precisam ser calibrados para que eles vejam o conteúdo da mesma forma, para poderem codificar independentemente, sem discussão ou colaboração depois. (Evitar) Problemas nos dados analisados Bias do codificador – quando sua bagagem/opinião impacta no código (alguém disse análise de valência?) Erros de codificação (repetição, cansaço)
  81. INCT.DD| COMPADD 2021 120 I. Explicações teóricas e metodológicas detalhadas

    II. Familiarização com o conteúdo III. Codificação inicial independente IV. Comparação e verificação das divergências V. Mudanças/melhorias no livro de códigos VI. Codificação independente VII. Repetição dos passos 4-6 Os passos 4-6 devem ser repetidos tantas vezes quantas necessárias28. VIII. Teste de confiabilidade-piloto Sampaio, Lycarião, 2021
  82. INCT.DD| COMPADD 2021 121 Resumo Explicações teóricas e metodológicas detalhadas;

    Familiarização com o conteúdo; Testes independentes; Discussões/esclarecimento com pesquisador e entre codificadores; Usos de exemplos/ilustrações, argumentações, discussões entre grupos para denotar as dificuldades. Mudanças/melhorias no livro de códigos; Sessões diversas de treinamento individual e conjuntas. Consensos ad hoc (registrados no LdC). Sampaio, Lycarião, 2021
  83. INCT.DD| COMPADD 2021 122 Aula 3 A importância dos testes

    de confiabilidade entre classificadores Como realizar testes de confiabilidade entre classificadores Codificação final Análises e inferências dos resultados Cuidados com transparência e replicabilidade Exercícios de análise de conteúdo
  84. INCT.DD| COMPADD 2021 123 7. Treinamento final e teste de

    confiabilidade 7.1 Treinamento 7.2 Teste de confiabilidade entre codificadores Os testes de confiabilidade se dão a partir da comparação entre as codificações de dois ou mais codificadores sobre um mesmo excerto de material. Em outras palavras, nos testes de confiabilidade, todos os codificadores codificam exatamente o mesmo material, mas de forma independente. Isso implica que eles não podem conversar ou trocar qualquer tipo de informação entre si durante a codificação. Então, a confiabilidade é o grau no qual membros de uma certa comunidade confiam nas leitura, interpretações, respostas e usos de certos textos e dados (Krippendorf 2004, p. 212).
  85. INCT.DD| COMPADD 2021 124 Como procedimento central, esse tipo de

    teste requer que as variáveis sejam verificadas por dois ou mais codificadores, em separado, ou seja, tomando apenas como referência o livro de códigos. A premissa é que, quanto mais esses codificadores concordarem entre si, mais precisas seriam as categorias utilizadas na codificação. Para, então, aumentar a confiabilidade de uma pesquisa com AC, a comunidade especializada sugere que sejam realizados testes de confiabilidade entre codificadores.
  86. INCT.DD| COMPADD 2021 125 • De outro modo (caso exista

    uma discordância significativa), a pesquisa estaria sob pena de ter suas variáveis e categorias análise consideradas como imprecisas e, portanto, como não fiáveis. Enquanto os testes de confiabilidade existem desde as primeiras codificações de Lasswell e equipe (Kaplan & Goldsen 1982), é notável que sua maior exigência se tornou o padrão da literatura especializada apenas a partir da década de 1990 (Lombard, Snyder-Duch & Bracken 2002; Macnamara 2005).
  87. A ideia de confiabilidade não visa anular a subjetividade do

    codificador, mas sim padronizar as formas com que diferentes codificadores compreendem as mesmas categorias analíticas, aumentando a chance que a interpretação que estes codificadores fizeram do conteúdo analisado seja a mais próxima possível de uma interpretação mínima comum, de caráter, portanto, intersubjetivo.
  88. Inicialmente, o resultado do teste de confiabilidade era calculado apenas

    pela concordância absoluta, ou seja, comparando-se as codificações de modo a obter a percentagem dos casos em que houve concordância. Entretanto, atualmente, esse é considerado um procedimento bastante limitado. Isso porque há variáveis (especialmente as dicotômicas) em que há uma chance alta de concordância aleatória entre os codificadores. Novamente, vale o exemplo da valência.
  89. A estabilidade (também designada de “fiabilidade intracodificador” ou, simplesmente, “consistência”)

    refere -se ao grau de invariabilidade de um processo de codificação ao longo do tempo. Ela diz respeito a situações de teste-reteste, em que um codificador duplica, num momento posterior, o procedimento de codificação que aplicou a um mesmo conjunto de dados. Não existindo desvios relevantes entre as codificações realizadas em ambos os momentos, conclui -se que os resultados são fiáveis. Recomendamos para pesquisas individuais.
  90. INCT.DD| COMPADD 2021 130 A reprodutividade (também denominada de “fiabilidade

    intercodificadores”, “acordo intersubjetivo” ou meramente “consenso”) designa o grau em que é possível recriar um processo de recodificação em diferentes circunstâncias, com diferentes codificadores. O caso mais típico refere -se à situação de teste-teste, em que dois codificadores aplicam, de forma independente, as mesmas instruções de codificação ao mesmo material, num determinado momento temporal. A precisão consiste no grau em que um processo de codificação se conforma funcionalmente com um padrão conhecido. Ela é determinada quando o desempenho de um codificador ou de um instrumento de codificação é comparado com um padrão de desempenho correto conhecido, previamente estabelecido.
  91. INCT.DD| COMPADD 2021 131 Recapitulando A codificação/classificação de apenas uma

    pessoa é passível de crítica e desconfiança Desde o nascimento da análise de conteúdo científica, pensou-se em testes de confiabilidade entre codificadores para lidar com a subjetividade. O sarrafo aumentou tanto que passaram a considerar que a porcentagem de concordância não era o suficiente, pois havia chance de concordância aleatória. Assim, o padrão internacional é de testes de confiabilidade baseados em índices.
  92. INCT.DD| COMPADD 2021 132 Aplicável a quaisquer números de valores

    por variável. Aplicável a qualquer número de codificadores (não apenas dois). Aplicável para amostras grandes ou pequenas. Aplicável para dados com valores ausentes. Krippendorff's α
  93. INCT.DD| COMPADD 2021 133 Do = Desacordo observado. De: Desacordo

    esperado. Quando o acordo é perfeito e o desacordo é ausente , Do = ° and a = 1, indicando confiabilidade perfeita. Quando desacordo observado e esperado são iguais, isso indica a ausência de confiabilidade, ou seja, -1. Krippendorff's α
  94. INCT.DD| COMPADD 2021 134 Dados para confiabilidade devem exibir variação.

    Para verificar a confiabilidade dos dados, a amostra precise ser representativa da população (universo) no qual a confiabilidade está em questão. Para estabelecer a confiabilidade das instruções, a diversidade dos dados é mais importante que sua representatividade. Dados para confiabilidade devem conter cada categoria que o instrumento distingue com uma frequencia grande o suficiente. O que pode justificar oversampling de unidades raras e undersampling de unidades recorrentes.
  95. INCT.DD| COMPADD 2021 135 Variáveis confiáveis terão α = .800.

    Considere variáveis com confiabilidade entre α = .667 e .800. É errado fazer uma média de confiabilidade entre as diferentes variáveis verificadas. No caso de múltiplas variáveis, o menor resultado de confiabilidade das variáveis deve ser considerado o resultado geral. O risco de a taxa de fiabilidade ser baixa aumenta com: quantidade de categorias a aplicar, número de codificadores que intervêm; grau de desestruturação do material a codificar.
  96. INCT.DD| COMPADD 2021 136 Planilha para teste de confiabilidade Ferramenta

    mais acessível: Recal www.dfreelon.org Colocar as codificações em planilha (.csv), manter apenas os números da codificação, sendo as linhas os casos e as colunas os codificadores.
  97. INCT.DD| COMPADD 2021 137 2 codificadores: Recal 2 (é possível

    fazer todas as variáveis de uma vez, separá-las a cada 2 colunas). 3+ codificadores: Recal 3 (uma variável por vez).
  98. INCT.DD| COMPADD 2021 142 Recapitulação 2+ Codificadores codificam de forma

    independente uma amostra aleatória do corpus (40 unidades) As duas (ou+) codificações são colocadas em formato .csv e sem quaisquer textos. Acessa-se o site www.dfreelong.org Caso sejam 2 codificadores, escolhemos a ReCal2. Se forem 3 ou mais, Recal 3 Todas categorias precisam passar: α de Krippendorff > 0.667
  99. INCT.DD| COMPADD 2021 143 8. Codificação A codificação/classificação final, de

    fato, só começa nesta etapa. A codificação se inicia quando cinco requisitos foram suficientemente atendidos: 1) a unidade de análise foi definida; 2) a amostra foi definida e realizada; 3) o referencial de codificação, notadamente o livro de códigos, foi devidamente revisado para aumentar a validade e a confiabilidade da pesquisa; 4) houve treinamento suficiente e adequado para os codificadores participantes; 5) há um resultado considerado suficiente no teste de confiabilidade entre codificadores inicial.
  100. INCT.DD| COMPADD 2021 144 Assim, se todos os requisitos foram

    cumpridos, é hora de a codificação final acontecer. Seja na população geral de textos/conteúdos, seja na amostra, é o momento de dividir o número total de unidade de análises entre os codificadores aprovados no teste de confiabilidade. Exatamente como nos testes de confiabilidade, cada um codifica de modo independente, não havendo consulta entre si ou com o líder da pesquisa. Por exemplo, se estão sendo analisadas 400 matérias jornalísticas em uma AC e há quatro codificadores, basta cada um codificar 100 matérias distintas.
  101. INCT.DD| COMPADD 2021 145 9. Teste de confiabilidade intermediário e

    final No teste inicial, que ocorre antes da codificação, busca-se averiguar se as categorias são confiáveis e se os codificadores participantes foram capazes de assimilá-las dentro do padrão científico esperado dentro da AC (Lacy et al., 2015). O teste intermediário, por sua vez, busca verificar se a codificação não está caindo em sua qualidade. É um teste que pode ser bastante útil para se verificar possíveis erros antes da conclusão da codificação completa. Idealmente, ele deve ocorrer em torno de 40% a 50% da codificação final. Finalmente, o teste de confiabilidade final ocorre após a conclusão da codificação e busca justamente demonstrar que a codificação final manteve a qualidade atestada pelo teste de confiabilidade inicial
  102. INCT.DD| COMPADD 2021 146 I) Sucessivas codificações-piloto em uma amostra

    heterogênea (mínimo de 10 unidades) levando a revisões do livro de códigos, até que a confiabilidade se mostre aceitável (não aleatória). II) Codificação independente final em amostra aleatória representativa (sugerimos 10% da amostra, sendo o mínimo de 50 unidades). III) Pesquisador verifica resultado do índice de confiabilidade. VI) Se passar, relato dos codificadores de suas experiências. Em caso de falha, retornar ao passo I ou excluir a variável da análise do material completo. V) Disponibilizar, na internet, o livro de códigos, a planilha de dados codificada e o material da pesquisa. VI) Apresentar um relato detalhado do processo no texto científico.
  103. INCT.DD| COMPADD 2021 147 ANÁLISE 10. Tabulação e aplicação de

    procedimentos estatístico Trata-se de algo particularmente complexo Ver curso de Ibpad de introdução à estatística para comunicadores Verificar em especial livros e manuais sobre estatística com dados categóricos. Testes mais simples e interessantes são de qui-quadrado (que vai verificar se duas variáveis estão ligadas ou não) e de resíduo padronizado, que vai mostrar a direção da variação.
  104. INCT.DD| COMPADD 2021 148 Teste de qui-quadrado valor: 240,669; gl:

    120; sig ,000 Qual a área da atuação do/a 1 autor/a? Políticas de comunicação/Econo mia Política esfera civil não- organizada Governo Parlamento /legislativo Campanhas eleitorais Movimentos sociais Instituições de accountability sociabilidade N N 28 51 17 9 7 14 2 5 133 Resíduos -1,1 3,8 -2,3 -0,2 -0,5 2,2 -1,5 -,1 N 7 12 6 7 12 4 1 1 50 Resíduos -1,7 0,1 -1,6 1,7 4,8 ,5 -,8 -,7 N 8 4 4 1 1 0 0 1 19 Resíduos 1,4 -0,1 -,1 -,3 -,2 -1,0 -0,9 ,3 N 5 1 2 1 3 2 2 1 17 Resíduos 0,1 -1,6 -1,1 -0,3 1,7 0,9 1,4 ,3 N 9 3 11 2 0 0 4 0 29 Resíduos 0,7 -1,3 2,0 ,0 -1,3 -1,3 2,7 -1,0 N 3 2 9 1 0 0 0 3 18 Resíduos -1,1 -1,3 2,0 -,4 -1,2 -1,1 -,9 2,3 N 11 4 15 4 0 1 0 1 36 Resíduos ,7 -1,4 2,6 ,9 -1,5 -0,7 -1,2 -,3 N Direito 28 15 12 3 2 1 5 3 69 Resíduos 2,4 -0,2 -0,9 -,9 -1,1 -1,5 1,2 ,2 N Ciência da Computação 3 2 8 ,0 0,0 1 1,0 ,0 15 Resíduos -,3 -0,6 2,9 -1,0 -0,9 0,2 0,6 -,7 N Relações Internacionais ,0 0 0 ,0 1 1 0,0 ,0 2 Resíduos -,7 -0,6 -0,6 -,4 2,7 2,8 -0,3 -,3 N Outros 8 3 11 3 1 1 3 2 32 Resíduos -,5 -1,8 1,0 ,2 -0,9 -0,8 1,2 ,4 Total 110 97 95 31 27 25 18 17 420 Campo de Públicas Ciência da Informação Administração Objeto político/social predominante analisado no artigo Comunicação Ciência Política Sociologia Ciências Sociais
  105. INCT.DD| COMPADD 2021 149 Qual a área da atuação do/a

    1 autor/a? Quantitativo Qualitativo Bibliográfico Quanti/Qua li N N 24 50 63 19 156 Resíduos -1,2 ,3 ,0 1,1 N 23 12 17 9 61 Resíduos 3,2 -1,5 -1,5 1,4 N 7 5 7 3 22 Resíduos 1,3 -,7 -,6 ,7 N 5 9 6 2 22 Resíduos ,3 0,9 -1,0 ,0 N 7 13 9 3 32 Resíduos 0,3 1,0 -1,1 0,0 N 4 8 8 5 25 Resíduos -0,4 ,1 -,7 1,7 N 11 18 10 2 41 Resíduos 1,0 1,5 -1,6 -,9 N Direito 5 19 57 0 81 Resíduos -2,8 -1,2 4,3 -2,8 N Ciência da Computação 1 8 7 0 16 Resíduos -1,2 1,4 0,2 -1,2 N Relações Internacionais 0 0 1 1 2 Resíduos -0,6 -0,8 0,2 1,9 N Outros 12 11 17 3 43 Resíduos 1,2 -0,6 -0,1 -0,5 Total 99 153 202 47 501 Ciência da Informação Administração Tipo de método utilizado no artigo Comunicação Ciência Política Sociologia Ciências Sociais Campo de Públicas Teste de qui-quadrado valor: 83,263; gl: 30; sig ,000
  106. INCT.DD| COMPADD 2021 151 ANÁLISE 11. Interpretar e reportar os

    resultados • Os resultados da pesquisa (respostas às perguntas e hipóteses de pesquisa). • Limites da pesquisa e autoavaliação: quais os limites dos resultados? Há sugestões metodológicas? Os esforços foram válidos? Trouxeram resultados relevantes? • Conclusão: onde a pesquisa se encontra? Estes resultados vão ao encontro ou de encontro àqueles da literatura? O que podemos generalizar e o que é especificidade do estudo? Quais são os mais promissores indicativos de futuras pesquisas?
  107. INCT.DD| COMPADD 2021 152 Articulação entre: a superfície do textos,

    descrita e analisada (estruturas semânticas ou linguísticas) Os fatores que determinaram estas características, deduzidos logicamente (estruturas psicológicas ou sociológicas) Podem responder, usualmente, a dois tipos de problemas: O que conduziu a determinado enunciado? Consequências de um determinado enunciado? Inferência
  108. INCT.DD| COMPADD 2021 153 Em AC quantitativas, muitas vezes a

    inferência está conectada às análises estáticas; Porém, a frequência simples e porcentagens já podem ajudar a fazer boas interpretações e servem bem quando não há hipóteses ou para estudos mais exploratórias. Independente disso, é justamente a hora de contexto, conhecimento da literatura e criatividade entrarem em ação. Inferência
  109. INCT.DD| COMPADD 2021 154 12. Validação e replicabilidade (+ transparência!!)

    AC enquanto técnica científica: o mais recomendável é que o próprio campo científico no qual a pesquisa se insere seja justamente o melhor árbitro para avaliar a validade do estudo em tela. A simples apresentação dos resultados pode ser pouco para uma avaliação adequada. Como já insistimos em outros pontos, o ideal é que os pares possuam mais material para analisar a qualidade da AC em questão. Nomeadamente, é preciso tornar o livro de códigos completo disponível O LdC, em conjunto com a revisão teórica e a pergunta de pesquisa, são premissas básicas para a avaliação da validade de qualquer AC.
  110. INCT.DD| COMPADD 2021 155 Tornar disponível o LdC também é

    essencial para a replicabilidade do estudo. Entretanto, no caso desta, também se faz necessária a acessibilidade ao mesmo material analisado, estando o mesmo em condição equivalente ou suficiente para uma nova codificação externa ao contexto da pesquisa original. É necessário disponibilizar o material e/ou banco de dados que serviu de base para a pesquisa
  111. INCT.DD| COMPADD 2021 158 sugerimos que: 1) o LdC já

    seja disponibilizado assim que a pesquisa for apresentada 2) o banco de dados seja disponibilizado, caso solicitado (e.g. por um periódico ou por partes) ou depois da publicação do artigo científico (assim, a originalidade da pesquisa já estará garantida). Em ambos os casos, o ideal é a publicação em repositórios institucionais e fixos e não em páginas aleatórias da internet, que poderão deixar de existirno futuro breve.
  112. INCT.DD| COMPADD 2021 160 Sugestões de leitura • SAMPAIO, Rafael

    Cardoso; LYCARIÃO, Diógenes. Análise de conteúdo categorial: manual de aplicação. Brasília: Enap, 2021. (Capítulo 3) • LYCARIÃO, Diógenes; LEITE, Ana Beatriz. Política no Facebook: Emergência de novos padrões de compartilhamento de notícias em tempos de crise. E- Compós. 2020. • CERVI, Emerson U. Análise de dados categóricos em ciência política. E-book PPGCP: Curitiba, 2014. • FIGUEIREDO FILHO, D. B. Métodos quantitativos em ciência política. Curitiba: Editora Intersaberes, 2019.
  113. INCT.DD| COMPADD 2021 161 Referências (manuais) SAMPAIO, Rafael Cardoso; LYCARIÃO,

    Diógenes. Análise de conteúdo categorial: manual de aplicação. Brasília: Enap, 2021. • ALONSO, Sonia; VOLKENS, A.; GÓMEZ, B. Análisis de contenido de textos políticos: un enfoque cuantitativo. CIS, 2012. • BARDIN L. Análise de conteúdo. Edição revista e ampliada. São Paulo: Edições 70 Brasil; [1977] 2016 • KRIPPENDORFF, K. Content analysis: an introduction to its methodology. Londres: Sage, [1980] 2004. • NEUENDORF, K. The content analysis guidebook. Londres: Sage, 2002. • RIFFE, D.; LACY, S.; FICO, F. Analyzing media messages: using quantitative content analysis in research. Londres: Routledge, 2014.
  114. INCT.DD| COMPADD 2021 162 Referências (estado da arte da AC)

    • CASTRO, T. G. DE; ABS, D.; SARRIERA, J. C. Análise de conteúdo em pesquisas de Psicologia. Psicologia: Ciência e Profissão, v. 31, n. 4, p. 814–825, 2011a. • GOMES, A. F.; BOCKORNI, B. R. S.; SANTOS, A. Z. P. M.; NASCIMENTO, K. D. J. As contribuições da Análise de Conteúdo e do Discurso para os estudos em Administração. Revista Foco, v. 13, n. 1, p. 146–170, 2020. • MARTINEZ, M.; PESSONI, A. Intercom: pesquisas feitas com o método (1996 a 2012). In: T. de M. Jorge (Org.); Notícia em fragmentos: análise de conteúdo no jornalismo. p.299–319, 2015. Florianópolis: Editora Insular. • NASCIMENTO, O. A. DOS S.; CABRAL, D. P. E; CAVALCANTE, F. R.; REZENDE, M. S.; FILHO, A. L. Os usos da Análise de Conteúdo na produção científica da Educação Física brasileira. Atas CIAIQ2019 - Investigação Qualitativa em Educação. Anais... . v. 1, p.498–506, 2019. • PALMEIRA, L. L. DE L.; CORDEIRO, C. P. B. S.; PRADO, E. C. DO. A análise de conteúdo e sua importância como instrumento de interpretação dos dados qualitativos nas pesquisas educacionais. Cadernos de Pós-graduação, v. 19, n. 1, p. 14–31, 2020. • QUADROS, M.; ASSMANN, G.; LOPEZ, D. C. A análise de conteúdo nas pesquisas brasileiras em comunicação: aplicações e derivações do método. In: E. M. da R. Barichello; A. Rublescki (Orgs.); Pesquisa em comunicação: olhares e abordagens. p.89–108, 2014. Santa Maria: Facos – UFSM. • Sampaio, R. C., Lycarião, D., Codato, A., Marioto, D., Bittencourt, M., & Nichols, B. Uma técnica parada no tempo? Mapeamento da produção científica baseada em análise de conteúdo na SciELO Brasil (2002-19). Preprint Scielo, 2021. Disponível em: https://preprints.scielo.org/index.php/scielo/preprint/view/1913. • SERAMIM, R. J.; WALTER, S. A. O que Bardin diz que os autores não mostram? Estudo das produções científicas brasileiras do período de 1997 a 2015. Administração: Ensino e Pesquisa, v. 18, n. 2, p. 241–269, 2017. • SILVA, A. H.; CUNHA, D. E.; GASPARY, E.; et al. Análise de conteúdo: fazemos o que dizemos? Um levantamento de estudos que dizem adotar a técnica. Conhecimento Interativo, v. 11, n. 1, p. 168–184, 2017.
  115. INCT.DD| COMPADD 2021 163 Referências (outras) • AMARANTE, Erivelto Diego;

    SAMPAIO, Rafael Cardoso. A imagem pública nos 100 primeiros dias de governo: uma análise de entrevistas do portal G1 com prefeitos em início de mandato. Intexto, n. 52, p. 96617, 2021. • Bauer, M. Análise de conteúdo clássica: uma revisão. In: Bauer, M.; Gaskell, G. (Orgs.). Pesquisa qualitativa com texto, imagem e som: um manual prático. Petrópolis, Editora Vozes, p.189-217, 2007. • BORBA, Felipe. Medindo a propaganda negativa na TV, rádio, debates, imprensa e Facebook: o caso das eleições presidenciais de 2014. Intercom: Revista Brasileira de Ciências da Comunicação, v. 42, p. 37-56, 2019. • Carlomagno, M.; Rocha, L. Como criar e classificar categorias para fazer análise de conteúdo: uma questão metodológica. Revista Eletrônica de Ciência Política, v.7, n.1, 2016. • Chagas, V.; Freire, F.; Rios, D.; Magalhães, D. A política dos memes e os memes da política: proposta metodológica de análise de conteúdo de memes dos debates eleitorais de 2014. Intexto, n. 38, p. 173-196, 2017. • Downe-Wamboldt, B. Content analysis: method, applications, and issues. Health care for women international, v. 13, n. 3, p. 313-321, 1992. • FERES JÚNIOR, João; SASSARA, Luna. O cão que nem sempre late: o Grupo Globo e a cobertura das eleições presidenciais de 2014 e 1998. Compolítica, v. 6, n. 1, p. 30-64, 2016. • Figueiredo, M.; Aldé, A.; Dias, H., Jorge, V. Estratégias de persuasão eleitoral: uma proposta metodológica para o estudo da propaganda eleitoral. Opinião Pública, v. 4, n. 3, p. 109-120, 1997. • HUERTAS, Melby Karina Zuniga; SEGURA, Antonio Cássio. Informação e emoção na propaganda: uma análise de conteúdo na Internet no Brasil. Revista Brasileira de Marketing, v. 10, n. 3, p. 127-150, 2011.
  116. INCT.DD| COMPADD 2021 164 Referências (outras) • KLEINA, Nilton Cesar

    Monastier; SAMPAIO, Rafael Cardoso. " Não sou eu quem está falando": A retórica de autoridade em vlogs da Direita brasileira no YouTube sobre a vacina contra a COVID-19. Revista ECO-Pós, v. 24, n. 2, p. 175-200, 2021. • LEITE, Fernando. O campo de produção de Ciência Política brasileira contemporânea: uma análise histórico-estrutural de seus princípios de divisão a partir de periódicos, áreas e abordagens. Tese (doutorado em Ciência Política) 2015. Disponível em: https://www.acervodigital.ufpr.br/handle/1884/37966. • Lombard, M.; Snyder-Duch, J.; Bracken, C. Content analysis in mass communication: Assessment and reporting of intercoder reliability. Human communication research, v. 28, n. 4, p. 587-604, 2002. • LYCARIÃO, Diógenes; LEITE, Ana Beatriz. Política no Facebook: Emergência de novos padrões de compartilhamento de notícias em tempos de crise. E-Compós. 2020. • Macnamara, J. Media content analysis: Its uses, benefits and best practice methodology. Asia-Pacific Public Relations Journal, v. 6, n. 1, 2005. • Macqueen, K. M.; Mclellan, E.; Kay, K.; Milstein, B. Codebook development for team-based qualitative analysis. Cam Journal, v. 10, n. 2, p. 31-36, 1998. • MORAES, Roque. Uma experiência de pesquisa coletiva: introdução à análise de conteúdo. A construção do conhecimento e sua mediação metodológica. Porto Alegre: EDIPUCRS, p. 111-129, 1998.
  117. INCT.DD| COMPADD 2021 165 Referências (outras) • Panke, L.; Cervi,

    E. Análise da comunicação eleitoral: uma proposta metodológica para os estudos do HGPE. Contemporanea, v. 9, n. 3, p. 390-404, 2012. • RIZZOTTO, Carla; PRUDENCIO, Kelly; SAMPAIO, Rafael Cardoso. Tudo normal: a despolitização no enquadramento multimodal da cobertura do impeachment de Dilma Rousseff. Comunicação & Sociedade, v. 39, n. 3, p. 111-130, 2017. • SAMPAIO, Rafael Cardoso; BRAGATTO, Rachel Callai; NICOLÁS, Maria Alejandra. A construção do campo de internet e política: análise dos artigos brasileiros apresentados entre 2000 e 2014. Revista Brasileira de Ciência Política, p. 285-320, 2016. • SAMPAIO, R. C.; FREITAS, C. S. ; KLEINA, N. C. M. ; MARIOTO, D. J. F. ; NICHOLS, B. W. ; BORGES, T. P. F. S. ; ALISON, M. B.; BOZZA, G. A. ; HAUSEN, V. . Democracia Digital no Brasil: mapeamento e análise de artigos publicados em periódicos entre 1999-2018. Boletim de Análise Político-Institucional, v. 25, p. 23-32, 2021. • SANTOS, Nina; ALMADA, Maria Paula . Midiativismo em rede: Twitter e as críticas aos meios de comunicação tradicionais em um sistema híbrido de comunicação. ESFERAS, p. 18, 2019. • SOUZA, Cássia Luã Pires de; GARCIA, Rosane Nunes. Uma análise do conteúdo de Botânica sob o enfoque Ciência- Tecnologia-Sociedade (CTS) em livros didáticos de Biologia do Ensino Médio. Ciência & Educação (Bauru), v. 25, p. 111- 130, 2019. • Stemler, S. An overview of content analysis. Practical assessment, research, and evaluation, v. 7, n. 1, p. 17, 2000. • White, M.; Marsh, E. Content analysis: A flexible methodology. Library trends, v. 55, n. 1, p. 22-45, 2006.
  118. INCT.DD| COMPADD 2021 166 Exemplos de Livros de Códigos Exemplos

    de formulários de codificação Manuais Artigos Materiais https://www.dropbox.com/sh/lci3crivpio9y6o/AABl106iOnPAsB WBYDhi5SoXa?dl=0
  119. INCT.DD| COMPADD 2021 168 Rafael Cardoso Sampaio Professor do Departamento

    de Ciência Política da UFPR Pesquisador do Instituto Nacional de Ciência e Tecnologia em Democracia Digital (INCT.DD) Líder do grupo de pesquisa Comunicação Política e Democracia Digital (COMPADD) Ex-Presidente da Associação Brasileira de Pesquisadores em Comunicação e Política (Compolítica) Lattes / Google Scholar Email / Twitter