内容分析编码信度检验的种类

内容分析的信度包括两大类:
一是纵向信度， 即编码者个体自身的一致性;

二是横向信度，即编码者之间的一致性。

这两者犹如实验设计中的自身比较(within) 和组别(between)比较。一 般的内容分析方法基本只涉及编码者之间的检验。

然而，纵向的自身检验同样重要。试想，如果编码者自己都“朝三暮四”，前后不一，又如何谈得上编码者之间的信度呢?

一、纵向信度检验

虽然相对来讲，编码者自己出现不一致的情况少一些， 但是一些人为的或者自然的因素往往也会影响自身一致性。

一 方面， 误差可以来自类目定义和操作，比如，明确程度、可操作程度等。另外一方面，编码是大样本量工作，不可能在短时间内一蹴而就，非学术因素如疲劳、环境影响、专注程度等都会影响自身一致性。

如何检验纵向信度呢?学术界对这个问题涉及不多。一个比较简单的方法，是把在一个时间段内编的码放一一放， 等一段时间，再对同样的样本进行编码，然后对一致性进行比较。间隔的时间不宜太短，以减少前面编码过程的影响。次序也应该打乱。虽然目标是100%的一致率， 但在实践上很难达到。

内容分析的信度般指的是不同编码者之间的横向信度，但纵向自身的一致性和稳定性是前提和基础。

二、横向信度检验

横向信度检验即编码者之间的信度比较，是考察不同独立编码者之间的一致性。 它既包括由于不同编码者编码造成的不一致，也考虑随机因素。

1，信度检验的次数

信度检验通常应该包括两次:首先是编码训练时进行的用于测试编码者之间一致率的检验，带有试验性质;其次是在正式编码工作开始之前，应该再进行一次用于最后报告的信度检验。当然，这个没有硬性规定。

试编码阶段的信度检验，如果得出的信度系数低，则需要举一反三， 通过修正编码说明等手段来提高信度系数。如果信度可以接受，那么就可以进行正式的信度检验。正式的信度检验要求编码者必须独立编码，不能讨论协商。

2，样本来源和大小

样本来源和大小涉及几种不同情况。首先，如果是试编码阶段的非正式信度检验。对样本的来源和大小的要求不怎么严格。但是必须注意的是，用过的样本不应该再放到总样本中，因为会受到重复编码的影响。

正式信度检验的样本应该是随机概率样本，即在总体样本中随机抽出分样本。这样做的好处是能够依据抽样误差来计算出具体样本数。

这涉及概率统计学的演算问题，相对复杂一些，所以不在这里详细讨论。通常的做法是，总体样本数量较大的，取总体样本的10%，总体样本数量较小的则需要增加抽样样本。

但是，增加的样本有可能占了总体样本很大比例，那还不如索性全部进行信度检验。

具体来说，当总体样本数大于50时取10%:如果总体样本在5以下，则可考虑加倍(20%，40%) 或者普查。

3，分歧的解决

如果正式信度检验的结果只用于信度检验而不计入最后数据，就不涉及分歧的解决问题。

但是，在内容分析研究中，常常有这样一种情况:两位或者两位以上的编码者同时对所有的样本进行编码，比较一致率，信度检验的编码结果同时是最后的数据结果。如果出现分歧怎么办?以哪一位编码者的结果为准?显然信度的编码结果不能提供标准或参考。因为所有的信度检验都只能检验到不一致，却不能确定谁的答案正确或者更准确。

解决分歧的方法主要是编码者通过讨论协商解决。美国政治传播学教授贝努瓦在其对大选言论的多篇分析中都使用了此种信度检验和处理方法，并做出了有说服力的解释。贝努瓦认为这样做可以克服一般信度检验无法克服的弊病，即只能发现不同，却无法发现为什么不同。

如果通过协商仍然存在分歧该如何处理?

有几种做法可以参考，一是 采取随机分派的办法。比如，两个编码者共有10处不同，那就随机各取5个。这样，偏见有可能相互抵消，对最终的数据影响不大。另外则可通过独立第三方对有争议的样本进行编码，然后采取少数服从多数的原则决定。

然而，克里佩多夫对这样的处理持保留态度。他认为，之所以检验信度，是为了内容分析结果的可重复性。这样通过讨论协商、随机各半或者少数服从多数的做法有悖可重复的原则，掩盖了实际存在的不一致率。 克里佩多夫的见解有一定道理。 所以，一个折中的办法是，为了数据处理可以采取协商等办法，但是，写入报告的应该是协商一致前的信度检验结果。