高回收率更好吗?

——对调查回收率的另一种认识

风笑天

原载《社会学研究》2007年第3期 

提  要：论文结合国内外的研究实例，对调查回收率的衡量标准及其依据提出了自己的看法。作者指出，一方面，调查回收率所代表的实际样本的大小，是衡量一项调查结果所具有的代表性的最终指标，因而回收率越高越好。但另一方面，由于实际调查中存在着许多制约和影响回收率的因素，如果不切实际地单纯追求高回收率可能会影响到调查资料的质量，因此回收率并非越高越好。研究认为，样本的完整与资料的质量是我们在调查中应该同等关注的两个方面，既要尽可能地提高回收率，也要尽可能地防止和避免低质量的高回收率。

     关键词：社会调查；回收率；方法论

一、一个意外的提问

2005年8月，美国社会学协会(ASA)第100届年会在费城召开。在分组会议上，一篇由笔者与合作研究者(美国教授及其博士生)合写的论文进行了宣读。论文报告完后，在场的一位美国学者提出了一个这样的问题：“你们的研究报告指出，调查的回收率为96％，请问，回收率怎么会有这么高?!”

这一提问让笔者感到十分意外。国内学者——包括笔者——以往所进行的一些调查，回收率达到90％以上可以说是相当常见的现象(实际的统计结果证实了笔者的印象，具体情况可参见本文第三部分的内容)。更为重要的是，在笔者(以及国内许多同行)看来，调查回收率的高低，是衡量一项调查质量高低的主要标准。而在实际从事社会调查的过程中，努力追求高回收率也早已成为许多国内同行的共识和行动。难道高回收率有什么不好吗?难道我们不应该追求高回收率吗?高回收率有什么不正常吗?正是这种意外的感觉以及由此所带来的一系列疑问，促使笔者对调查中的回收率问题进行了重新思考，并对调查回收率或高或低的现象背后所具有的深刻含义进行了分析。本文的目的就是围绕这一看似简单、实际上却关系重大的方法论问题谈谈笔者新的认识，以就教于学界同行。

二、调查回收率及其意义

社会调查中的回收率(response rates，也称作回答率或应答率)指的是“调查者实际调查的样本数与计划调查的样本数之比”(风笑天，1987)，也就是社会调查过程中研究者成功完成调查询问的个案数占计划完成的样本总个案数的百分比。它通常包括自填式问卷调查中的问卷回收率和结构式访问调查中的访问回答率。回收率的计算方法是：

比如，一项调查从总体中抽取了400名调查对象作为样本，研究者采用自填问卷的方法收集资料，发出问卷400份，实际收回问卷380份。那么，根据上述公式计算，该项调查的回收率为：

(380／400)×100％=95％

同样，如果研究者采用的是结构式访问的方法来收集资料，而在实际访问400名调查对象的过程中，有10位调查对象由于地址错误、外出打工、生病住院等客观原因而无法接触到，还有10位调查对象拒绝接受访问。结果，实际完成访问的对象为380人，回收率亦是95％。

实际调查中，由于收回的问卷里还可能会有一部分不合格的问卷，所以，真正严格意义上的调查回收率(也称为有效回收率)指的是通过对问卷的审核，剔除那些填答不全或明显乱填的废卷后所剩下的问卷数(即有效问卷数)占样本总个案数的百分比，即：

比如，通过审核发现上述调查中所收回的380份问卷里，有20份不合格的废卷，将这些废卷剔除，该项调查的有效回收率就只有：

[(380—20)／400]×100％=(360／400)×100％=90％

由于最终进入数据分析的问卷数目是有效问卷数，因而，一般情况下研究者在研究报告中向读者报告的应该是有效问卷数和有效回收率。如无特别说明，本文中的调查回收率也指的是调查的有效回收率。

对于社会调查而言，回收率最常见、同时也是最基本的方法论意义在于：它是决定和影响调查样本代表性的重要因素。“回收率是受访者样本代表性的一项指标”(巴比，2000：331)，“它是反映抽样调查结果对总体的代表性程度的重要指标之一”(风笑天，1987)。调查研究中，研究者虽然可以通过科学的抽样设计，达到从总体中抽取具有代表性的样本的目的，然而，这种抽样所得到的样本的代表性并不能最终反映调查结果的代表性。因为抽样所得样本对总体的代表性是一种处于调查开始之前的衡量指标。在进行调查的过程中，会有许多因素导致抽样样本中部分个案的缺失或失效，使得最终完成调查的样本只是抽样样本中的一个部分。而由于“未回答者通常与问卷的回答者有着相当的差别，他们通常是一些由于受教育程度低而看不懂问卷的人、一些年事已高而无法回答问卷的人、或者是一些流动性较大而无法找到的人”(Nachmias＆Nachmias，2000：208)，所以，当调查的回收率较低(即未回答者的数量较大)时，调查结果的总体代表性就会受到明显的影响和破坏。这方面最著名的例子是美国《文学文摘》杂志关于美国总统选举的调查。该杂志在1936年的总统选举调查中收回了200多万份调查表，其收回的问卷规模可谓巨大。但是，相对于其所发出的1000多万张调查表来说，200万的数字依然只是很小的一部分。正是这种20％左右的回收率(以及研究者在抽样框方面的失误)，彻底葬送了《文学文摘》杂志的这次调查结果，也最终导致了这家杂志的关门。回收率过低而影响到调查结果质量的另一个著名例子是美国学者海蒂关于美国女性的性调查。尽管这项著名调查的有效样本规模也达到了4500份，但相对于其发出的10万份问卷来说则小得可怜(回收率仅为4.5％)，其研究结果因此遭到学界猛烈批评。也正因为如此，“在调查研究中，回收率是研究者的一大担心”(Neuman，1994：239)。

那么，可接受的回收率，以及很好的回收率的标准是什么呢?对此学界目前还没有统一的认识。纳克米亚斯等人指出：“要确定一种可接受的回答率标准并不是一件容易的事情，因为科学家在最低回答率的标准上意见不一致”(Nachmias＆Nachmias，2000：213)。美国社会学者巴比提出过一个简单的等级规则：“要进行分析和报告撰写，问卷回收率至少要有50％才是足够的，要至少达到60％的回收率才算是好的；而达到70％就非常好。”但他同时也明确指出：“要记住，以上数据都只是概略指标，并没有统计上的基础”(巴比，2000：331)。

尽管没有统一的衡量标准，但笔者认为，一般情况下，如果无回答的比例超过样本总量的1／3，即回收率低于样本总量的2／3时，调查结果就有可能出现大的偏差。因此，当一项调查的回收率低于这一比例时，研究者有责任对未回收的调查对象所具有的基本特征及其所带来的误差进行分析和说明。因为这种误差在相当大的程度上将决定和影响调查研究结果的推广范围以及推广中的偏差范围。

由于回收率所代表的样本才是真正的样本，或者说，才是得出调查结果时实际用到的样本，因此，即使在抽样样本具有很好代表性的情况下，调查回收率的高低仍然可以影响到调查结果的代表性程度。正是这种由回收率所代表的调查样本的大小，成为衡量一项调查的结果所具有的代表性的最终指标。也正是在这种意义上，我们说，调查的回收率越高越好。

三、目前国内社会学界调查回收率的状况

正是基于上述认识，研究者在调查中一般都会尽可能地追求更高的回收率。国内社会学界调查回收率的状况也很好地说明了这一点。笔者对《社会学研究》最近两三年来(2004年第2期—2006年第3期)所刊登的、利用抽样调查数据(一项网络调查除外)撰写的全部研究论文中的回收率进行了统计，其结果表明，在最近两年半的时间内，《社会学研究》共发表了利用抽样调查所得数据撰写的研究论文27篇(涉及到20项调查)。其中，报告了回收率的19篇，没有说明回收率的8篇(其中有4篇通过其他方式了解到或计算出其回收率)。在最后得到的总共23篇(属于16项调查)有回收率统计的报告中，2篇(属于同一调查)的回收率为60％左右，l篇为76％，3篇为82％一90％之间，其他17篇(属于11项调查)的回收率都超过90％。特别是其中两项全国范围的大规模调查(样本量均在6000份左右)的回收率更是达到了99.2％和99.9％(见表1)。

    表1  2004—2006年《社会学研究》刊发的抽样调查报告的回收率统计