評價二手資料的準則(1)
「懷疑的尊重」是在民意測驗中使用二手資料的一個基本原則,對於二手資料的使用先抱懷疑的態度是正確的。
對於二手資料的評估,研究人員需要提出並回答以下問題。□應當提出的問題1誰收集的?
(WHO)首先要問的是,這個二手資料是從哪來的?收集者是誰?委託收集者是誰?
誰發布的?尤其是對收集數據的機構的信譽(是否誠實,是否有出色的工作)以及委託單位的特點要有所了解,因為這些都有可能影響資料的質量。
還有一個相關的問題就是,委託單位是否有足夠的財力來委託這樣的資料收集工作?
是否有故意將資料過高或過低報告的動機?另外,還應當考慮到一個部門可能受到某種壓力,而不願意報告他們的真實情況,或不願意花時間去收集資料,結果就可能導致猜測出偏差。
發布的媒體是大眾媒體還是專業媒體也應考慮在內,因此有些大眾媒體由於受新聞輿論導向的管制,而對敏感信息可能有所
「潤色」。2為什麼目的而收集的?(WHY)在利用二手資料之前,還應考察二手資料收集的初衷。
為了某個團體某些特定的利益而收集的資料是令人懷疑的。例如,人們會對某街道辦公室自己做的街道工作評價的調查結果表示謹慎的態度,因為該辦公室有可能選擇那些有利於自身評價的方法、分析程序等等,而不太可能將那些不利於自己的結果公佈於眾。
3怎樣收集的?(HOW)樣本的收集方法是評價二手資料質量的另一個重要標準。
事實上,收集資料所用的一整套方法的缺失往往影響二手資料質量的最終評價。
在二手資料收集方法的評估中,需要了解問卷、訪問方式、樣本的性質、樣本量、回收率、拒訪率、實施的組織管理情況以及其他任何有可能影響調查結果的方法。
如果上述環節的信息都能獲取,使用者對於資料來源的質量就心中有數了。
對這些環節的考察的關鍵是這些方法中是否可能造成結果的系統偏差。
4什麼內容?(WHAT)即使二手資料的質量可以讓人接受,但也可能難以使用或不能適應需要。
例如,二手資料的原有分類可能太寬,而實際應用時需要更細的分類。
5什麼時候收集的?(WHEN)一般來說,人們把上周的報紙刊登的消息看成舊聞而不再是新聞。
這樣的資料常常是沒有什麼利用價值的。雖然是否真正
「過時」還與資料的類型有關,但在任何情況下,使用這些資料的研究人員都應當知道資料是什麼時候收集的。
因為有些調查結果發表的時間與收集的資料的真正時間常常是相隔很久的。
6一致性如何?(COHERENCE)多個資料來源的多邊檢核准可以從一致性的角度來考察二手資料的可靠性,從而了解所收集的二手資料與其他對相同問題調查所得到的數據的一致性狀況。
二手資料可能存在不少難以發現的問題,要完全識別這些問題是很不容易的,最好的辦法是再找10個以上可以用作比較根據的資料來源。
在理想的情況下,使用不同方法的兩組資料來源最後得到的是同樣結果的資料。
但一般情況下,兩組資料都會有些差別,為此要找出各自的可能偏差以減少兩者之間的不一致性,最後決定哪一組資料是更可靠的。
□評價二手資料質量的準則1技術要求(收集資料所用的方法)收集資料時的技術要求或所用的方法,比如,抽樣方法、樣本性質和大小、回收率和回答質量、問卷設計和執行、現場調查實施的程序、資料處理和報告的方法過程等是考察資料有無可能存在偏差的最重要的準則。
對這些方面的考查可以提供有關資料的可靠性和有效性方面的信息,也有利於幫助我們確定是否可以將這些資料用於解決手中現有的問題。
2誤差(資料的準確性)調研者應當確定二手資料用於當前研究的問題是否足夠準確。
二手資料誤差的來源是多方面的,包括研究方案設計,抽樣,數據的收集、分析以及項目報告等。
而且,由於調研者並沒有實際參與,所以很難評價資料的準確性。評價的方法之一是尋找多方面來源的類似資料,然後通過標準的統計方法來比較。
方法之二是到現場去複查。3時效性(資料的收集時間)二手資料可能不是當前的資料,其發表時間遠遠遲於收集時間。
即使是最近期的,但對解決目前問題來說可能仍不夠及時。民意測驗一般都需要當前的資料,二手資料如果過時了其價值也就消失了。
4目的性(收集資料的目的)資料總是按一定的目標或用途來收集的,因此首先要問的基本問題就是
「為什麼要收集這些資料」。了解了資料收集的目的,就可以知道在什麼情況下這些資料可能相關或有用。
按一定具體目標而收集的資料不一定適用於另外一種場合。例如,為了了解待業青年所做的民意測驗,就不一定完全適合用來分析青少年犯罪,而只能作為一種補充。
5性質、內容(資料的內容)考察資料的性質或內容時應特別注意關鍵變數的定義、測量的單位、使用的分類以及相互關係的研究方法等。
如果關鍵的變數沒有定義,或者與調研者的定義不一致,那麼資料的利用價值就很有限了。
例如,假定有關於消費者對電視節目偏好方面的二手資料。要利用這些資料,重要的是必須知道
「對電視節目的偏好」是如何定義的。是按照看得最多的節目來定義的?
還是按最需要的、最欣賞的、最有幫助的(提供最多信息)、或是對當地提供最好服務的節目來定義的?