越來越多的企業開始聘請外部第三方市場研究公司為自己服務。在和市場研究公司的溝通過程中,研究公司通常都會提供非常漂亮的建議書,上面會有很多的圖表、模型,大量的專業術語。作為委托方,如何評價這些專業公司的方案和實力呢?在為客戶提供市場研究服務以及作為市場研究方案專家評審的過程中,發現有些時候,委托方在下列問題上常常陷入誤區:
1、調查覆蓋面和調查進度如何取舍?
客戶往往希望在一次調查中,花較少的錢,辦更多的事。預算有限,怎么辦?這個時候,很多調查公司為了達成合作,往往在保證覆蓋面的前提下,減少每個子調查項目的有效樣本量。問題是,每一項統計工具都有一個精度問題,為了保證一個最低可以達到的精度,樣本量往往需要保持到一定的數量。無原則的降低樣本量,往往導致調查分析結果的精度太低,偏差太大,基于這些分析結果來測評客戶滿意度、評測企業績效或者指導企業行動,只會誤導企業,浪費資源。
客戶往往缺乏統計常識,這個時候就需要市場研究公司的人員主動指出來相應的厲害關系。但是,很多時候,研究公司以“客戶需求”來自我安慰,不愿明確告知客戶這種選擇帶來的弊端,擔心因此失去客戶。這種情況,其實是對市場研究公司職業道德的一種考量。
2、如何保證抽取樣本的代表性?
抽樣的方法很多,往往是容易實施的抽樣方法,成本低,但是代表性也就差。實施難度大的抽樣方法,成本高,但是代表性強。如何在兩者之間取舍,是客戶和調查公司經常遇到的問題。其實,這也是一個成本和精度的問題。
比如,要調查某品牌冰箱的滿意度,這個滿意度需要覆蓋消費者購買、安裝、學習、使用、接受售后服務、處置等的全過程。這個調查如何實施?常見的研究可以把調查分為下列3個環節:
環節1:涉及購買、送貨安裝調試服務的售前售中服務環節;
環節2:涉及消費者學習、使用冰箱的全面體驗,包括質量、功能、耗電、噪音、操作等多個方面;
環節3:售后維修服務環節,該環節只有那些產品出了故障的消費者才有體驗。
每個環節的樣本如何抽取?首先我們要明確的是,有效的調查樣本應該是在近期內對該環節的體驗仍然“記憶猶新”的客戶。在這個原則下,相應的有效樣本可以確定如下:
環節1:近期(1個月、2個月等)購買了冰箱的用戶,需要親自參與了購買全過程的消費者參與該環節的調查。如果對購買環節熟悉,但是安裝調試時沒有在家,這個時候對安裝調試服務的評價就會出現缺省情況。
環節2:冰箱的主要使用者,即一個家庭中使用冰箱最多的人作為受訪者。對這部分受訪者可以有進一步的限定,比如最近1年購買過冰箱的用戶,或者購買過某某型號冰箱的用戶等。
環節3:近期(比如1個月內)接受過售后維修服務的消費者。調查的內容將覆蓋打電話報修到售后服務完畢后的電話回訪全過程。受訪者至少需要在售后服務人員上門服務時在場。如果對電話報修過程或者電話回訪過程沒有體驗,則他們在接受調查時,對這些環節的評價就會出現缺省。
筆者見過有些研究公司在執行類似的調查時,對各個環節有效受訪者的界定過于寬松,比如對1年內購買的人群調查售前售中服務的滿意度。這種調查難以反映實際情況,因為受訪者的記憶不可能有這么持久。或者對購買一個月內的消費者同時調查購買環節和使用環節的滿意度。那么我們需要確認,購買者和主要使用者是否為同一人?而且要說明,一個月內對使用環節的調查,是新品質量調查,不能反映產品保修期內的滿意感知,或者說用戶有比較成熟的體驗后的調查。但是,遺憾的是,有些調研公司在方案中都盡量回避這些說明。
3、對調查中缺省值如何處理?
正如在第二點中所說的那樣,在調查中,會出現受訪者對某些問題無法回答,也就是說在調查數據中出現缺省回答。這些缺省值如何處理,是統計分析中常見的問題。在使用多元回歸、結構方程模型等分析方法中,一個常見的取舍是:當某個問題的缺省率超過10%(最多不超過20%)的時候,該問題對應的變量就不應該納入模型進行分析計算,而應該單獨分析。而筆者在實踐中,見到有些研究項目,在所有問題都有將近1/3缺省的情況下,依然運行模型。這種做法,非常不嚴謹。
4、建立的統計模型是否通過相應的統計檢驗?
在市場研究過程中,研究公司將會用到非常多的數據模型。但是這些模型能否使用,一般都有前提條件,必須符合這些前提條件,通過這些模型計算出來的結果才有統計意義,否則就是完全的數字游戲。比如,回歸系數是否通過t檢驗,回歸方程是否通過F檢驗,結構方程模型構建過程中的各因子是否通過阿爾法信度檢驗,擬合優度指標是否達到要求,比如RMSEA是否小于0.08,CFI是否大于0.90等。在實踐中,我看到有些研究項目根本就沒有做過這些分析,因為委托方統計知識的缺乏,導致研究人員偷工減料,最終導致導出的結果很有可能是建立在沙堆之上,毫無根據可言。當然,我們并不是說通過了相應的統計檢驗的模型就一定是個好模型,能夠反映實際的狀況。但是,沒有通過這一檢驗關口的模型,往往不是一個好的模型。
5、如何評價項目小組的實力?
一個項目成功與否,項目經理往往起到關鍵的作用。好的、能干的項目經理,往往能夠有效的指揮手下人干活,并且和研究公司其它部門關系良好,能夠準確了解委托方的目標意圖。在中小型市場研究公司里,項目經理往往是全能,對調查設計、調查實施、數據處理和分析、報告撰寫都熟悉。在大型市場研究公司里,則存在分工,比如市場、調查實施、數據處理都有專門的部門。如果項目經理沒有能力,或者不能盡職盡責的對待某個項目,那么在項目調查執行環節,或者數據處理分析環節,就可能出現問題,導致最終的調研結果不能反映實際情況,不能幫助委托方解決問題。
所以,委托方必須和項目經理進行溝通,了解他以往的項目經驗,詢問他對整個項目實施全過程的熟悉程度。如果經驗不足,或者對項目全過程不熟悉,最好要求研究公司選派合格的項目經理主持該項目。
總結:企業現在在市場研究上投入的資金越來越多。如果在上述問題上不能找到正確答案的話,不僅僅是浪費了市場研究投入的資金,而且由于這些研究成果是企業進行決策的基礎,所以可能帶來更多的資源浪費。絕不可掉以輕心!