違反學理的天下雜誌
天下雜誌,多年以來經常做一個「台灣各縣市排行」的專題。
排行的名目很多,有什麼「幸福感」、「競爭力」、「廉潔度」、「首長滿意度」、「光榮感」、「環境品質」云云。
例如,2006.09.01,天下雜誌推出一個「幸福城市排行」的專題(如右圖,取自2006.09.01的封面故事網頁)。
這些調查有的是以專家問卷,專業人士評估,這倒沒太大問題;但大多數的調查題目,是以「民調」的方式進行。天下雜誌所設定的題目本身並沒有大問題,也是重要的公共議題;但腦殘的是,這家雜誌別有居心地把各縣市最後得的積分(數字),竟然拿來做排名榜,它會告訴你,第一名是誰,第十名是誰,最後一名又是誰;它也會告訴你,雲林縣在某項調查去年是第10名,今年是第20名。
作調查並無不妥,但把調查後的數字,拿去「排名」,是一種違反學理的行為。
學過民調基本理論的人都應知道,調查母體不同,調查的結果就沒有比較、排名的意義。
日本現任首相小泉純一郎(Koirumi Junichiro)可以跟他的前一任森喜朗去比較數字;也可以拿2004年1月的小泉純一郎民調去跟2006年1月的小泉純一郎民調做比較。為什麼?因為調查的母體(日本國國民)是一致的,雖然每次抽樣到的調查對象不會一樣。但是,日本從來沒有媒體做過小泉純一郎與石原慎太郎(Ishihara Shintaro)兩個人的施政滿意度調查的「排名」,因為一個是首相(調查母體是全國),一個是東京都知事(調查母體是東京都)。
日本首相小泉純一郎的民調數字,有跟美國總統布希(George W. Bush)去比高低嗎?從來沒有。也沒聽過有國際媒體去做全球施政滿意度前十大政治人物的排行榜。道理很簡單,各國人民調查母體根本不同,去比較、排名根本沒有意義。時代雜誌是做過影響力的政治領袖排名,但它是以「地球人」做調查母體,著重的是各政治領袖在全世界的影響力;時代雜誌也做過「未來領袖」或「明日之星」的選拔,但選出幾十位代表人物,並沒有分名次。
又例如說,性幻想對象調查排名,調查男性心中第一名是林志玲(假設30%),調查女性心中第一名是金城武(假設20%);請問,媒體可以下標題,說「林志玲勇奪性幻想對象第一,金城武緊追在後排名第二」嗎? 當然不可以!兩項調查是分別獨立沒有交集的兩個母體。
天下雜誌就幹這種蠢事。而且幹很多年了。排名在前面的縣市長,喜孜孜地把天下雜誌內容引用到競選的文宣,或做縣市新聞單位的新聞稿。排名在後的縣市首長,有的會裝聾作啞,當做沒看到;也有的縣市長會指示屬下,務必在下次的調查能力爭上游(用什麼方法,就嘿嘿嘿了)。但就是沒有一個縣市首長指出這種排名根本是毫無意義,甚至是腦殘的行為。
我們也可以合理懷疑,天下雜誌製作如此排名專題,目的在吸引各縣市首長動用該縣市的新聞業務預算,到天下雜誌(或同出版集團的其他雜誌)去登該縣市的形象廣告,這些廣告甚至是特別製作的,Layout編排跟天下雜誌正常內文一模一樣,只會在某個不起眼角落寫上「專輯」或「廣告」字樣,讓一般讀者誤以為是正式內容呢。
天下雜誌既做裁判(登出排行名次),又接受選手的錢,甚至內部美編人員又幫選手做廣告,請問它可以做到公平嗎?也許天下雜誌自稱可以,但瓜田李下的事是否該避免呢?
其實最該質疑的就是推出這些排行榜的心態。如果調查母體不同,這個排名就沒有正當性了;我很難理解,天下雜誌是號稱有許多傳播界專業精英的媒體集團,怎會不懂這個民調理論上的最基本原理?或許腦殘的不是天下雜誌,腦殘的是引用、傳播、相信這份排行榜的閱聽人。
2007-03-05, 7:10 pm
調查母體不同,仍可做比較. 只是讀者解讀時要小心. 比方說調查各國消費者信心指數, 各國可做比較, 但其反應的是當地人的感受, 對經濟前景的信心. 各國政府可作為執政績效的比較之一. 但若要當成絕對經濟指標的好壞, 會有偏差.
2007-03-15, 2:57 pm
> 樓上的 Francis,
> 比方說調查各國消費者信心指數, 各國可做比較…
偶也覺得您沒有讀到版主的重點耶!
但是對於版主的”母體比較論”偶可以提個意見:
其實母體不同也是可以比啦,但是定義要明確
例如各國的GDP成長率,男女出生比率,雖然母體不同,
但是透過比例方式消除母體干擾,所以就可以比了!
因此,城市當然可以比,但是基礎要一致,內容要有意義
例如: 以各城市的識字率,失竊率,平均薪資成長率,污水下水道連接率…構建成一個代表該城市的指標,那麼就可以比;
但是請記得, 結論要下有意義的, 一定要與比較內容相關的!
2007-03-15, 3:05 pm
不過整體而言, 該雜誌把真的有邏輯錯誤:
該雜誌把”幸福”分為下面面向:
經濟力+環境力+廉能力+教育力+社福力
先問一個問題:
經濟力高就一定幸福嗎?
如果這樣成立, 那不幸福的人經濟力就很低了?
經濟力不能代表幸福, 幸福與個人感受有關係,
經濟這個因素在幸福感覺裡是個相對因素,而且不是全部因素,
有時候經濟反而是負面因素, 例如很多高薪的人,
因為面臨很高的工作壓力,反而睡眠不足,健康不良,
完全沒有幸福的感覺
所以: 在不正確的前提下,推論出的答案,真的沒有意義…
2007-09-19, 9:58 pm
遠見跟30是天下遠見集團 http://www.bookzone.com.tw/about/aboutus.asp
的,跟天下雜誌集團是兩家不同的集團,一樣的是兩個集團做出來的排名榜心態都很相似,政治立場也很明確。
2007-09-20, 12:38 am
天下雜誌集團跟天下遠見集團是不一樣的公司喔~
就我瞭解,天下雜誌集團包括天下雜誌、康健雜誌、Cheers雜誌跟天下雜誌出版,
天下遠見則有遠見雜誌、30雜誌跟天下文化出版,兩家是不一樣的公司。
天下遠見剛創刊時的確跟天下雜誌是同一家公司,但沒幾年就分家了,是完全不同的公司。
正如明基跟宏碁一樣,你不會說兩家是同一家公司吧~
站長大大如果有興趣可以再去研究一下~
2007-09-20, 12:44 am
天下雜誌看看就好,只想要騙錢,負面新聞不斷。
2007-09-20, 1:22 am
學過統計的朋友一定會覺得陳先生說的話有道理,母體不同,你要怎麼拿來比較?這又不是客觀性的數據,而是經過人主觀任訂出來的結果,影響結果的變因太多,這樣的比較根本沒有統計上的意義(不過,有沒有政治上的意含就不得而知了)。
其實,要比較這種各縣市快樂程度也不是不能比較。首先必需要把母體的項目固定,比如說,調查年紀在多少到多少之間,收入多少到多少之間,按人口比例抽取各縣市人數調查…諸如此類(不過這樣還是沒有什麼意義,因為就算能控制母體的變因,母體還是不同)。
如果真的要在統計上做出有意義的比較,那就是對某一被調查者調查他對「所有」縣市的感覺,然後調查項目要包含該人員在該縣市居住的期間和瞭解的程度,這樣來做出的比較,才稍稍有點意義。
2007-09-20, 1:17 pm
完全不能這樣比嗎?
如果我要調查百大企業的員工,對其公司的滿意度,不能據此做出排名嗎?
2007-09-21, 8:21 am
凱劭大帝完全正確。
如果你抽樣的母體不一樣要比較什麼?還自稱有水準的財經雜誌,呸!
唯一可以做的,就是同一分問卷,在不同年分,自己比較自己的施政滿意度。
例如,同樣這份問卷,台南市去年平均是75分,今年變成78分,這樣去比是有意義的。
或者像是,台北縣在蘇貞昌和周錫偉主政下平均分樹有無異動(而且要Significantly Different)才有意義。題目一樣,抽樣方式要一致。
2007-09-21, 12:05 pm
我是真的不確定才發問,你竟然指稱拜訪你網誌的讀者腦殘吃屎,
第一次遇到部落格主人回應此種人身攻擊的文字,真是前所未見。
無所謂,我自己想過了,而且我認為你此文的說法有問題:
你把「要比較的命題」搞混了。
你舉我爸和王文洋他爸的例子,
可以比較「我和王文洋,誰覺得他爸比較好?」
這和「我爸和王文洋他爸誰比較好?」是不一樣的命題,意義也不同。
第一個陳述只要問兩個人的兒子,第二個陳述可能需要採訪大眾的意見。
所以,再回到我的問題就很清楚了,
我們當然可以比較「哪一家企業的員工,對其公司的滿意度比較高?」
這和比較「哪一家企業,大家認為比較好?」是不一樣的。
而且對想就業的人來說,
第一個調查甚至比第二個調查要更有參考價值,
因為第二個調查只能得到大眾的印象分數,
而第一個調查才能反映身在其中的人的感覺。
再回到天下的話題,如果命題確立為「各縣市的居民對該縣的評價」,當然可以據此做出排名,
只是讀者要能瞭解,這評價含有主觀印象的成分,和當地民風也有關。
而天下的錯誤在於,不該將這樣的調查,擴張解釋為「大家公認比較好」。
前面還有提到,托福分數排名的話題。
分數是個數據,大家考同樣的托福,為何不能排名?
要排當然可以排,只是得到的結論會是「台灣去考托福的人,平均英文程度在亞洲是倒數第四。」
這不等價於全台灣人英文平均程度也是這樣,但也會有某種關連性,
只是未排除的變因太多,可以參考,但不用認定真的是倒數第四。
2007-09-21, 9:24 pm
人的一生總是有些時候會跳入腦殘狀態,進而提出腦殘問題。 (詳見史考特亞當斯著”呆伯特大未來”)
不過被人指稱這個問題很腦殘 (上一個世代的用法: 這個問題很蠢)進而可以推論成自已是腦殘,大概就真的是果人(一樣是史考特亞當斯著”呆伯特大未來”)等級的了。
2007-10-07, 9:43 am
照你這麼說,全天下的學生成績排名,城市競爭力排名,財富排名也都沒有意義嗎?他們的母體都不一樣。不符合學理並不就代表不合理吧。
2007-10-07, 11:47 am
樓上的,照天下那個調查方法做出來排名,本來就沒意義。
你是有沒有唸過統計啊?城市競爭力只有是調查那個城市的居民,自認自己有沒有競爭力來比的嗎?這個就是天下這個爛統媒的邏輯啦!國外的學者在做全球的排名,根據的指標是很多的。
排名是給同一母體內才有意義啦!就像你拿A校第一名甲和B校的第十名乙,然後說第一名比第十名好,於是甲贏乙,有意義嗎?但如果你拿A校第一名丙和A校第十名丁來比就有優劣了。這樣你還聽不懂嗎?
2007-10-07, 5:22 pm
其實我寫這家雜誌違反學理,已經算客氣了。
依我來看,這種媒體並不是學養不足,也不是經驗不夠;簡直是存心要詐騙讀者,對讀者洗腦了!如同他們在戒嚴時期,為獨裁殺人魔服務一樣!
例如,這家雜誌媒體跟統一報、大陸時報一樣,也有在做政治人物支持度、聲望調查。
照理說,針對「選舉」所作的民調,其終極目的只有一個,就是模擬最後選舉真正結果。
如果做候選人民調的目的不是這個,那就別做了,別公開了。
我當然可以接受,選舉民調有技術性的誤差,就像風颱氣象預測,難免有誤差或不準。
可是,這些媒體做的選舉民調,不準不是一天兩天了,而是十幾年如此了。
每次選舉結果揭曉,這些媒體不但不檢討,不但不會因民調嚴重不準而羞恥,反而倒過來質疑是不是當選人有作票(自古以來只有國民黨會作票,偏國民黨的選務人員怎可能幫對手作票)、自導自演槍擊案、公投綁大選(公投跟大選一起辦有啥不對,美國瑞士幾十年來都這樣)。
經過十多年的選舉民調操作經驗,這些媒體總該知道如何去調整加權指數,如何去克服民調盲點。選後發現有嚴重誤差(例如,謝長廷選台北市長的民調是20%,實際得票漲兩倍42%)。再怎麼白癡的人,都知道該怎麼去調整。
這是這些媒體依然故我,繼續用假造的民調(每次都不準,當然等同假造)在詐騙。當自己報紙雜誌的頭條封面。
詐騙集團騙人是其天職,我反而先怪不怪。
痛心的是,台灣還有一堆笨蛋腦殘讀者,會相信它。這才是最可悲的!
2007-10-08, 12:15 am
站長說得是。
有一年我參與教育部全台各縣市教育評鑑,因此對各縣市的教育有相當程度的理解。
結果同一年天下雜誌發表各縣市長施政滿意度排名,其中有一項是教育滿意度排名。天下排名的結果,跟我看到的一些實證資料顯示很多縣市的排名真的很離譜。例如,我們一群相同的大學教授看過所有各縣市的教育資料後,評出來是第三名的縣市,在天下的排名居然是最後一名。而倒數第二名的,居然是排名第一。
看了不止覺得恐怖,還有無限的憂傷。
台灣這美麗的地方,為何要受如此的對待。
2007-10-10, 12:03 am
*** 這是給 站長 的私密留言 ***
2007-10-21, 1:02 am
現在很多都是拿來騙騙一般大眾而已,別太認真。認真你就輸了!當然,我不是講入聯公投,那是真的有用心的,不只是騙騙一般大眾而已
另:15分鐘可改內容的功能還滿人性化!看來小弟(不只)哭肉垮文
2007-11-22, 12:12 am
http://blog.yam.com/tacimoco
http://blog.yam.com/tacimoco/article/12685352
http://blog.yam.com/tacimoco/article/12660830
http://blog.yam.com/tacimoco/article/12660372
2008-06-25, 7:52 am
同樣的道理,由於「評鑑者」的母體不同,總統選舉時比較馬英九和謝長廷在市長任內的施政滿意度也沒意義了嗎?也許真的沒意義,因為謝長廷的確在高雄市輸給馬英九。進一步說,對於謝長廷在高雄市輸給馬英九也沒什麼好感到不平了。
2008-06-27, 6:45 pm
我想還是有讀者沒辦法抓到重點,我這樣做個比喻好了
作個調查百大企業的員工對其公司的滿意度,來作排名
這樣的調查結果當然可以作排名, 但是排名出來的結果顯示的只是純粹各企業員工主觀的對自己公司滿意度的高低
但是拿這個排名來代表各企業的營運績效就很白爛了
白話一點就是某企業員工對公司的滿意度可能很低(老闆很機車,福利還好, 工時很長),但是這個企業很賺錢(績效好)
另一個企業員工對公司滿意度很高(老闆和藹可親,福利一般, 上班時數短,工作氣氛佳),但是這個企業沒什賺錢(績效平平),所以你不能把這個滿意度調查結果用來說滿意度高的企業就優於滿意度低的企業
2008-06-27, 7:54 pm
hotbrian這樣的比喻亦有不合邏輯之處
員工對公司滿意度
當然有包含薪資所得在內
公司賺錢 員工才會多賺錢
所以員工對公司滿意度還是與公司營運有正向關係
天下雜誌的調查另有一個盲點
就是無論是什麼題目
到最後變成知名度調查
新竹市的市政乏善可陳
也沒什麼創意
好的硬體建設是蔡仁堅打下的
可是新竹市長林政則在各方面的分數都是全國前三
原因在於這位市長勤跑基層
幾乎新竹市長婚喪喜慶他一定到場
沒發帖子給他他也去
他有全市里長幫他通報
也因為新竹市小 只有30萬人口 幅員小
他才做得到
新竹縣是新竹市面積30倍
新竹縣長就難做到全縣的紅白場子全到
2008-07-28, 8:30 pm
哈哈~從總爺國小的文章回應中被引到這篇來!
這篇真的寫的太好了!!!!!完全說出我心中多年的看法!
應該要轉去給天下雜誌!!讓那些自以為精英的編輯群知道這樣做多腦殘~
而且他們還以為讀者會跟以前民智未開時ㄧ樣腦殘下去!
該給他們警惕一下!
每ㄧ次的民調大調查還真的是從各縣市政府那邊A到不少錢!
從廣告量就知道~~
不得讓人家合理的認定這是ㄧ種包裝完美的敲詐行為~~
而且說啊~
跑跑紅白包民調就會高~那台灣還有什麼希望???
所有民選出來的縣市長只要成天做些討好選民的事情~
跑跑社區活動 跑跑婚喪喜慶
依照台灣人”見面三分情”的性格,民調就會高!!
所有的基礎建設誰來作??
我看應該早日廢了這種無意義的排名,
讓縣市首長好好做做事情,不要成天討好選民
2008-07-28, 9:18 pm
因為看到這訊息,忍不住來講。
你的學理依據太簡單,我想你沒學過統計或只是有點基本入門知識,對測驗方面也不是很懂。況且,從名義、順序、等距、尺度的觀點來看,統計學已經有75%允許排名,而一般實務上是超過9成情況允許排名的,記住,統計是一個「數」。
1.如果從母體來源來看,似乎你的立論認為「台北縣的評鑑問台北縣民,台東縣評鑑問台東縣民」沒有什麼問題,但是拿去排名就有問題。從這邊應該要從所謂的需無假設與對立假設的邏輯下去解釋,但我稍微把它分解。
1-1假如施政者的政績會影響一個城市人民的競爭力或幸福度感受等,那麼會影響他們的作答情形。
1-2每個人都做同樣的問卷,都是台灣人。
1-3不一樣的是實驗情境,也就是「縣市」。
所以它可以同理簡化為,一個國中的所有學生,隨機打散分配到不同的班級,假如老師教的好,那麼期中考的平均分數為比較高。因此,每班的平均數可以拿來比較,並且排名,作為老師教學績效的指標。
這也能從ANOVA變異數分析的觀點下去看。事實上,「母體沒有不同」。
2.不同群體之間的分數拿來比較是有方法的,比較簡單的方法有:
2-1假如每個群體原本是接收不同的評比,並得到一個觀察分數。
2-2兩個群體隨機抽樣都做同一份測驗,並得到一個觀察分數。
2-3用百分等級的方式做分數的轉換。
這樣即使是兩個不同的群體也能拿來比較,並且能夠排名。
重點是他們在同一份測驗(問卷)的作答情形要有。
「只要有施測過同一份測驗,基本上比較是沒有問題的。」
或是被證明是複本測驗的。
3.事實上,在托福的案例中,你從各國總人數比例去質疑參與考生的性質是對的。
3-1但這問題不是不能解決。
最基礎的只要去看他們的變異數,就能知道他們的群體差異是同質或異質,是精英或是常態。
3-2於是,只要加入變異數,做F檢定等,就能從平均數去做比較與排名。
3-3但就你找到的資料沒有包含這數據,所以托福本身沒有排名是對的,記者拿去排名的確是錯的。
3-4而且從中央極限定理來看,平均數除以根號n的公式,亞洲除了新加坡,其他人數都不會造成多大的誤差問題。
2008-07-28, 10:23 pm
我沒有必要說服你,真或假不會因為你個人的想法而改變。
但我有義務陳述事實,那就是你沒有學過統計,也沒有學過測驗(至少很基礎)。
況且,你意識形態優於學理的,這就跟信仰一樣;
每個不同的信仰相信不同的真理,然真理在宗教之先,信仰之前。
我丟出的質疑跟你回應的反駁,給有學過的人看跟沒學過的人看會有不同的見解。
只要你有度量不刪文就好。
你要說捧紅,也說不定其實是人的劣根性。
媒體可能沒有特別想達到什麼效果。
就好像說前一陣子說喝豆漿會造成精蟲數下降,
男性自然會降低買豆漿的消費慾望。
(當然你也能想像媒體跟討厭豆漿廠商的人掛勾)
如果會特別預測後果,或期望達到什麼效果,
這個叫做「後果效度的評估」,
也就是說,評估公佈某一資訊所可能造成的後果影響。
但這方法不在討論之內。
目前討論的是統計與學理。
2008-07-28, 11:57 pm
「你認為這家媒體針對不同縣市的民調,算是同一個題目,這也是一種意識形態。」
關於這句話,笑笑就好,不予置評。
但我所知道的民調,在美國文化、法律與台灣不同,光是州與州之間的種族構成可能就很迴異。一些敏感性議題會考量所謂的後果效度,選舉議題可能包含在內。當然,我沒有去找相關法規資料,應當有相關規範。
例如,就我所知,美國的測驗公司興盛,民調也是由私人企業進行的,台灣較無測驗公司,民調多數是由新聞媒體或政黨提供。多數情況,在美國這些資訊會作為企業財產,就跟研發部門一樣,作為企業競爭力的來源,也作為政黨的智囊做選舉戰略的佈局。所以不公開是有可能的。或可能僅能公佈某些允許的調查。
但是,美國國家會有一些對州的評比指標,也就是施政要求與達到的施政績效,作為觀察分數,並做州之間的評比提供給人民。這工作就是由國家統一負責進行的,換句話說,美國不會由媒體公佈民調,但會有個政府的施政績效指標。
例如州測驗,教育改革法案把州與州之間的辦學績效,或是測驗分數做評比,當作州競爭力(可以排名的)。
http://www.tw.org/newwaves/64/6-1.html
(美國對教育投入很多經費,因為他們認為那是投資人力資源的培養)
也會間接影響父母為一個良好教育環境,而造成人口移動的後果效應。當然,要說州長怎樣怎樣的施政如何,要改進也是很合理。這可以視為一種考核與績效壓力。與民調不同的是,民調最簡單解釋就是稍微計算人民的意見。這種對州的評比指標就比較類似我們台灣大專院校的系所評鑑,唯不見得由委員評比,如剛剛的考試分數也是評比之一。
2008-07-29, 8:22 am
樓上的:
你舉的州評比指標和天下所做的民調評比根本是兩回事。不能類比。
前者有完整的預算補助,統一的評比標準如果拿來做施政績效比較是ok的。
但天下的這分民調則是一些『感覺』調查的『排行榜』。
它有幾個問題,就是站長講的感覺量化再做比較是無意義的事情。對同一個被測對象每年滿意度的昇降還有一點參考價值,或者是前後任的滿意度(同一分問卷)比較也還ok.但是那不同縣市首長做滿意度調查排名,那是一點鳥意義也沒有。
>況且,你意識形態優於學理的,這就跟信仰一樣;
>每個不同的信仰相信不同的真理,然真理在宗教之先,信仰之前。
還有這種話你最好少講,我也可以講你上面這段文字其實就是有意識形態,否則不必急於替這種違反學理的民調辯解。
2008-08-24, 2:08 am
借轉個人部落格 謝謝
http://moneystory-tree.blogspot.com/2008/08/httpblog.html