Re: [情報] Should Peer Review Catch Fraud?

看板AfterPhD作者 (perk yourself up)時間7年前 (2016/11/28 20:12), 7年前編輯推噓15(15推 0噓 20→)
留言35則, 13人參與, 最新討論串2/2 (看更多)
※ 引述《ACE520 (ASE)》之銘言： : 標題: [情報] Should Peer Review Catch Fraud? : 時間: Mon Nov 28 15:01:35 2016 : : 原文連結 : https://goo.gl/D8MIhc : http://discovermagazine.com/ : : 台灣學術界正在幫台灣,開拓另一條國際曝光度的管道 : : Is it the job of peer reviewers to detect scientific fraud? : : : I’ve been pondering this question for a while but lately my interest was : sparked by the case of a retracted cancer biology paper in the high-profile : journal Nature Cell Biology. Written by Taiwanese researchers Shih-Ting Cha : et al., the article was published on the 15th August and retracted just three : months later, after anonymous posters on PubPeer noticed several anomalies in : the results. : : For instance, there was image duplication: the paper contained identical : images that were meant to be of different mice: : : pubpeer : : Along with other image anomalies found in the paper, these duplications are : evidence of either serious errors in manuscript preparation, or fraud. : : Now, Nature Cell Biology is a peer reviewed journal. Perhaps three or four : independent scientific experts reviewed the Cha et al. paper before it was : published. Shouldn’t they have spotted these problems? Isn’t that the job : of reviewers? Opinions differ, as this (unscientific) poll of my Twitter : followers shows: 就以自己曾當過幾次生醫文章的 reviewer.. 其實真要造假 或是明知道有很大的機率是作者不那麼適當的 "便宜行事" 似乎也真不能如何 舉個例子 有個 western blotting 的 data A : + - + - B : - + - + loading control : ............. 很常有的例子是我問 可不可以多加一個 condition C 結果文章改完回來 就是 A, B, control 的圖絲毫沒變 （用原圖） 就中間多給你一個 C 的 condition 就以一個嚴謹的實驗來說 除非你的樣品都有保留 或是 membrane 還留著 不然理論上回來的data, 不管是 A B 跟 control 都要應該重跑一遍 審一篇文章向來須時很久 甚至那data 有可能是兩三年前做的 所以你跟我說 western 樣本都有保留 (冰的那麼久還能用嗎? 或是那麼剛剛好sample 是submit 前才製備的?)， 或是有保留 membrane （保留底片是必須的 但保留膜?），所以才保留文章原圖 就常在弄實驗的人 都知道這機率實在不高 但作為一個 reviewer 你能怎麼樣? 還有一樣的情況是少跑 loading control，在我要求要補loading control 後 結果文章改回來就給我多一欄的 loading control， 其他圖都完全不變，這樣子的 data 嚴謹嗎? 做 reviewer 是否該要求這整張圖重做? 更別提很多 cell or 組織 imaging 的圖都是只秀出能符合 hypothesis 的區塊 有在作實驗的都知道 很多漂亮的 hypothesis 等到正式作實驗後 情況都會不如預期（或是差異不大） 但是一旦沒有漂亮的 hypothesis， 那些大期刊 editor 常一句 “no general interest” 拒掉, 審都不審 以前在美國時，老闆只對他想的 hypothesis 有興趣， 只要 data 不能符合他的期待 結果不是被忽視， 辛苦做的 data 被丟在一邊 擺一百年都不發 不然就是直接黑掉， 反正兩者結局一樣: 被學術界淘汰，或當學術長工 自然很羨慕那些 data 怎麼做都能符合老闆假說, 而 CNS 狂發的神人 學術界有些畸形生態久了 感覺待久都不大健康 現在進入業界後，只有研究有需要參考到那些大期刊的文章， 第一件事情就是 repeat 一些文中較簡單的實驗，一旦一兩項不能重復後 整篇就連探討就都不想探討，碰的太多..浪費時間 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.110.202.6 ※ 文章網址: https://www.ptt.cc/bbs/AfterPhD/M.1480335167.A.0C5.html
推
11/28 20:19, , 1F
就reviewer說要補甚麼 下回就都補出來了
11/28 20:19, 1F
推
11/28 20:20, , 2F
就說美國很多大頭也是這樣 國外的月亮不會比較圓 不要妄自
11/28 20:20, 2F
→
11/28 20:20, , 3F
reviewer 也看到效率這麼高 也只能說 impressive...
11/28 20:20, 3F
推
11/28 20:28, , 4F
雖然不是這個領域的，但我想我會challenge作者的
11/28 20:28, 4F
→
11/28 20:34, , 5F
很難挑戰,當作者都說用同批lysate或先前就有做,你也沒輒
11/28 20:34, 5F
推
11/28 20:36, , 6F
不會。先質疑再說。等他來說服我。
11/28 20:36, 6F
→
11/28 20:37, , 7F
就講了阿,同一批lysate,你怎麼反駁呢？
11/28 20:37, 7F
→
11/28 20:38, , 8F
不如直接另闢戰場(要求限制條件的data),作者就只能重做
11/28 20:38, 8F
推
11/28 21:15, , 9F
就算限制條件也不見得能叫作者重做 比如說通訊作者是
11/28 21:15, 9F
→
11/28 21:16, , 10F
大頭 一句話頂回來就period了
11/28 21:16, 10F
→
11/28 21:25, , 11F
當然那是相較於隨便補一條Ab而言,什麼都不補又是另一件事
11/28 21:25, 11F
推
11/28 22:18, , 12F
什麼都不補 反而比較好打槍 補了後反倒比較難懷疑真實性
11/28 22:18, 12F
推
11/28 23:46, , 13F
不是很理解生醫，在工程，就算是大頭，只要有疑問照
11/28 23:46, 13F
→
11/28 23:47, , 14F
打槍，甚至REJECT。生醫的大頭有這麼可怕啊！？
11/28 23:47, 14F
推
11/28 23:54, , 15F
因為你審他的paper，但是他可能審你的計劃/預算啊
11/28 23:54, 15F
推
11/29 00:04, , 16F
言下之意，所謂的匿名審查在生醫界不是那麼的匿名？
11/29 00:04, 16F
推
11/29 00:17, , 17F
不如說圈子太小，看風格很容易猜出來是誰審的。
11/29 00:17, 17F
推
11/29 00:25, , 18F
如果大多是外國(非國內)學者審，應該沒這問題才對。是嗎?
11/29 00:25, 18F
主要是一般 reviewer 在審，都是以信任的角度去審，而不會先預設這篇是造假的 畢竟，reviewer 不可能一邊審，一邊自己去repeat 實驗驗證真假 自己親自作實驗的，就會知道知道要去試最佳條件要花多久時間， 但是如果作者在最短時間，給你最佳的結果，你一般也只能選擇相信他 （假設沒有出太嚴重的錯誤情況下） 舉個例子，像是 1/1 號要求作者要多兩個男新生兒的數據， 結果 10/2 作者就就給你踫出一對男雙胞胎。 當 reviewer 怎麼懷疑作者就是天生神力加好運，1/2 就剛好給你受孕？ 然後剛好預產期一分不差就生出來？ 難道要我們 reviewer 自己也去生生看？ 最後也只能說 " Wow, so impressive !!!!" 一般念到博士，如何去“做”出 data 不是難事 而作為reviewer 也不是不能瞭解如何可以造出 "需要的data" 要質疑，真的質疑不完.... 要非這次的風暴是做圖做的太粗劣，不然生醫實驗能作手腳的空間太大了。 說真的，真的聽太多那些每年都有好幾篇 CNS 大paper 產出的知名 Lab， data 無法 repeat 了 就像是你可以理解有人也許運氣很好，或砸錢很多 而連續三期大樂透都有中獎 但當你聽到連續三期大樂透的頭獎都在同一家，難道你不會有點質疑？ ※ 編輯: timbrian (123.110.202.6), 11/29/2016 00:51:18
推
11/29 00:50, , 19F
投稿人跟審稿人都當假科學家，這個年頭科學還真是廉價…
11/29 00:50, 19F
→
11/29 00:50, , 20F
…不想當科學家的話去當商人比較不用跟良心過不去。
11/29 00:50, 20F
※ 編輯: timbrian (123.110.202.6), 11/29/2016 01:03:24
推
11/29 01:15, , 21F
感謝詳細的解釋！
11/29 01:15, 21F
→
11/29 01:42, , 22F
這年頭的商人，還剩幾個是有良心的呢～
11/29 01:42, 22F
推
11/29 01:44, , 23F
"猜reviewer"有時不是那麼難 研究做到枝微末節 圈子就
11/29 01:44, 23F
→
11/29 01:45, , 24F
很小了 然後可能會用"推薦reviewer" 再加上reviewer
11/29 01:45, 24F
→
11/29 01:45, , 25F
寫作的風格 有時候跟本一看就知道是誰給的comments
11/29 01:45, 25F
→
11/29 01:47, , 26F
做科學本來就是良心事業 你憑良心做研究 也相信同行會
11/29 01:47, 26F
→
11/29 01:49, , 27F
憑著良心做研究 體制就是基於互信而運作 不然就崩潰了
11/29 01:49, 27F
→
11/29 02:10, , 28F
你說的這確實是問題 但也有reviewer要求補些奇怪的實驗
11/29 02:10, 28F
→
11/29 02:11, , 29F
過去回信直接argue 從來也沒有reviewer退讓 落的就投不上
11/29 02:11, 29F
→
11/29 02:12, , 30F
而已 那最後也只能全力配合reviewer的要求 無奈阿
11/29 02:12, 30F
推
11/29 04:52, , 31F
有時reviewers要求補一堆實驗 也會吵回去 讓reviewer退
11/29 04:52, 31F
→
11/29 04:53, , 32F
讓 其實能說服reviewer就好了
11/29 04:53, 32F
→
11/29 09:24, , 33F
審查的抗辯本就和寫論文一樣有技術 兩者都要有說服力
11/29 09:24, 33F
→
11/29 09:24, , 34F
才能說服做最終決定的主編 至於推薦的審稿者 有期刊
11/29 09:24, 34F
→
11/29 09:25, , 35F
規定主編或者副編挑審查者時一定要接受?
11/29 09:25, 35F
‣ 更多 timbrian 的文章
文章代碼(AID): #1OF1y_35 (AfterPhD)
‣ 更多 timbrian 的文章
文章代碼(AID): #1OF1y_35 (AfterPhD)