[問題] CNN模型只會預測同一個分類結果

看板Python作者 (chuneee)時間4年前 (2020/03/26 20:30), 4年前編輯推噓5(5推 0噓 21→)
留言26則, 6人參與, 4年前最新討論串1/1
更新:補充資料集&code 我的資料集是使用 Free Music Archive 參照的方法是像此網址 https://bit.ly/3aoIbUh 只是我想嘗試只用CNN進行分類預測 原始資料如以下，每筆資料的數值都介於 -80~0 [[-33.74863434 -27.84932709 -22.6257019 ... -21.47132492 -19.61938477 -14.22393227] [-16.31633759 -29.69265747 -25.40621376 ... -28.50727081 -11.46302605 -4.04836655] [ -9.1305275 -10.00378227 -28.46733665 ... -23.54629517 -20.91897202 -1.38314819] ... [-63.33175659 -66.34197998 -68.40023804 ... -73.8707428 -68.64536285 -67.72910309] [-67.61167908 -67.59188843 -66.96526337 ... -70.63095856 -74.70448303 -72.90202332] [-71.49047852 -74.54782104 -69.39613342 ... -80. -80. -80. ]] 我所進行的處理是全部取絕對值並標準化到0~1 如下 [[0.42185793] [0.34811659] [0.28282127] ... [0.26839156] [0.24524231] [0.17779915]] [[0.20395422] [0.37115822] [0.31757767] ... [0.35634089] [0.14328783] [0.05060458]] [[0.11413159] [0.12504728] [0.35584171] ... [0.29432869] [0.26148715] [0.01728935]] ... [[0.79164696] [0.82927475] [0.85500298] ... [0.92338428] [0.85806704] [0.84661379]] [[0.84514599] [0.84489861] [0.83706579] ... [0.88288698] [0.93380604] [0.91127529]] [[0.89363098] [0.93184776] [0.86745167] ... [1. ] [1. ] [1. ]] 以下是訓練部分完整程式 result=np.load('specarc_128640_8442.npz') spl=result['spec'] tid=result['trackgenre'] #Onthot Encoding from sklearn.preprocessing import LabelEncoder enc = LabelEncoder() temp=tid enc.fit(temp) temp=enc.transform(temp) print(temp) from sklearn.preprocessing import OneHotEncoder ohe=OneHotEncoder() encoded=ohe.fit(temp.reshape(-1,1)) temp=encoded.transform(temp.reshape(-1,1)).toarray() print(temp) print('length:',len(temp)) #給定特徵值&標籤 labels = temp Features = spl x_train = Features[:8000] y_train = labels[:8000] x_test = Features[8000:] y_test = labels[8000:] x_train=np.abs(x_train) x_test=np.abs(x_test) x_train = x_train.reshape(8000,128,646,1)/80 x_test = x_test.reshape(442,128,646,1)/80 print(x_train.shape) print(x_train[0].shape) print(x_train[0]) model = Sequential() model.add(Conv2D(16, kernel_size=(5,5), activation='relu',kernel_initializer='random_uniform', input_shape=(128,646,1))) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(BatchNormalization()) model.add(Conv2D(8, kernel_size=(5,5), activation='relu', kernel_initializer='random_uniform', input_shape=(64,321,1))) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(BatchNormalization()) model.add(Flatten()) model.add(Dense(16, activation = 'relu')) model.add(Dropout(0.5)) model.add(Dense(9, activation = 'softmax')) opt=optimizers.Adam(learning_rate=0.001, beta_1=0.9, beta_2=0.999, amsgrad=False) model.compile(loss='categorical_crossentropy', optimizer=opt, metrics=['accuracy']) print(model.summary()) ===================================================================== (以下原文) 大家好~ 我目前在嘗試用CNN來做圖片的分類，不過遇到了一個問題 就是訓練出來的模型，只會output同一個結果，因此準確度極低 我的資料集總共有9類，每類包含一千張圖片，每張圖片大小是128*646 我的程式碼和訓練結果如圖 https://i.imgur.com/j5t84k1.png
(圖裡左下角是實際標籤跟預測的值) 可以看到不管input是什麼，模型output的值都一模一樣 但同一個模型在跑MNIST這個資料集的分類時，是有九成五的效果 不曉得是哪裡出了問題... 我總共嘗試過更改: 初始化方法、最佳化方法、損失函數、或是跑更多個epoch但結果都一樣 不過當我: 把kernel數量設為1 或是把激發函數設為tanh的時候，預測的值就會不同了 (但準確度只能達到兩三成而已) 1.我覺得很疑惑的地方是為什麼kernel數為1時 模型看起來比較有在學習 2.我的圖片中的值的範圍在0~80，都是正數，為何用tanh會避免單一預測結果 (不過可以觀察到tanh的預測結果仍是偏向某個類別) 爬過很多stackoverflow的問題都沒有找到可以解決的方法... 在這裡向大家請教~希望有人可以解惑 另外先謝謝大家的回答! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.223.102.205 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1585225821.A.D46.html
→
03/26 21:59, 4年前 , 1F
你model太小了吧，mnist圖大小也才28x28x1
03/26 21:59, 1F
→
03/26 21:59, 4年前 , 2F
你光是圖片的一個邊都比他大了
03/26 21:59, 2F
→
03/26 21:59, 4年前 , 3F
另外你說圖片的值都在0到80之間，建議還是做一下normal
03/26 21:59, 3F
→
03/26 21:59, 4年前 , 4F
ization吧就算只是除80意思一下也會好很多
03/26 21:59, 4F
→
03/26 21:59, 4年前 , 5F
還有就是你的模型長得大概跟你想得不太一樣，基本的東
03/26 21:59, 5F
→
03/26 21:59, 4年前 , 6F
西先看熟吧
03/26 21:59, 6F
感謝建議~ 已經有做過/80，結果是一樣的(只會預測單一類別) 另外不太確定W大所謂的太小是指層數太小還是? 目前使用的模型是參考別人分享同資料集的架構，input大小是128*646， 原模型filter數量是很多，但會有單一結果的問題， 所以我才將filter數減少，發現僅在只有1個filter的時候，預測的類別會不一樣 主要是不太理解為何有這樣的現象
→
03/26 22:00, 4年前 , 7F
欸對還有，model連train起來都有問題了不要dropout
03/26 22:00, 7F
好的~我再嘗試看看
→
03/26 22:04, 4年前 , 8F
你input圖片蠻大的,可以調大filter試試看吧
03/26 22:04, 8F
→
03/26 22:05, 4年前 , 9F
我說的是filter數量
03/26 22:05, 9F
謝謝建議不過目前的狀況是filter>1的時候，會讓模型變成無論input為何， output都是同一個值 有試過無論是4,32,56或更大，都會導致這個結果... 希望大大有理解我的問題 另filter數量1這件事情我將他理解為，只能對圖片產生1種特徵的判別，所以效果當然 不會多好，不曉得有沒有誤會? ※ 編輯: chuneee (61.223.102.205 臺灣), 03/26/2020 23:29:19 ※ 編輯: chuneee (61.223.102.205 臺灣), 03/26/2020 23:32:44
→
03/27 01:34, 4年前 , 10F
建議先去翻翻書吧
03/27 01:34, 10F
→
03/27 01:34, 4年前 , 11F
或看看李弘毅
03/27 01:34, 11F
推
03/27 02:37, 4年前 , 12F
我覺得需要標準化，filter數量也可以調大一點，可以去了解
03/27 02:37, 12F
→
03/27 02:37, 4年前 , 13F
filter移動的原理，因為你圖片的長寬不同，所以可以去自己
03/27 02:37, 13F
→
03/27 02:37, 4年前 , 14F
調一下size然後加深一點的效果應該會好一點
03/27 02:37, 14F
推
03/27 04:05, 4年前 , 15F
03/27 04:05, 15F
→
03/27 04:06, 4年前 , 16F
推李弘毅 可以跟3月剛開始的ML課程 還有看他之前
03/27 04:06, 16F
→
03/27 04:06, 4年前 , 17F
youtube channel上的影片集
03/27 04:06, 17F
→
03/27 04:07, 4年前 , 18F
林軒田的課也推薦 不過比較從數學跟統計的角度切入
03/27 04:07, 18F
感謝大家的提供~ 其實這方面已經有仔細閱讀過幾本Oreilly的書，但會找時間再好好再補一下的 另外是不是我表達能力有問題，大家好像不太理解我的癥結點? 目前的狀況是 1.圖片已經進行標準化 2.filter數量只要設超過1，模型就只會預測同一結果 還是希望有大大能針對這個部分解釋，感謝 ※ 編輯: chuneee (61.223.102.205 臺灣), 03/27/2020 09:07:08
推
03/27 11:02, 4年前 , 19F
不如請妳把程式碼和dataset貼上來
03/27 11:02, 19F
→
03/27 11:02, 4年前 , 20F
這樣大家要改也比較好改
03/27 11:02, 20F
好的~已補上，希望有幫助 ※ 編輯: chuneee (61.223.102.205 臺灣), 03/27/2020 12:43:05 ※ 編輯: chuneee (61.223.102.205 臺灣), 03/27/2020 12:43:58
推
03/27 14:36, 4年前 , 21F
我再強調一次 你應該不知道自己每一層的output shape
03/27 14:36, 21F
→
03/27 14:36, 4年前 , 22F
是甚麼
03/27 14:36, 22F
→
03/27 14:36, 4年前 , 23F
你conv接linear那邊從10000多維直接降到16維我不確定是
03/27 14:36, 23F
→
03/27 14:36, 4年前 , 24F
不是導致了這個原因，可以修的地方很多所以才建議你先
03/27 14:36, 24F
→
03/27 14:36, 4年前 , 25F
翻書或者是找一個好一點的model跟著做做看
03/27 14:36, 25F
推
03/28 03:27, 4年前 , 26F
把第二個 Conv2D 的 input shape 拿掉試試看
03/28 03:27, 26F
感謝提供調整方向，的確在inputshape的部分有點問題，雖然詳細還在重看 但因為我另外還有遇到某些時候padding會有問題，避免Error似乎把模型改的有點問題 換成另一個build model的方法(不使用.add)並加大kernel數量後 就可以正常學習跟預測了，感謝大家的幫助 ※ 編輯: chuneee (36.234.135.138 臺灣), 03/29/2020 21:54:39
‣ 更多 chuneee 的文章
文章代碼(AID): #1UVA1Tr6 (Python)