[問題] Sequence to Sequench LSTM echo numbers

看板Python作者 (幼女狂想曲)時間6年前 (2018/01/04 13:58), 編輯推噓2(205)
留言7則, 5人參與, 6年前最新討論串1/1
大家好 本版首po 最近在學習Encoder-Decoder LSTM,看到一個範例是使用這個model去echo一個序列中前 幾個數字 舉例: Xtrain ytrain [4, 1, 12, 5, 3, 9] [4, 1, 0, 0, 0, 0] [3, 8, 4, 1, 0, 10] [3, 8, 0, 0, 0, 0] [7, 11, 9, 5, 1, 8] [7, 11, 0, 0, 0, 0] 之後加上Bidirectional和Attention,效能有比原本的大幅提升,但現在我想把這個問題 做一點修改,想要echo的部分是某個指定連續的兩個數字,但這指定的連續兩個數字在每 一個序列中的位置不一樣 舉例: 假設想要的partial sequence是[16, Z],Z是任意數字,但就是接在16後面,所以Xtrain 和ytrain可能長這樣 Xtrain ytrain [4, 1, 12, 5, 3, 9, 16, 7, 0, 11] [16, 7, 0, 0, 0, 0, 0, 0, 0, 0] [5, 16, 12, 3, 9, 10, 2, 1, 8, 7] [16, 12, 0, 0, 0, 0, 0, 0, 0, 0] [6, 3, 10, 17, 16, 2, 5, 9, 11, 4] [16, 2, 0, 0, 0, 0, 0, 0, 0, 0] Xtrain和ytrain會先做one-hot encode,但如果這樣會train不起來 我想說會不會是ytrain的樣子要做修改,但用位置做標記也不合理 把ytrain改成[0, 0, 0, 0, 0, 0, 16, 7, 0, 0]再去做one-hot encode,也train不起來 我目前想的是ytrain的樣子要做修改,然後才fit到model裡,但目前就是卡住了,不知道 該怎麼修改 希望有人能提供任何意見 附上範例連結: https://machinelearningmastery.com/encoder-decoder-attention-sequence-to-sequence-prediction-keras/ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.9.226.170 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1515045482.A.494.html

01/04 14:19, 6年前 , 1F
世界上有這麼多真實的時序資料 為什麼要做這麼怪的題目
01/04 14:19, 1F

01/04 14:19, 6年前 , 2F
語言模型、語音辨識、甚至MNIST都能用RNN做 做這幹嘛?
01/04 14:19, 2F

01/04 14:22, 6年前 , 3F
就算硬做, 這個教學從建模到實作技巧都....有進步空間
01/04 14:22, 3F

01/04 19:22, 6年前 , 4F
我有點懷疑seq2seq是不是真的能做到你想要的..
01/04 19:22, 4F

01/04 23:40, 6年前 , 5F
用pointer network試試 只是你要給的變成頭尾的位置
01/04 23:40, 5F

01/05 01:55, 6年前 , 6F
請教一下dataset大小?
01/05 01:55, 6F

01/06 00:09, 6年前 , 7F
如果每次都是找16的話,就直接用16去做attention
01/06 00:09, 7F
文章代碼(AID): #1QJS9gIK (Python)