Re: [爆卦] 臉書機器人自創語言事件的實驗消失

看板Gossiping作者legendsleep時間8年前 (2017/08/03 15:02)推噓2(3推 1噓 2→)

留言6則, 6人參與討論串2/2 (看更多)

看完你這篇我突然想到台灣好像也曾經有出現過這麼一個模型但是大家都把它當真人看他就是bluwoo 當時一堆鄉民去分析他的思考邏輯跟言行舉止現在來看是不是他根本就是有人編寫的程式? 有掛? ※ 引述《daviden (daviden)》之銘言： : 最近看到這個新聞覺得滿好笑的， : 剛好手邊有一個寫文章機器人的project， : 就拿來實驗給大家看看。 : 這些是訓練神經網絡時的紀錄點(checkpoint)， : http://i.imgur.com/vu0gLXh.png

: 我挑一個比較不成熟的(loss高的)來展示。 : http://i.imgur.com/7HTnZeu.png

: 基本上就是不段重複："a core"這個序列。 : 這是完成第一個循環(epoch = 0)，loss = 2.6727的情況 : 結果跟Facebook機器人的對話很像 : 就重複一些簡單的單字，毫無意義。 : 其實Recurrent Neural Network(RNN)做出這種結果是很常見的 : 在國外data scientist的部落格中，也有類似的例子。 : https://goo.gl/WlUdcW : 這篇文章裡，以小架構的RNN，用整本愛麗絲夢遊仙境小說作訓練， : 做出來的文字是這樣: : "sabdit, : and the white rabbit wese tilel an the caoe and the sabbit se teeteer, : and the white rabbit wese tilel an the cade in a lonk tfne the sabdi : ano aroing to tea the was sf teet whitg the was a little tane oo thete" : 我只節錄其中一段。 : 可以看到有一整句話是完全重複的， : "and the white rabbit wese tilel an the" : 整篇output看來，也有很多重複出現的序列。 : (該文章的作者後來用更大的神經網絡、訓練更久，也達到很好的效果) : 做神經網絡時，出現難以預測的結果是很常見的。 : 大多數時候，這並不是什麼"發明"，只是模型對訓練集的掌握不好。 : 問題可能來自訓練資料、神經網絡的架構、optimizer，等等...很難講。 : 在我的project裡，當神經網絡訓練更完全(epoch = 17, loss = 1.1391)， : 可以產生這樣的文字標題： : "lpt: if you are srarting a shopt for the ooen that you : don't have to contact the top of your phonee ." : "lpt: when seniing someone s hood to you don't want to : het it to youu fbori eorr tthienkty." : "lpt: if you are srarting a store in your car with a : complate bard before a bustom rings on your phoone." : 這和先前重複"a core a core"的模型是同一個，但現在已經可以講英文了。 : 這就只是訓練充足與不充足的差別。 -- 小朋油，只要加入國軍，不但可以成就不凡人生還可以學到各種演習操演，野外求生，和緊急救護的能力哦~ http://imgur.com/KWkm1Dn