作者查詢 / OnePiecePR

總覽項目：發文 | 留言 | 暱稱

作者 OnePiecePR 在 PTT [ DataScience ] 看板的留言(推文), 共81則

限定看板：DataScience

看板排序：

首頁

尾頁

[問題] 機器學習向量空間一對多的表示方法?

[ DataScience ]18 留言, 推噓總分: +3

作者: stayfool - 發表於 2022/11/22 15:15(3年前)

18^F推OnePiecePR: 很像 word2vec12/12 15:39

[徵求] pytorch家教

[ DataScience ]1 留言, 推噓總分: +1

作者: SesameMilk - 發表於 2022/10/12 17:56(3年前)

1^F推OnePiecePR: ChatGPT 可能可以教會你04/10 13:56

[問題] 為什麼使用local self attention 取代cnn

[ DataScience ]28 留言, 推噓總分: +1

作者: majaja8787 - 發表於 2022/05/22 20:03(3年前)

12^F推OnePiecePR: 2. 基本上 self-attention，的輸入經過幾次網路轉成06/01 19:07

13^F→OnePiecePR: QKV，所有的參數都在形成 QKV 前發生了。所以所有的06/01 19:07

14^F→OnePiecePR: 輸入都要做 QKV 轉換。然後有了 QKV 後，我們會去做06/01 19:07

15^F→OnePiecePR: self-attention，這時候的 self-attention 都是數學06/01 19:07

16^F→OnePiecePR: 定義計算，沒有參數。如果一個 self-attention 沒有06/01 19:07

17^F→OnePiecePR: 全域 attent，而有 receptive field，這時候如果 rec06/01 19:07

18^F→OnePiecePR: eptive field 比較小，只是 self-attention 少一點計06/01 19:07

19^F→OnePiecePR: 算，這些都是關於計算量，跟參數無關。06/01 19:07

20^F→OnePiecePR: 1. CNN 的卷積功能參數是記錄在 filter 的內容，所以06/01 19:08

21^F→OnePiecePR: 只跟 receptive field 有關。我們常常說，參數量跟 r06/01 19:08

22^F→OnePiecePR: eceptive field 的大小平方成正比。正確來說是：與re06/01 19:08

23^F→OnePiecePR: ceptive field 的大小成正比。比如 filter 是 (3, 3)06/01 19:08

24^F→OnePiecePR: 就是守 3x3 的範圍，(5, 5) 就是守 5x5 的範圍。所06/01 19:08

25^F→OnePiecePR: 以是跟 “邊” 成平方比例，或尺寸 9、25 成正比。標06/01 19:08

26^F→OnePiecePR: 準 CNN 卷積層的參數量是（輸入層數 x L x L x filt06/01 19:08

27^F→OnePiecePR: er 數量 N + filter 數量），當我們用了（L, L）的06/01 19:08

28^F→OnePiecePR: filter.06/01 19:08

[問題] NLP跑BERT要什麼樣的機器才夠？

[ DataScience ]24 留言, 推噓總分: +7

作者: lirpassmore - 發表於 2022/02/09 02:05(3年前)

1^F推OnePiecePR: 兩三年前看過新聞、訓練 bert large 只要一個小時…02/09 08:37

2^F→OnePiecePR: 但是需要大約nvidia v100的1000 個gpu, 如果是一張 v02/09 08:37

3^F→OnePiecePR: 100有16個 gpu, 略估是60張, 一張如果1000美金…02/09 08:37

4^F→OnePiecePR: 不過、我們應該不需要從頭開始訓練02/09 08:39

[問題] 機器學習中線性變換的意思

[ DataScience ]13 留言, 推噓總分: +2

作者: stayfool - 發表於 2021/06/28 17:03(4年前)

13^F推OnePiecePR: 線型想成旋轉+偏移（affine)、非線性想成擠壓10/12 06:51

[問題] 特徵標準化

[ DataScience ]8 留言, 推噓總分: +2

作者: yoz4ni - 發表於 2020/09/26 20:51(5年前)

3^F推OnePiecePR: theta1經歷的輸入很大，他只要一點點變化就相當于 th09/27 18:24

4^F→OnePiecePR: eta2 很大變化的效果.09/27 18:24

[問題] 有關kaggle 的競賽生態

[ DataScience ]19 留言, 推噓總分: +5

作者: acctouhou - 發表於 2020/05/21 21:55(5年前)

3^F推OnePiecePR: 同意二樓05/22 08:13

[問題] LSTM weight

[ DataScience ]11 留言, 推噓總分: +3

作者: z123296 - 發表於 2020/05/18 22:14(5年前)

2^F推OnePiecePR: 10 -> RNN (3) -> DNN(2) 前面 42 個 fe, 後面8個 dr05/19 17:00

3^F→OnePiecePR: ? 我很淺05/19 17:00

[問題] 模型分批訓練

[ DataScience ]19 留言, 推噓總分: +7

作者: maple60107 - 發表於 2020/05/09 16:53(5年前)

15^F推OnePiecePR: 聽三樓的話，一起 train05/10 18:36

16^F推OnePiecePR: 資料太多，有 min batch 擋住，其他乖乖耐心等。05/10 18:37

[問題] bert python 手刻?

[ DataScience ]28 留言, 推噓總分: +8

作者: pppooqqq - 發表於 2020/05/05 14:06(5年前)

19^F推OnePiecePR: 大金講得很清楚啊，就是資料灌進變形金剛，用克漏字05/06 12:13

20^F→OnePiecePR: 、關聯推論加弱分類器把 encoder 的權位值調到很聰明05/06 12:13

21^F→OnePiecePR: 。你拿到後，直接接後段分類器，灌自己的資料，稍稍05/06 12:13

22^F→OnePiecePR: 調一下，就沒了。05/06 12:13

25^F推OnePiecePR: 一樓給code連結,可能有用。原po 三四樓說不知道怎麼05/06 16:39

26^F→OnePiecePR: 用啊，所以當然大家幫忙解釋了05/06 16:39

首頁

尾頁