作者查詢 / clansoda

總覽項目：發文 | 留言 | 暱稱

作者 clansoda 的總覽 (PTT發文,留言,暱稱)

發文數量: 109

收到的『推』: 254 (20.7%)

收到的『→』: 972 (79.3%)

收到的『噓』: 0 (0.0%)

留言數量: 1144

送出的『推』: 195 (17.0%)

送出的『→』: 946 (82.7%)

送出的『噓』: 3 (0.3%)

使用過的暱稱: 2

clansoda 在 PTT 最新的發文, 共 109 篇

[菜單] 45K遊戲機

[ PC_Shopping ]35 留言, 推噓總分: +8

作者: clansoda - 發表於 2023/11/25 08:14(4月前)

[問題] Pytorch記憶體問題

[ DataScience ]27 留言, 推噓總分: +3

作者: clansoda - 發表於 2021/03/20 11:33(3年前)

[問題] 重現alexnet

[ DataScience ]8 留言, 推噓總分: 0

作者: clansoda - 發表於 2020/12/07 22:35(3年前)

[問題] tensorflow gradients無法計算

[ DataScience ]38 留言, 推噓總分: +9

作者: clansoda - 發表於 2020/10/29 22:40(3年前)

[問題] 斷崖式模型損壞

[ DataScience ]13 留言, 推噓總分: +3

作者: clansoda - 發表於 2020/10/04 15:10(3年前)

clansoda 在 PTT 最新的留言, 共 1144 則

[菜單] 45K遊戲機

[ PC_Shopping ]35 留言, 推噓總分: +8

作者: clansoda - 發表於 2023/11/25 08:14(4月前)

21^F→clansoda: OK 感謝各位的回覆我在研究一下各位提186.107.195.153 11/25 16:33

22^F→clansoda: 來改進一下我的單子186.107.195.153 11/25 16:33

30^F→clansoda: 選這顆是因為這顆有type-c 我現在大部分186.107.209.58 11/26 03:26

31^F→clansoda: 裝置都是type-c 所以希望前面板有186.107.209.58 11/26 03:27

[問題] Pytorch記憶體問題

[ DataScience ]27 留言, 推噓總分: +3

作者: clansoda - 發表於 2021/03/20 11:33(3年前)

6^F→clansoda: 感謝各位回覆，確實可以研究這件事03/22 22:23

7^F→clansoda: yoyo大，我這個是原始圖片，進去前會resize成800 * 80003/22 22:23

8^F→clansoda: 想請問一下，我自己測試後發現我一開始讀取alexnet會吃03/22 23:17

9^F→clansoda: 約1.4GB的記憶體，我模擬5 x 3 x 224 x 224的資料約佔03/22 23:18

10^F→clansoda: 不到1MB的記憶體，我開啟no_grad之後跑model(inputs)03/22 23:18

11^F→clansoda: 記憶體仍會從1414上升到1540，也就是上升了126MB的記憶03/22 23:19

12^F→clansoda: 體用量，根據我的理解記憶體的使用量理論上應該是weight03/22 23:20

13^F→clansoda: 加上gradients加上中間計算的hidden embedding size03/22 23:20

14^F→clansoda: 前面weight已經計算過了，gradients我也先關掉了03/22 23:20

15^F→clansoda: 難道剩下的記憶體就是中間計算層所占用的?03/22 23:21

16^F→clansoda: 根據實驗，這個記憶體的佔用會隨著batch size上升而上升03/22 23:21

17^F→clansoda: 請問有人知道這個記憶體的使用是來自哪裡呢?03/22 23:21

[問題] 重現alexnet

[ DataScience ]8 留言, 推噓總分: 0

作者: clansoda - 發表於 2020/12/07 22:35(3年前)

2^F→clansoda: 抱歉在這裡把我使用的code補上12/08 07:48

3^F→clansoda: https://reurl.cc/q8ek2y12/08 07:48

4^F→clansoda: 資料的部分使用的是2012年的imagenet train跟val都是12/08 07:49

7^F→clansoda: y大，好的我這兩天找時間試試看12/10 22:47

8^F→clansoda: m大，訓練資料應該是沒錯，過程的話我完全仿照demo上的12/10 22:47

[問題] tensorflow gradients無法計算

[ DataScience ]38 留言, 推噓總分: +9

作者: clansoda - 發表於 2020/10/29 22:40(3年前)

10^F→clansoda: 請問baby大，如何確定有正確算到呢? loss這個物件是一個10/30 22:02

11^F→clansoda: tensor，裏頭是一個實數的scalar，應該算是有正確算到吧10/30 22:02

12^F→clansoda: min大，後面兩行有放在同一個縮排了10/30 22:03

13^F→clansoda: acc大，我有print過model.trainable_varaibles10/30 22:04

14^F→clansoda: 裏頭確實是有一個長度為10的list，元素都是tensor10/30 22:04

15^F→clansoda: qwe大，請問什麼是多縮排呢?10/30 22:05

17^F→clansoda: 我只能周一再貼圖了，code在公司電腦10/30 23:57

18^F→clansoda: 我目前應該是前兩行在with下而後兩行在外面的縮排10/30 23:57

27^F→clansoda: 我自己回自己一下，如同nj大所說這邊的問題就是函數11/07 08:48

28^F→clansoda: 我使用的cross entropy是來自於tensorflow.keras.metric11/07 08:49

29^F→clansoda: 實際上要使用tensorflow.keras.lossess同一名字的函數11/07 08:49

30^F→clansoda: 他才會正確的追蹤梯度，但實際上你完全可以print出11/07 08:49

31^F→clansoda: 正確的loss，導致很難理解為什麼沒辦法回傳梯度11/07 08:50

32^F→clansoda: 這點跟pytorch不太一樣，pytorch沒有metrics跟loss之分11/07 08:50

33^F→clansoda: watch的話，我自己看得tutorial是沒有加上去的11/07 08:51

34^F→clansoda: 但我自己寫的code我有補上，這點再請其他人補充11/07 08:51

[問題] 斷崖式模型損壞

[ DataScience ]13 留言, 推噓總分: +3

作者: clansoda - 發表於 2020/10/04 15:10(3年前)

2^F→clansoda: wt大，我使用的是ranger optimizer lr=1e-410/04 20:10

3^F→clansoda: 我的想法是如果學習率太大，他是不是應該早點崩掉10/04 20:11

4^F→clansoda: 而不是已經走了10幾個epochs才壞掉呢?10/04 20:11

clansoda 在 PTT 的暱稱紀錄, 共 2 個

暱稱：小笨

文章數量：108

暱稱：虛偽正義

文章數量：1