[問題] stdout redirection應用問題

看板Linux作者時間2年前 (2021/12/22 20:51), 2年前編輯推噓4(4014)
留言18則, 6人參與, 2年前最新討論串1/2 (看更多)
我寫了一支長時間運行的程式,在運行過程中會持續產生訊息至stdout,我不想太 頻繁的讀寫儲存空間,所以我目前以 $my_app > /dev/shm/my_app.log 的方式運行程式,將訊息輸出到記憶體構成的檔案系統中,當想要看即時訊息時以 $tail -f /dev/shm/my_app.log 的方式將輸出訊息顯示到終端,目前運行的還不錯,但考慮到如果程式持續運行超過 一個月,我的/dev/shm/可能會不夠,請問有沒有什麼方法讓my_app.log在超過指定 行數的時候,清除最頂端開始的n行呢? 謝謝。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.169.72.9 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Linux/M.1640177491.A.412.html

12/22 23:19, 2年前 , 1F
改成寫進Redis然後設定Expire XD
12/22 23:19, 1F

12/22 23:21, 2年前 , 2F
或者可以試logrotate
12/22 23:21, 2F
謝謝你的建議,我希望盡可能不要依賴系統附帶以外的程式,所以先沒有考慮redis,不過logrotate倒是給了我很棒的方向,我最後是寫一個script來redirection null進log檔,然後設cron每天0:00執行它,看起來應該是可行。

12/23 00:45, 2年前 , 3F
你要不要直接放在 tmux 裡面跑?只有看最後的 log 的話
12/23 00:45, 3F
由於是無人看守的機器,程式是以service的型態開機自動執行的。只有在異常時我才會連進去看log進行異常分析跟排除。 ※ 編輯: icetofux (1.169.72.9 臺灣), 12/23/2021 07:09:43

12/23 08:21, 2年前 , 4F
sed '1,nd' infile > outfile #刪頂端1~n行
12/23 08:21, 4F

12/23 08:24, 2年前 , 5F
tail -n +2 infile > outfile #刪頂端1行,依此類推
12/23 08:24, 5F

12/23 08:27, 2年前 , 6F
awk NR\>n infile > outfile #刪頂端1~n行
12/23 08:27, 6F
剛剛嘗試了一下您提供的三種方法,發現執行後log內容都被清空,但如果tail/awk不做redirection輸出到終端的內容又是正確的,推測可能跟原程式也在持續redirection到log有關,謝謝您的提議。 ※ 編輯: icetofux (223.136.238.89 臺灣), 12/23/2021 09:21:20

12/23 12:35, 2年前 , 7F
沒真的測試過僅提供想法,用stat測試fd 1,如果S_IFBLK顯示
12/23 12:35, 7F

12/23 12:35, 2年前 , 8F
為block device(被輸出導向),就定期 lseek 到檔案開頭
12/23 12:35, 8F

12/23 12:35, 2年前 , 9F
以上未經實際測試,可行性不敢保證
12/23 12:35, 9F

12/23 12:50, 2年前 , 10F
更正,應該用truncate而非lseek
12/23 12:50, 10F
※ 編輯: icetofux (1.169.72.9 臺灣), 12/23/2021 20:03:10

12/24 07:05, 2年前 , 11F
我記得鳥哥在講crontab的時候有提到類似的應用
12/24 07:05, 11F

12/24 09:54, 2年前 , 12F
今早特地man了一下,必須再更正 XD 是ftruncate才對
12/24 09:54, 12F

12/24 17:08, 2年前 , 13F
能夠用 logrotate 一般要配合程式可以收 SIGHUP 信號
12/24 17:08, 13F

12/24 17:09, 2年前 , 14F
一般主要是可以重讀設定與關閉重開之前的 log 檔案
12/24 17:09, 14F

12/24 17:09, 2年前 , 15F
這樣子就可以讓 log 的寫入重新開啟處理
12/24 17:09, 15F

12/24 17:13, 2年前 , 16F
若是你用 > 這類重導要考慮問題就比較少
12/24 17:13, 16F

12/24 17:13, 2年前 , 17F
因為 io 重導是 shell 幫你處理的,所以常見就是
12/24 17:13, 17F

12/24 17:14, 2年前 , 18F
上面提到 truncate, 一般 shell像是 true > file.log
12/24 17:14, 18F
文章代碼(AID): #1XmnzJGI (Linux)
討論串 (同標題文章)
文章代碼(AID): #1XmnzJGI (Linux)