標籤: Linux

docker aufs 把 inode 吃光的問題

2018 年 2 月 22 日2021 年 3 月 12 日日落尚無留言

前幾天在做 aptitude upgrade 時，系統噴儲存空間不夠的錯誤訊息，用 df 追了一下，發現是 inode 被吃光，網路上找了一下統計 inode 使用量的 script 來掃整個分割區：

find / -type d -print0 | xargs -0 -n1 count_files | sort -n

...
1794 ./var/lib/docker/aufs/diff/04d42c6fb6b72464ab397cc0cd67d8600f7bc0964ff7c9bb54392ec3eb53a13e/home/git/gitlab/app/assets/images/emoji
1794 ./var/lib/docker/aufs/diff/04d42c6fb6b72464ab397cc0cd67d8600f7bc0964ff7c9bb54392ec3eb53a13e/home/git/gitlab/public/assets/emoji
1794 ./var/lib/docker/aufs/diff/04d42c6fb6b72464ab397cc0cd67d8600f7bc0964ff7c9bb54392ec3eb53a13e/home/git/gitlab/vendor/bundle/ruby/2.3.0/gems/gemojione-3.0.1/assets/png
1794 ./var/lib/docker/aufs/diff/04d42c6fb6b72464ab397cc0cd67d8600f7bc0964ff7c9bb54392ec3eb53a13e/home/git/gitlab/vendor/bundle/ruby/2.3.0/gems/gemojione-3.0.1/assets/svg
1794 ./var/lib/docker/aufs/diff/bb44ab5db5ec7f5e3fe0bde806002e887cf11cf9aa598ce0453083f80fc10ff9/home/git/gitlab/app/assets/images/emoji
1794 ./var/lib/docker/aufs/diff/bb44ab5db5ec7f5e3fe0bde806002e887cf11cf9aa598ce0453083f80fc10ff9/home/git/gitlab/public/assets/emoji
1794 ./var/lib/docker/aufs/diff/bb44ab5db5ec7f5e3fe0bde806002e887cf11cf9aa598ce0453083f80fc10ff9/home/git/gitlab/vendor/bundle/ruby/2.3.0/gems/gemojione-3.0.1/assets/png
1794 ./var/lib/docker/aufs/diff/bb44ab5db5ec7f5e3fe0bde806002e887cf11cf9aa598ce0453083f80fc10ff9/home/git/gitlab/vendor/bundle/ruby/2.3.0/gems/gemojione-3.0.1/assets/svg
1794 ./var/lib/docker/aufs/diff/fcfbf2f22b171407b0a9d657131c0c4b55aadd50c49a26abfc40cd404ab02298/home/git/gitlab/app/assets/images/emoji
1794 ./var/lib/docker/aufs/diff/fcfbf2f22b171407b0a9d657131c0c4b55aadd50c49a26abfc40cd404ab02298/home/git/gitlab/public/assets/emoji
1794 ./var/lib/docker/aufs/diff/fcfbf2f22b171407b0a9d657131c0c4b55aadd50c49a26abfc40cd404ab02298/home/git/gitlab/vendor/bundle/ruby/2.3.0/gems/gemojione-3.0.1/assets/png
1794 ./var/lib/docker/aufs/diff/fcfbf2f22b171407b0a9d657131c0c4b55aadd50c49a26abfc40cd404ab02298/home/git/gitlab/vendor/bundle/ruby/2.3.0/gems/gemojione-3.0.1/assets/svg
1966 ./var/lib/docker/aufs/diff/04d42c6fb6b72464ab397cc0cd67d8600f7bc0964ff7c9bb54392ec3eb53a13e/home/git/gitlab/public/assets
1966 ./var/lib/docker/aufs/diff/bb44ab5db5ec7f5e3fe0bde806002e887cf11cf9aa598ce0453083f80fc10ff9/home/git/gitlab/public/assets
1971 ./var/lib/docker/aufs/diff/fcfbf2f22b171407b0a9d657131c0c4b55aadd50c49a26abfc40cd404ab02298/home/git/gitlab/public/assets
2271 ./var/lib/docker/image/aufs/distribution/diffid-by-digest/sha256
2271 ./var/lib/docker/image/aufs/distribution/v2metadata-by-diffid/sha256
3291 ./var/lib/dpkg/info
4025 ./var/lib/docker/aufs/diff/fcfbf2f22b171407b0a9d657131c0c4b55aadd50c49a26abfc40cd404ab02298/home/git/gitlab/tmp/cache/assets/sprockets/v3.0
4029 ./var/lib/docker/aufs/diff/04d42c6fb6b72464ab397cc0cd67d8600f7bc0964ff7c9bb54392ec3eb53a13e/home/git/gitlab/tmp/cache/assets/sprockets/v3.0
4029 ./var/lib/docker/aufs/diff/bb44ab5db5ec7f5e3fe0bde806002e887cf11cf9aa598ce0453083f80fc10ff9/home/git/gitlab/tmp/cache/assets/sprockets/v3.0

看起來兇手是 docker，而且吃掉的量還不小。

查了一下資料，其實是自己在刪除 images 和 volumes 時有漏參數，導致有檔案沒有被清乾淨，inode 被吃光沒有回收回來。參考這篇「Docker、AUFS、inode耗尽和一个小工具」整理，可以透過以下 script 把無用的檔案清空：

docker images -qf dangling=true | xargs docker rmi

docker volume ls -qf dangling=true |xargs docker volume rm

這二個 script 跑完以後，我的 inode usage 從 99% 瞬間降到 17%，看來以後真的要小心。

其他參考資料：

關於我常用的 Docker 小提示 – by toomore
tripflex/inodes – 一個統計 inode 使用量並視覺化列表的小工具

Docker, Linux, 資訊學習

使用 Linux rsyslog 儲存 ASUS Wifi 分享器的 log

2017 年 9 月 4 日2021 年 3 月 12 日日落尚無留言

因為一些原因，需要保留極度完整的 log，所以研究怎麼把 Wifi AP (router) 的記錄全部倒進 linux 的 rsyslog。

先修改 /etc/rsyslog.conf 裡面的幾個項目：

# provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514

# provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514

把「ModLoad」、「UDPServerRun」、「InputTCPServerRun」的註解拿掉，這樣 rsyslog 就會使用 TCP 和 UDP listen port 514。當然在啟動之前要記得先去把防火強的設定弄好。

接下來重新啟動 rsyslog：

$ sudo service rsyslog

啟動完成沒有看到什麼錯誤訊息，表示已經開始運作了。接著「tail -f /var/log/syslog」應該就會看到 remote server 的資料。

但不同機器的訊息方在相同的檔案上實在很難追蹤，所以再多做一個設定，將不同機器傳過來的資料分開存放在不同的檔案。這類的設定檔會放在「/etc/rsyslog.d」，眼尖的話應該已經注意到 ufw、postfix 等服務已經有建立自己的設定了，我們參考著做即可。

假設今天 Wifi AP 的 IP 是「192.168.0.1」，而負責存放所有 log 的 loghost IP 為「192.168.0.101」，設定可以這樣寫：

if $fromhost-ip startswith '192.168.0.1' then /var/log/wifi.log
& ~

這樣 rsyslog 只要遇到從 192.168.0.1 傳過來的資料，就一律丟到「/var/log/wifi.log」。

我自己的 log 比較複雜一些，除了把防火牆以外，還有 kernel 的 log 分開成二個不同的檔案：

if $fromhost-ip startswith '192.168.0.1' and not ($msg contains 'DROP IN') then /var/log/ac3100.log
& ~

if $fromhost-ip startswith '192.168.0.1' and ($msg contains 'DROP IN') then /var/log/ac3100-fw.log
& ~

網路上大部分的資料，都是教別人怎麼把 log 往別台機器丟，只有比較少一部份是處理別台機器的 log，這邊留下一些參考文件：

Linux, SA, 資訊學習

rpm 列出套件時不顯示套件版本號

2017 年 8 月 17 日2021 年 3 月 12 日日落尚無留言

一般在尋找 CentOS 上到底安裝哪一些套件時，指令大概會這樣下：

$ rpm -aq | grep php-fpm
php71-php-fpm-7.1.7-1.el7.remi.x86_64

不過如果是要用 diff 比對二台機器安裝的套件是否相同，這個時候多了套件版本號就頭大了。

查了一下資料，rpm 有提供「–qf」(query-format) 可以自行設定列表要輸出的內容。

若使希望看到套件名稱，而不想列出套件版本時，指令可以這樣下：

$ rpm -aq --qf "%{NAME}n" | grep php-fpm
php71-php-fpm

記得行尾要換行，不然就 GG 了 XD

CentOS, Linux

Apache / Nginx 與 PHP 各種搭配方式的效能測試

2017 年 8 月 2 日2021 年 3 月 12 日日落尚無留言

以 PHP 為主的 HTTP server 有很多種架設方式，最傳統的大概就是 Apache + mod_php 來執行 PHP scripts。隨著技術一直在翻新，後來也有了 Nginx + php-fpm 的搭配模式出現，甚至連 PHP 在 5.4.0 都推出了 built-in server。

因公司需要，就順手測試了以下幾種搭配：

Apache mpm-prefork + mod_php
Apache mpm-worker using mod_proxy + php-fpm
Apache mpm-worker using mod_proxy + php-fpm (by unix socket)
Nginx + php-fpm
Nginx + php-fpm (using unix socket)
PHP build-in server

在開始看壓力測試結果之前，先來說一下測試環境：

所有的 HTTP server 除了以上搭配方式之外，其他都使用預設值 (像是不開啟 gzip 壓縮等)
另外壓力測試的 PHP script 內容也很簡單，僅有「phpinfo();」一行
1 core CPU
4 GB RAM
使用 ab (Apache Bench) 做測試
ab 中每個 concurrency 固定會發出 1000 個 HTTP request，如 concurrency = 1 時僅有 1000 個 request，concurrency = 100 時，則送出 1000 x 100 個 request。
每次 ab 跑完一次壓力測試，均重新啟動 HTTP server 與 PHP server，以防止使用到 cache。

先簡單做個結論，詳細的壓力測試結果再請大家自行過目：

concurrency = 1 時，沒有壓力測試會出現的情況，不過可以把 response time 和伺服器的 CPU、記憶體使用量當作一個基準值作為參考。

Apache mpm-prefork 搭配 mod_php 的記憶體使用量最大，畢竟要 fork 一個 Apache instance 出來就要把 Apache 的 module 也 initialize 出來。小型伺服器不推薦這個方案。
php-fpm 即使設定「pm.max_children = 50」，也可以輕鬆負荷超過 50 個 concurrency。比較微妙的是從 htop 看不出 php-fpm 有使用 thread 來同時處理 request。
php-fpm listen on Unix socket 的效率比 listen TCP (127.0.0.1:9000) 的效率還要高一些，但是在高負荷的情況下會變得很不穩定，猜測和 OS 的 socket 實作、設定有關連。
PHP built-in server 遇到在高負載的情況下表現的不錯，唯獨 log 給的資訊太少，不方便做分析。但也可考慮透過 Nginx proxy 給 PHP built-in server，讓 Nginx 來處理 log。

最後做個廣告，Hackmd 真不錯用，筆記寫完最後還以轉換成 HTML 下載，有夠方便的啦！

Apache, Linux, Nginx, PHP, 資訊學習

vim 快速使用 sudo 存檔的語法

2017 年 7 月 19 日2021 年 3 月 12 日日落尚無留言

平常改設定檔通常都是「sudo vim xxx.conf」，不過直接切換成 root 修改檔案其實風險還蠻大的，特別是邊喝酒邊改系統的時候 (?)。

倘若不想使用 sudo vim 來修改系統設定檔時，就 vim xxx.conf 即可。雖然沒有寫入權限，但至少讀取檔案內容是沒問題的。

以一般使用者開啟系統擋時，每次做變更都會收到警告訊息「Warning: Changing a readonly file」，表示 vim 偵測到沒有權限變更檔案內容，避開非預期的異動正是避開誤寫的好方法。那當修改完成後需要寫入時，則可以使用以下指令臨時切換成 root 並寫入檔案：

:w !sudo tee %

說明一下上面那一段到底是什麼意思。

「:w」和大家所知道的寫入檔案是一模一樣的，但若後面加上其他指令，例如「:w ! tee」其實就是把預備寫入的檔案內容 pipe 給後面的指令處理，前面這個寫法就是把檔案內容丟給 console 的 tee 處理，所以可以看到 tee 檔案內容輸出到螢幕上 (stdout)。

vim 中的「%」符號代表的是正在編輯的檔案名稱，可以使用「:!echo %」指令看看會輸出什麼資料。若是「vim xxx.conf」則會印出「xxx.conf」；「vim path/to/xxx.conf」則會印出「path/to/xxx.conf」，應該不難理解。

綜合以上幾個撇步，「:w !sudo tee %」的意思，其實就是讓 vim 不要自己更新檔案，而是將檔案內容拋給以 root 身份執行的 tee，並讓 tee 寫入 vim 目前正在編輯的檔案。tee 寫完檔案以後，vim 會偵測到檔案異動並詢問是否要重新載入 (load) 更新過的檔案內容，重新載入以後就可以繼續下一個批次的修改。

Linux, Vim, 分享, 資訊學習