小 縮小字型大小。 中 重設字型大小。 大 放大字型大小。

Shell Script 判斷指令執行是否成功

Posted on By 日落 在〈Shell Script 判斷指令執行是否成功〉中尚無留言

透過 bash 中的 $? 來讀取前一個指令的狀態 (exit code)。一般來說，正常執行的 exit code 會是 0，若有發生錯誤或其他狀況，exit code 則會是 1 – 255 之間。

正常結束的 exit code：

ls /var
echo $?
0

若發生錯誤，則有其他 exit code：

ls /not-exsit
echo $?
2

在 shell script 中用 if 判斷程式是否要繼續執行：

curl -s https://test.com/install.sh -o install.sh

if [ @? -ne 0 ]; then
    echo "download failed"
    exit
fi

# run install
Tags:,

MySQL 上的資料型態轉換

Posted on By 日落 在〈MySQL 上的資料型態轉換〉中尚無留言

MySQL 上可用 cast() 做資料型態轉換，不過 data type 的 reserve word 和一般 CREATE TABLE 時用的不太一樣。詳細參考 MySQL cast funtion 的說明。

轉數字：

  • SIGNED、UNSIGNED：相當於 `BIGINT`
  • FLOAT(N)、DOUBLE、REAL：浮點數，FLOAT 要指定精確度，用 DOUBLE 比較快
  • DECIMAL[M, D]：要指定資料長度

轉字串：

  • CHAR[N]、NCHAR[N]：要指定字串長度
  • TEXT、LONGTEXT：不支援，只能使用前一項的 reserve word

若資料不是要在 DBMS runtime 處理，而是要輸出以後由其他程式語言處理的話，是可以考慮直接轉 JSON 型態。但若要在 DBMS 裡面使用的話，還是乖乖轉支援的資料型態比較不會出錯。

Tags:

URL Normalize (URL 正規化)

Posted on By 日落 在〈URL Normalize (URL 正規化)〉中尚無留言

URL 呈現的形式很多樣，例如以下幾個 URL 事實上都會開啟相同的頁面：

  • https://zeroplex.tw
  • https://zeroplex.tw/
  • https://zeroplex.tw:443/
  • https://zeroplex.tw/#note

另外網址中的參數順序是沒有差異的。例如以下二個 URL 等義：

  • https://test.com?query=key&lang=en
  • https://test.com?lang=en&query=key

如果要寫 crawler 的話，最好先做 URL normalize 以後再來決定是否要處理，不然會花不少時間在重複的資料上。

另外有觀察到一些蠻討人厭的追蹤標籤，不影響結果，單純追蹤瀏覽行為。像是：

  • ?fbclid=：從 Facebook 開啟連結後，參數會自動加入
  • utm_source、utm_campaign 等：Google Analytics 用來記錄流量來源的一些參數

Tags: