標籤: MySQL

限制 pgloader 的系統資源使用量

2025 年 12 月 7 日日落尚無留言

pgloader 來將 MySQL 資料轉移到 PostgreSQL 實在蠻方便的。

手上的 side project 轉移資料時，居然會遇到 broken pipe 的錯誤，調整 DB server 以後，問題還是持續發生。最後使用 --debug 看訊息，才發現是連線中斷。

後來是透過官方文件中的 --with` 加上 prefetch rows 來避免大量資料導致錯誤發生，調整以後指令大致如下：

pgloader --with 'prefetch rows=1000' --debug \
    mysql://user:passwd@127.0.0.1:3306/db_name \
    pgsql://user:passwd@127.0.0.1:5432/db_name

MySQL, PostgreSQL

在 mysqldump 指定要匯出的條件

2024 年 9 月 22 日2024 年 9 月 22 日日落尚無留言

一般來說，mysqldump 會出 dbname.mytable 的語法大致如下：

mysqldump dbname mytable -u root -p

如果 table 中的資料太多，只想匯出較新的項目，如 id 大於特定數值，則可使用 --where：

mysqldump dbname mytable \
    --where 'id > 10000' \
    -u root -p

--where 使用時要注意引號，如果有字串時記得要 escape 掉

MariaDB, MySQL

MySQL 上的資料型態轉換

2023 年 1 月 20 日2023 年 1 月 20 日日落尚無留言

MySQL 上可用 cast() 做資料型態轉換，不過 data type 的 reserve word 和一般 CREATE TABLE 時用的不太一樣。詳細參考 MySQL cast funtion 的說明。

轉數字：

SIGNED、UNSIGNED：相當於 `BIGINT`
FLOAT(N)、DOUBLE、REAL：浮點數，FLOAT 要指定精確度，用 DOUBLE 比較快
DECIMAL[M, D]：要指定資料長度

轉字串：

CHAR[N]、NCHAR[N]：要指定字串長度
TEXT、LONGTEXT：不支援，只能使用前一項的 reserve word

若資料不是要在 DBMS runtime 處理，而是要輸出以後由其他程式語言處理的話，是可以考慮直接轉 JSON 型態。但若要在 DBMS 裡面使用的話，還是乖乖轉支援的資料型態比較不會出錯。

MySQL

MySQL 變數未指定資料型態導致非預期行為

2022 年 12 月 24 日2022 年 12 月 24 日日落尚無留言

發現如果 MySQL 中的變數未指定資料型態，會出現一些很雷的行為。

這邊用 JSON 型態：

select json_array(
   100,
   JSON_ARRAY(1, 2)
);
# 輸出：  [100, [1, 2]]

先除存到 @list 以後在讀取，資料型態就會亂掉：

SET @list = json_array(1, 2);
select json_array(
   100,
   @list
);
# 輸出：  [100, "[1, 2]"]

若需要用到變數，建議先宣告變數型態：

DECLARE list JSON;
SET list = json_array(1, 2);

MySQL

MySQL 8.0.31 的 function 的語法與官方文件不符

2022 年 12 月 20 日2022 年 12 月 20 日日落尚無留言

用以下的 SQL 來建立新的 function：

CREATE FUNCTION myfunc(IN str TEXT) RETURNS TEXT RETURN '123';

執行以後會出現錯誤訊息：

You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'IN str TEXT) returns TEXT return '123'' at line 1

將 function parameter 中的 IN 刪除以後就不會再出現錯誤訊息。

問題是按照 MySQL 官方文件中 create function statements 中的說明，IN 參數是 optional 的，可加可不加，但實際執行時加上 IN 就會出現上面的錯誤。

所以問題來了，是 MySQL 沒有按照文件中的規範實作？還是文件並沒有跟著 MySQL 的實作更新？

MySQL