標籤: MySQL

遇到 MySQL 的「deadlock wait timeout exceeded」，可以參考「Lock wait timeout exceeded; try restarting transaction」的說明。

尚未找到造成此問題的 query，暫時的解決辦法是：

• 暫時先將 innodb_lock_wait_timeout 的值調大 (注意：不是 wait_timeout 這個參數)
• 記錄導致 transaction 花掉太多時間的 query
  • long_query_time = 10
  • log_queries_not_using_indexes 記錄沒有使用到 index 的 query (這類 query 可能導致 table scan 而花掉超多的時間)

---

在蒐集 log 的期間，可以先去看一下 table schema，看看是不是有哪一些 column 或 combined index 怪怪的，跑 EXPLAIN 確定一下 index 是不是真的有用到

若有文字檔等大檔案，寫 parser 再建立 insert into 的語法來塞資料速度不算快。簡單格式的檔案 (如一行一筆資料或 comma 分隔等) 可以透過 LOAD DATA 來將資料塞進 table 中。

LOAD DATA 需要特殊權限，請先檢查 my.cnf 檔案中是否已允許該語法：

[mysql]

# enable LOAD FILE syntax
local-infile = 1

再來是檔案內容，這邊的範例是一行一筆資料：

alice
bob
cell
......

確定資料格式以後，建立一個暫時的 table 供匯入使用：

CREATE TABLE tmp (
  str varchar(50)
);

注意，匯入速度要快的話，臨時的 table 不要設定任何 trigger、primary key、index 等，不然會有大量的 disk I/O 拖慢速度。

最後就是下指令來將檔案中的內容匯入資料庫中：

LOAD DATA LOCAL INFILE '/path/to/file/simple-data.txt' into table tmp;

資料都匯入臨時的 table，就可以使用 INSERT INTO … SELECT 語法來將資料拉進正式環境了：

INSERT INTO words (`word`) 
  SELECT (`str`) FROM tmp

ODBC 的原文是「Open Database Connectivity」，透過各家 DBMS 實作指定的 API / interface 來支援各種不同的資料庫系統、儲存格式。這邊將安裝 ODBC MySQL connector/ODBC 並建立 MySQL connection resource。

透過搜尋引擎可以找到很多 ODBC driver，這邊要裝的是 MySQL driver，所以會下載 Oracle 發佈的 MySQL ODBC driver。安裝過程全部使用預設值即可。

安裝完畢後，可以在開始功能表的「Windows 系統管理工具」中找到「ODBC 資料來源」，執行並準備連到 MySQL：

要建立 MySQL resource 預先需要一些準備工作，讓 ODBC 可以透過指定的 MySQL user 連線：

• 在 MySQL 建立新的 user。若只需相同的 privileges 時，也可以直接使用既有的 MySQL user。記得使用連線時，要特別注意 user host 的設定。
• 為 user 開啟 database 權限，可以是單個或多個 database，也可以設定 read/write 權限。

More “安裝 MySQL ODBC driver” »

建立一個 table 並塞 fake data 來當作測試的資料表：

use `test`;

CREATE TABLE `people` (
  `id` bigint UNSIGNED NOT NULL,
  `name` varchar(100) COLLATE utf8mb4_unicode_ci NOT NULL,
  `email` varchar(200) COLLATE utf8mb4_unicode_ci NOT NULL,
  `birth` date NOT NULL,
  `phone` varchar(100) COLLATE utf8mb4_unicode_ci NOT NULL,
  `addr` varchar(250) COLLATE utf8mb4_unicode_ci NOT NULL,
  `city` varchar(200) COLLATE utf8mb4_unicode_ci NOT NULL,
  `created_at` timestamp NULL DEFAULT NULL,
  `updated_at` timestamp NULL DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

ALTER TABLE `people`
  ADD PRIMARY KEY (`id`);

正常情況下要查詢 rows count 大概就是以下的 query 方法：

SELECT count(*) from prople ;

這個 query 會跑去 scan table 或是 scan index，當資料量到一定規模，scan 會花上好幾分鐘。

另一個方法是去 information_schema 裡面做查詢，可以找到每個 table 的大概的狀況 (不會是準確的數字)：

SELECT * 
FROM `TABLES` 
WHERE     TABLE_SCHEMA = 'test' 
      and TABLE_NAME = 'people'

不過我在找問題時用了 explain，意外發現一個更快、更準確的方法：explain 會列出 index size，如果是使用 primary key + auto increment，這個 index size 其實就是 table size：

> explain select count(9) from `people` \G

id            | 1
select_type   | SIMPLE
table         | people
partitions    | <null>
type          | index
possible_keys | <null>
key           | PRIMARY
key_len       | 8
ref           | <null>
rows          | 11366812
filtered      | 100.0
Extra         | Using index