mysql » Блог о СОЗДАНИЕ САЙТОВ | Разработка сайтов

Транзакции MySQL

Задача транзакций создать строгую целостность информации. Транзакции обеспечивают гарантию того, что незаконченные обновления или искаженные действия не будут фиксироваться в базе данных; серверу предоставляется возможность выполнить автоматический откат, и база данных будет сохранена.

Создадим таблицу balance

CREATE TABLE `balance` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `action` varchar(255) NOT NULL,
  `val` int(11) NOT NULL,
  `total` int(11) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Проверяем вставку без транзакции

Тест транзакций MySQL 5.6
 '+', 'val' => 10 );
$action[] = array( 'act' => '+', 'val' => 20 );
$action[] = array( 'act' => '-', 'val' => 5 );
$action[] = array( 'act' => '+', 'val' => 10 );
$i = 0;
// БЕЗ ТРАНЗАКЦИЙ
foreach ( $action as $key => $value ) {
        $i ++;
        // имитируем долгое выполнение на 2-ой вставке ( при этом сервер выключаю )
        if ( $i == 2 ) sleep(20);
        // получить последний total
        $row = mysqli_fetch_assoc($db->query("SELECT total FROM balance ORDER BY id DESC LIMIT 1"));
        $total = $row['total'];
        $db->query("
                INSERT INTO 
                        balance
                SET
                        action = '{$value['act']}',
                        val = {$value['val']},
                        total = $total {$value['act']} {$value['val']}
        ");
        print_r($value);
}
echo '
- запросы выполнены';
$db->close();

// Резльтат: выключив на паузе mysql, вставилось в таблицу balance одна запись - целостность нарушена ( в реальной жизни это могло бы например значить, что у кого-то деньги с баланса сняли, а кому-то зачислить не успели из за сбоя)

Проверяем вставку с транзакцией

Тест транзакций MySQL 5.6
 '+', 'val' => 10 );
$action[] = array( 'act' => '+', 'val' => 20 );
$action[] = array( 'act' => '-', 'val' => 5 );
$action[] = array( 'act' => '+', 'val' => 10 );
$i = 0;
// С ТРАНЗАКЦИЕЙ
$db->autocommit(FALSE);
foreach ( $action as $key => $value ) {
        $i ++;
        // имитируем долгое выполнение на 2-ой вставке (выключаем mysql принудительно)
        if ( $i == 2 ) sleep(20);
        // получить последний total
        $row = mysqli_fetch_assoc($db->query("SELECT total FROM balance ORDER BY id DESC LIMIT 1"));
        $total = $row['total'];
        $db->query("
                INSERT INTO 
                        balance
                SET
                        action = '{$value['act']}',
                        val = {$value['val']},
                        total = $total {$value['act']} {$value['val']}
        ");
        print_r($value);
}
if ( ! $db->commit() ) {
        $db->rollback();
        echo '
- возникла ошибка откат запросов';
        die();
}
echo '
- запросы выполнены';
$db->close();

// Результат: выключив mysql коммит не срабатывает и ни один запрос из транзакции не добавляется в бд. Целостность не нарушена ( в реальной жизни это могло бы например значить, что у кого-то деньги с баланса сняли, произошел сбой, но так как commit не выполнился, то rollback откатывает до начального состояния).
COMMIT - для записи изменений на диск.
ROLLBACK - игнорирует изменения, произведенные с начала транзакции.

Отсортировать вывод по IN - MySQL

Есть запрос

SELECT * FROM table WHERE id IN (118,17,113,23,72)

Необходимо вывести значения таблицы в порядке который в IN, то есть, сначала 118 далее 17 и тд. Делается это так:

SELECT * FROM table WHERE id IN (118,17,113,23,72) ORDER BY FIELD(id,118,17,113,23,72)

MySQL шпаргалка ( MySQL Cheat Sheet)

Краткий справочник для MySQL, включает в себя функции, типы, и простые запросы.
Смотреть PNG картинку

Большие обьемы данных MySQL (bigdata) и партиционирование таблиц

Столкнулся с проблемой больших обьемов данных в MySQL. На помощь пришла относительно новая возможность mysql партицирование данных. Если коротко, то это разбиение таблиц на логические части по определенным критериям. И дает это прирост скорости работы с таблицами.

Смотрим поддерживается ли у нас:

HOW VARIABLES LIKE '%partition%';
have_partitioning | YES

Какие способы «разделения» данных предоставляет mySQL?
1. RANGE
По диапазону значений

PARTITION BY RANGE (store_id) (
 PARTITION p0 VALUES LESS THAN (10),
 PARTITION p1 VALUES LESS THAN (20),
 PARTITION p3 VALUES LESS THAN (30)
 );

2. LIST
По точному списку значений

 PARTITION BY LIST(store_id) (
 PARTITION pNorth VALUES IN (3,5,6,9,17),
 PARTITION pEast VALUES IN (1,2,10,11,19,20)
 )

3. HASH
Вы никак не управляете партицированием, просто указываете, по какому полю строить хеш и сколько «подтаблиц» создавать.

 PARTITION BY HASH(store_id)
 PARTITIONS 4;

4. KEY
Почти то же самое что и HASH, но более логично — по ключу.

 PARTITION BY KEY(s1)
 PARTITIONS 10;

Первый раз я попробовал разбить по RANGE DATETIME.

ALTER TABLE flows
PARTITION BY RANGE( TO_DAYS(date) ) (
 PARTITION y2013m10 VALUES LESS THAN( TO_DAYS('2013-10-01') ),
 PARTITION y2013m11 VALUES LESS THAN( TO_DAYS('2013-11-01') ),
 PARTITION y2013m12 VALUES LESS THAN( TO_DAYS('2013-12-01') )
);

Но получил:

[Error] 1503 - A PRIMARY KEY must include all columns in the table partitioning function

Вылез неприятный момент из за того что, поле по которому делаются партиции должно быть PRIMARY KEY, то есть уникальным.
А данные в таблицу пишутся не прерывно и вполне возможно что в 1 секунду писаться несколько значений. поэтому такое разделение мне не подойдет =(

Решено было найти id где заканчиваются года и сделать альтер по ним, как-то так. То есть разделение будет до 2013 года и после. При необходимости можно разбить мельче.

ALTER TABLE flows
PARTITION BY RANGE (id) (
       PARTITION y2013 VALUES LESS THAN( 231607217 ),
    PARTITION y2014 VALUES LESS THAN(MAXVALUE)
);

Что мы получаем? Первая «таблица» будет хранить данные за «архивный» период, до 2013 года, вторая — все остальное.

Столкнулся в процессе использования что бекап генериться неправильный, в таблицах где есть разбиение вставляется автоинкримент не в то место. Поэтому надо переставлять руками, но это не есть большая проблема.

И ликбез: http://www.rldp.ru/mysql/mysqlpro/parts.htm

Удалить дублирующиеся записи в базе mysql (duplicate entry)

Создаем чистую таблицу аналогичной то что у нас есть с неуниклаьными значениями

CREATE TABLE clean LIKE options

Создаем индексы для нужных полей

ALTER IGNORE TABLE clean ADD UNIQUE INDEX (add1, add2, add3)

Дальше вставляем данные из нашей старой базы в новую с параметром IGNORE

INSERT IGNORE INTO clean SELECT * FROM options

Удаляем старую таблицу

DROP TABLE options

И переименовываем новую в старую

RENAME TABLE clean TO options

Мощь MySQL

ON DELETE CASCADE

CREATE TABLE test1 ( 
   id INTEGER NOT NULL, 
   parent INTEGER, 
   PRIMARY KEY (id), 
   FOREIGN KEY (parent) REFERENCES test1 (id) 
     ON UPDATE CASCADE 
     ON DELETE CASCADE 
 );

правило ON DELETE CASCADE, заданное для внешнего ключа по полю PARENT. Благодаря нему, при удалении узла будет автоматически удалено и все поддерево, для которого этот узел является корнем.

ON DUPLICATE KEY

// находим объект
 $row = query('SELECT * FROM table WHERE id=1');
 // проверяем есть ли такой объект
 if ($row) {
 // делаем апдейт
 query('UPDATE table SET column=column+1 WHERE id=1');
 }
 else {
 // делаем вставку
 query('INSERT INTO table SET column=1, id=1');
 }

Можно заменить на запрос без php

INSERT INTO table SET column = 1, id=1 ON DUPLICATE KEY UPDATE column = column + 1

INSERT IGNORE

// находим объект
 $row = query('SELECT * FROM table WHERE id=1');
 // если такого объекта нет, то вставляем новую запись
 if (!$row) {
 query('INSERT INTO table …');
 }

заменяем на запрос без php

INSERT IGNORE INTO table …

VESELOV.SUMY.UA