The WebDevil » SQL

Dump mysql db from php (hack) and capture STDERR

dm — Wed, 02 May 2007 16:38:11 +0000

Сразу скажу: решение не пройдет на всех хостингах, потому как вызывать сторонние процессы или shell-команды может быть запрещено настройками сервера!

Быстрое и простое решение было таким:

$out = exec_cmd("mysqldump -Q -u '$[db_user'
--password='$db_pass' $db_name "
.(isset($db_tables)?$db_tables:'')
." | bzip2 --best -f > $db_name.sql.bz2");

Что есть exec_cmd:

function exec_cmd ($cmd) {
$out = '';
$error = '';

$descriptorspec = array(
0 => array('pipe', 'r'),
1 => array('pipe', 'w'),
2 => array('pipe', 'w')
);

$resource = proc_open($cmd, $descriptorspec, $pipes);
if (is_resource($resource)) {
$stdin = $pipes[0];
$stdout = $pipes[1];
$stderr = $pipes[2];

while (! feof($stdout)) {
$out .= fgets($stdout);
}

while (! feof($stderr)) {
$error .= fgets($stderr);
}

fclose($stdin);
fclose($stdout);
fclose($stderr);

$exit_code = proc_close($resource);
}
return array('out'=>$out, 'error'=>$error, 'code'=>$exit_code);
}

Нужно это для того чтобы полностью перехватить STDOUT, STDERR ну и STDIN. Эта фнукция описана в коментах на php.net, только там у пайпа STDERR стоит режим на чтение а не на запись, из-за чего пример не работал.
Ну и соответственно получить результат выполнения можно как

if($out['out'])
$log->Log("Backup DB (binary, STDOUT): $out[out]",'info');
if($out['error'])
$log->Log("Backup DB (binary, STDERR): $out[error]",'error');
$log->Log("Binary DB backup is over.",'info');

где объект $log служит для протоколирования разных сообщений.

Rails and MySQL and UTF8

dm — Sun, 15 Apr 2007 14:32:56 +0000

Итак, есть проект. В нем порядка 70 миграций. В них никто не задумывался о UTF8, потому при создании таблиц по дефолту создаются они с collation = latin1_general_ci. После чего русский выводится как “????”.

Смог полечить следующим образом: в файле /etc/mysql/my.cnf прописать

set-variable=default-character-set=utf8
set-variable=default-collation=utf8_general_ci

Все таблицы создались как положено в UTF8, я счастлив.

Ошибка InnoDB #121

dm — Sat, 06 May 2006 23:01:33 +0000

См. предыдущий пост, там приведен пример.

А теперь об ограничениях еще раз. У каждого ограничения задается имя. Например, CONSTRAINT `Ref_02`. И это имя должно быть УНИКАЛЬНЫМ во всей БД.

Чтобы посмотреть, почему что-то не работает при вставках/удалениях, да еще и ругается на то, что это ошибка InnoDB, можно посмотреть используя команду

show innodb status;

из консоли mysql (вероятно, сделав SQL-запрос через phpmyadmin тоже пройдет, но меня это не сильно интересовало).

А вот пример проблемы и указатель на ее решение.

Проблема: мускуль ругается на ошибку error InnoDB 121. Что это за ошибка я так внятно и не нашел, но немного покопавшись и методом тыка нашел, почему она возникает. Кстати, она не отображается в show innodb status. А ошибка, собственно, из-за повторения имени CONSTRAINT’a. Как я говорил, оно должно быть уникальным. И если вы получили ее, а таблицы вставить надо, надо всего лишь сменить имя CONSTRAINT’a.

Экскурс в SQL

dm — Sat, 06 May 2006 22:59:51 +0000

В университете в свое время у нас был курс по БД. Опирался он на Oracle. Но принципы и поняти были совсем общие. Так вот, там нам рассказывали по “ограничения целостности БД”.

В двух словах, что это такое, а потом, как это работает в MySQL и какие ошибки при этом случаются.

Ограничения целостности позволяют поддерживать отношения между таблицами. MySQL, Oracle на то и называются СУРБД – системами управления реляционными БД. Т.е. между таблицами (сущностями) есть определенные декартовы отношения.
Пример: есть таблица студентов и таблица факультетов. Условие: при удалении факультета удалить все записи студентов.

Другой пример: таблица “группы новостей” и “новости”. При удалении группы удалить ее новости.

А теперь как это работает в MySQL.

В MySQL есть различные типа таблиц. Одни хранят все значения в памяти (MEMORY), другие хранят данные без индексирования (ARCHIVE), еще одни хранят данные в текстовых БД (CSV).

По умолчанию мускуль использует MYISAM.

MyISAM

manages non-transactional tables. It provides high-speed storage and retrieval, as well as fulltext searching capabilities.

MyISAM

is supported in all MySQL configurations, and is the default storage engine unless you have configured MySQL to use a different one by default.

Теперь обратим внимание на ключевую фразу “non-transactional tables”. Меня такой тип не устраивает. Поэтому меня заинтересовал тип InnoDB.

The

InnoDB

and

BDB

storage engines provide transaction-safe tables.

BDB

is included in MySQL-Max binary distributions on those operating systems that support it.

InnoDB

is also included by default in all MySQL 5.0 binary distributions. In source distributions, you can enable or disable either engine by configuring MySQL as you like.

В версии 5,1 обещают сделать MYISAM transaction-safe. Но пока используем InnoDB.
Итак, живой пример. Есть схема БД, приведена ниже. И на основе ее сгенерирован код.

[mysql]

SET FOREIGN_KEY_CHECKS=0;

– Drop table news_categories

DROP TABLE IF EXISTS `news_categories`;

CREATE TABLE `news_categories`
(
`idcategory` int(11) UNSIGNED NOT NULL AUTO_INCREMENT,
`keyword` varchar(50) NOT NULL,
`category` text,
`picture` varchar(255),
`visible` tinyint(1),
PRIMARY KEY(`idcategory`),
UNIQUE INDEX `news_keyword`(`keyword`) )
TYPE=INNODB CHARACTER SET cp1251 ;

– Drop table news

DROP TABLE IF EXISTS `news`;

CREATE TABLE `news`

(`idnews` int(11) UNSIGNED NOT NULL AUTO_INCREMENT,
`title` varchar(255),
`short` text,
`full` text,
`visible` tinyint(1),
`added` datetime,
`idcategory` int(11) UNSIGNED NOT NULL DEFAULT ‘0′,
PRIMARY KEY(`idnews`),
INDEX `FKIndex1`(`idcategory`),
INDEX `FKIndex2`(`idcategory`),
CONSTRAINT `Ref_02` FOREIGN KEY (`idcategory`)
REFERENCES `news_categories`(`idcategory`) ON DELETE CASCADE ON UPDATE CASCADE )
TYPE=INNODB CHARACTER SET cp1251 ;

SET FOREIGN_KEY_CHECKS=1;

[/mysql]

… из которого видно, что “ON DELETE CASCADE” – при удалении категории новостей будут удалены связанные с ней новости.

ЗЫ: для генерации использовался MircoOLAP DataBase Designer.