The WebDevil » FreeBSD

Server moving adventures

dm — Thu, 07 Aug 2008 01:45:28 +0000

Второй день занимаюсь переездом содержимого одного сервера на другой. Другой – VPS под FreeBSD (привет, ДЦ Воля).

В общем, это последний раз когда я до оплаты сказал что он неплох. Теперь только реальные сервера. Ну и может VDS под Linux… В общем, именно эта реализация ужасна. Меня мало интересует как и что – факт налицо.

Первая ласточка – mysql. Сообщение о нехватке памяти в логах:

080806 13:39:10 [ERROR] /usr/local/libexec/mysqld: Out of memory (Needed 1043824 bytes)

Судя по найденому в гугле и попыткам что-либо изменить, это вылазит из-за дефолтного в i386 FreeBSD значения максимального количества памяти на процесс. И изменить его у меня не удалось. В результате куцые буфера, и веселые запросы толпятся в очереди, а MySQL уверенно пухнет. И опухает:

[root@vps ~]# ps axu | grep mysql
bash: fork: Cannot allocate memory

Причем, такое поведение я уже встречал ранее. Дважды. Тогда еще и файловые дескрипторы заканчивались (привет phpbb с кучей плагинов).

Но все был бы ничего, однако базы в большинстве своем живут в MyISAM, но самая тяжелая – как и полагается, в InnoDB. И вот любой запрос с джоинами на ней ложил тачку.

Во время разборок с мускулем был применен киллер, найденый в темном переулке на форумах мускуля:

#!/usr/local/bin/php

mysql_connect('localhost', 'root', 'pass');
$result = mysql_query("SHOW FULL PROCESSLIST");
while ($row=mysql_fetch_array($result)) {
$process_id=$row["Id"];
if ($row["Time"] > 10 && $row['User']!='root' ) {
$sql="KILL $process_id";
mysql_query($sql);
}
}
?>

Теперь появилось время на мысли. mtop помог отследить, что во всем виновата одна эта БД. После запора в ней более-менее тяжелые запросы в других БД тоже застряют.

Результатом был переезд этой большой базы на другой хост, и использование ее оттуда. Сервер с двухядреным оптероном и 4ГБ памяти не заметил появления балласта: запросы пролетали мгновенно. И это без попыток тюнинговать мускуль.

Далее начались проблемы с милой связкой nginx+apache. Как описано у Алексея, все заработало. Но некоторые странички отказывались показываться – браузер ругался на невозможность понять что же ему пришло. Такой ошибки я не встречал, и как оказалось никто из моего контакт-листа тоже.

А получилось следующее: обожаемый ExpressionEngine (и тебе привет) пытался все отдать за-gzip-леное. Апач справедливо отдавал это как HTTP/1.1 Transfer-Encoding: chunked. Но это в ответ на запрос HTTP/1.0 от nginx! Последний нифига не понимал и результирующий фарш доставлялся браузеру. Еще бы, он не хотел это нечто отображать…

Выключением опции gzip-сжатия в ExpressionEngine 1.5.3 это полечилось, однако…

… приключения с этим белым и пушистым зверьком не закончились. В форуме при публикации сообщения символы кириллицы отсутствовали. Долго я искал помощи через гугль, пока не полез в код. А в коде методом тыка нашел, что это все виноват xss_clean в версии 1.5.3.

Заменив строки с

...
$str = preg_replace('#(&\#*\w+)[\x00-\x20]+;#u',"\\1;",$str);
...
$str = preg_replace('#(&\#x*)([0-9A-F]+);*#iu',"\\1\\2;",$str);
...

на

$str = preg_replace('#(&\#?[0-9a-z]+)[\x00-\x20]*;?#i', "\\1;", $str);
...
$str = preg_replace('#(&\#x?)([0-9A-F]+);?#i',"\\1\\2;",$str);

проблему вылечил.

С нетерпением жду что обнаружится дальше…

Ruby fixed in Ubuntu

dm — Fri, 27 Jun 2008 08:00:26 +0000

Наконец-то в Ubuntu полечили уязвимость в Ruby, обновление доступно из репозитария security.ubuntu.com.

Провериться можно выполнив (хоть в irb) код:

ary = []; ary[0x7fffffff] = "A"

Тут больше и подробнее

configure nginx-0.6.26

dm — Mon, 18 Feb 2008 17:14:09 +0000

Для себя, чтоб не забыть, параметры для корректной сборки nginx под FreeBSD.

wget http://sysoev.ru/nginx/nginx-0.6.26.tar.gz
tar xvf ./nginx-0.6.26.tar.gz
cd nginx-0.6.26

./configure --prefix=/usr/local/nginx \
--with-cc-opt="-I /usr/local/include" \
--with-ld-opt="-L /usr/local/lib" \
--with-http_addition_module \
--with-http_dav_module \
--with-http_perl_module \
--with-http_realip_module \
--with-http_stub_status_module \
--with-http_sub_module

make install clean

cd /usr/ports/net/p5-URI && make install clean

cd /usr/ports/devel/p5-String-CRC32 && make install clean

cpan -i URI::Escape::XS

На вопрос cpan о готовности к ручной настройке ответить “no”

ssh bruteforce prevention

dm — Sun, 06 Jan 2008 19:43:07 +0000

Некоторое время назад начали приходить сообщения мониторилки о том, что сервис ssh недоступен на одном из серверов. И он таки был недоступен, потом поднялся сам.
Как показал просмотр логов – по ssh активно шел перебор паролей.
Я решил блочить нарушителей, а не перевесить ssh на другой порт.

Под FreeBSD

У меня все это получилось по прочтении стаьи Лисяры. Немножко подправил его шаги, но совсем незначительно.

cd /usr/ports/security/sshit
make install clean
echo "auth.info;authpriv.info |exec /usr/local/sbin/sshit" >> /etc/syslog.conf

Теперь все попытки входа будут фильтроваться через sshit. Осталось подправить его конфиг /usr/local/etc/sshit.conf:

MAX_COUNT = 5
FIREWALL_TYPE = ipfw2

Так как sshit парсит строчки лога регулярными выражениями, а syslogd имеет нехорошую привычку сокращать в строки вида:

Jan 6 17:08:29 server last message repeated 3 times

Чтоб такие сокращения убрать, надо в /etc/rc.conf найти/зменить/добавить в

syslogd_flags="-ss"

ключик -c, а лучше -cc:

syslogd_flags="-cc -ss"

А также в /etc/rc.firewall дописать создание/опустошение таблицы, в которую будут добавляться нарушители:

${fwcmd} add 60000 deny ip from "table(0)" to my 22

(у меня это в строке сразу над ${fwcmd} add 65000 pass all from any to any).
Вообще оно должно быть до правила разрешающего все (если такое есть).
Теперь рестарить все нужные сервисы:

/etc/rc.d/syslogd restart
/etc/rc.d/sshd restart

и все нарушители будут блочиться файрволом в таблице 0 (ipfw table 0 list). Через некоторое время (вроде бы как 5 минут) они будут разблокированы.

Для Linux

Тут все оказалось проще и веселее.

Вариант №1 – через iptables.
Всего две команды:

iptables -A INPUT -i eth0 -p tcp --dport 22 -m state --state NEW -m recent --set --name SSH
iptables -A INPUT -i eth0 -p tcp --dport 22 -m state --state NEW -m recent --update --seconds 60 --hitcount 8 --rttl --name SSH -j DROP

Но у этого способа есть минус. Он не знает, чем все закончилось. Если за 60 секунд было 8 подключений – IP блокируется.

Способ №2 – посредством fail2ban.
Устанавливаем:

apt-get install fail2ban

И даже править ничего не надо. Ну… почти ничего. В логе встречается строка “last message repeated N times”, которая все портит. И в sysklogd нехватает возможности это исправить. syslog-ng вроде бы такого не делает, и пишет во все те же логи. Вот я его себе и установил сразу.
В /etc/fail2ban можно найти конфиги, которыми можно настроить его и на ftp, и на ssh, и на несколько других сервисов.

replace freebsd with linux via ssh

dm — Fri, 21 Dec 2007 10:53:29 +0000

Имея в своем распоряжении несколько серверов решил привести их к одной платформе, а именно – Ubuntu Linux.
Вдохновленный этим описанием я решил попробовать повторить его.
Сразу скажу – к серверу я таки поехал. Я забыл сделать fstab, но до него дело не дошло – не завелся grub.
Хочу выразить глубокую признательность берсеркеру за статью, идею и подсказки!

ВНИМАНИЕ! Все что тут описано Вы делаете на свой страх и риск.

Итак, что получилось.

Первым делом я выделил небольшой раздел – 1ГБ – под линукс, и поставил его туда в минимальном доступном варианте. На один раздел как “/”, без свопа. Сразу же поставил к нему ssh – а то потом плохо будет.
Затем из работающего линукса я смонтировал установленный (допустим, в /mnt/freshlinux) и сделал из него тарбол:

cd /mnt/freshlinux && tar -cpf ~/base.tar *

В дальнейшем будет два варианта установки: развернуть полностью установленный или развернуть новый посредством debootstrap. Мне было весьма лениво закачивать немаленький тарбол на удаленную систему со скоростью аплода 30КБ/с.

Теперь пора урезать базовую систему. Проще всего сделать это находясь в нем:

chroot /mnt/freshlinux

И начинаем все несущественное удалять. Желательно оставить grub (потом понадобится). Я же еще оставил debootstrap – см. примечание выше. Также я люблю reiserfs, поэтому надо для него утилиты оставить.

Как было сказано в руководсте берсеркера – вырезаем доки-маны

find /usr/share/{doc,locale,man} -type f -exec rm -f \;

То что осталось должно весить около 70МБ.
Обязательно надо прописать в /etc/network/interfaces сетевые настройки удаленной машинки. Также не забыть /etc/resolv.conf.

Далее у меня подход стал чуть отличаться: новые ядра поддерживают initramfs. Используя initrd у меня почему-то небыло возможноси записи в него.
Initramfs я собирал так как сказано в мане:

cd /mnt/freshlinux && find . | cpio -o -H newc | gzip -9 > ~/initramfs.cpio.gz

Следующий шаг – надо собрать ядро, которое будет поддерживать все что нам нужно. Вот такой конфиг у меня получился для ядра 2.6.22 и вот такое ядро. Знаю, что ядро не идеальное, но оно работает.

Теперь можно загружать ядро и initramfs на удаленную машину. Там для раздела с которого загрузится линукс можно освободить раздел свапа (допустим, это ad0s1b):

swapoff /dev/ad0s1b
newfs -O1 /dev/ad0s1b
mkdir /small
mount /dev/ad0s1b /small

Затем надо поставить grub

sysctl kern.geom.debugflags=16
grub-install /dev/ad0
grub-set-default 1

и создать для него такой конфиг в /boot/grub/menu.lst:

default saved
fallback 0
timeout 1
title freebsd
kernel (hd0,0,a)/boot/loader
savedefault 0
title debian
kernel (hd0,0,b)/bzImage root=/dev/ram0 rdinit=/sbin/init rw panic=1
initrd (hd0,0,b)/initramfs.cpio.gz
savedefault 0

После перезагрузки мы должны попасть в linux.

Процитирую берсеркера:

ВНИМАНИЕ - все делать осторожно и вдумчиво, т.к. возврата уже не будет.

Теперь надо переразметить диск. Для разметки я привык использовать cfdisk.
Далее на указанных разделах создал файловые системы и смонтировал все это.

И вот тут можно поступить двумя способами – развернуть тарболл или поставить заново систему через debootstrap. Я пошел вторым путем, и поехал к серверу – не встал загрузчик.
Так как распаковка тарбола не нуждается в пояснениях, то расскажу немного о debootstrap.
Собственно, имеем директорию, в которую смонтирован “/” новой системы. Также я разношу /usr, /var/, /home, /tmp. Все это добро смонтировалвнутри нового корня, и выполнил

CHROOT=/mnt/freshlinux
debootstrap --include=ssh edgy $CHROOT

Так туда станет новая система.
Не помешает сразу сделать

cp /etc/apt/sources.list /mnt/freshlinux/etc/apt/sources.list
cp /etc/network/interfaces /mnt/freshlinux/etc/network/interfaces
cp /etc/resolv.conf /mnt/freshlinux/etc/resolv.conf
apt-get install sudo
addgroup admin
adduser myusername
adduser myusername admin
echo "%admin ALL=(ALL) ALL" >> /etc/sudoers

Вот тут уместно будет создать файл /etc/fstab, который я забыл сделать у себя. Синтаксис можно подсмотреть в живущей в памяти системе – там все просто.

И войдем в новую систему и обновим список пакетов и поставим ядро и загрузчик:

chroot $CHROOT
apt-get update
apt-get install linux-image grub
mkdir /boot/grub
update-grub
vi /boot/grub/menu.lst

и в конфиг граба пишем:

timeout 10
title Ubuntu, kernel 2.6.22-14-generic
root (hd0,0)
kernel /boot/vmlinuz-2.6.22-14-generic root=/dev/sda1 ro quiet
initrd /boot/initrd.img-2.6.22-14-generic
quiet
savedefault

и затем уже не в chroot’е делаем

grub-install --root-directory=$CHROOT

По идее все. Надеюсь, мне покажут ошибки, которые я сделал =)

Server monitoring tool

dm — Fri, 30 Nov 2007 18:47:46 +0000

Стояли у меня разные сервера, и для мониторинга сервисов на них стоял monit. Со своей задачей он справлялся – если что-то упало – поднять указанным скриптом.
Но чего нехватало – так центра, в котором я бы мог озирать со своего места все сервера.

Вот так и решил поставить nagios. Поставил, посмотрел, попытался настроить, что-то получилось. Так как я – вэбдевел, то я, понятное дело, привы пользоваться вэб-мордами для таких штук. И у нагиоса она не то чтоб неюзабельна… Там полное отсуствие термина “удобство”. За что он и был снесен на следующие сутки.

Вторым… точнее второй была сестрёнка – BigSister. Но она мне что-то сразу не приглянулась, и прожила минут 10-15. На большее меня нехватило. Интерфейс тоже неахти какой.

Попробовал я и ManageEngine(r) OpManager – я не смог его запустить, так как он требовал старые либы. У него внутри свой апач, что порадовало – ведь системный может и отвалиться, а мониторилка должна продолжить жить. Но именно этот апач и не стартовал из-за возраста.

И вот, наконец, меня подтолкнули в сторону Zabbix. Сначала его навороченость меня отпугнула, юзабилити показалось страшным, но уже много лучше нагиоса. А потом я его настроил – что оказалось весьма легко – и обрел счастье.

В общем, что сие из себя представляет.
Есть сервер, есть агент. Сервер пишет в MySQL/PostgreSQL/Oracle/SQLite. Есть вэб-морда (PHP), которая работает как раз с этой самой sql-базой. Клиент коннектится к серверу (или нескольким серверам). Первому в списке серверу он шлет всю инфу как можно чаще, остальным – более умеренно. По какому протоколу – не знаю, вроде по своему (поверх tcp).
Ну а дальше у морды настраиваются триггеры (события, при которых шлется уведомление), item’ы (события, на которых строятся триггеры), media (чем и как и куда слать – даже через COM через сотовый может =)), графики и т.п.
Агент, кстати, может выполнять указанные сервером команды. Например, при падении апача/мускуля/etc поднять его.

В общем – пока у меня живет Zabbix, и я доволен. Всем советую.
Но планы на разработку сходной мониторилки с человеческим обличьем уже есть

FreeBSD upgrade

dm — Thu, 22 Nov 2007 10:33:25 +0000

Был когда-то админ, который держал вэб-сервера в компании. А я в ту пору работал там же вэб-программером. Но потом он ушел – и все бразды правления серверами былипереданы мне до нахождения нового админа. Было это месяцев 8 назад. С тех пор я и админю эти сервера и программлю.

Так вот еще в те далекие времена на один из продакшен-серверов была поставлена FreeBSD 6.1 RELEASE. И были у нее иногда (раз-два в месяц) странные сбои – она спонтанно несколько раз уходила в ребут. Память там целая, да и рейд-массив не сбоит. Все логи чистые.
Как я смог наконец-то выяснить – такое поведение встречалось у некоторых других серверов с этой же версией фри, а также и с какой-то версией 5ки – вроде бы тоже 5.1.

Переставить сервер нет никакой возможности. К великому моему сожалению. Посему пришлось делать апгрейд. Да к тому же и ядро там самосборное, так что бинарный апгрейд не выйдет. И вот что я делал:

Правим/проверяем /etc/make.conf. У меня он имеет такой вид:
PERL_VER=5.8.8
PERL_VERSION=5.8.8
MASTER_SITE_BACKUP?= \
ftp://ftp5.us.freebsd.org/pub/FreeBSD/portg.freebsd.orgs/current-distfiles/${DIST_SUBDIR}/
MASTER_SITE_OVERRIDE?= ${MASTER_SITE_BACKUP}
SUP_UPDATE= yes
SUP= /usr/local/bin/cvsup
SUPFLAGS= -g -L 2
SUPHOST= cvsup5.us.freebsd.org
PORTSSUPFILE= /usr/share/examples/cvsup/ports-supfile
X11BASE=${LOCALBASE}
Конфигурируем-правим cvs-supfile:
*default host=cvsup3.ua.freebsd.org
*default base=/var/db
*default prefix=/usr
*default release=cvs delete use-rel-suffix compress
#ports-all tag=.
*default release=cvs tag=RELENG_6_2
src-all

если раскоментарить ports-all оно обновит еще и дерево портов, а мне долго ждать не хотелось. А в tag нужно вписать релиз, до которого будем апдейтить систему.
Обновляем /usr/src:
cvsup -g -L 2 /root/cvs-supfile
cd /usr/src
make buildworld
make buildkernel KERNCONF=MYKERNEL
make installworld
А вот теперь надо ставить ядро… Но вдруг не взлетит? Потому будем ставить в два ребута.
make installkernel KERNCONF=MYKERNEL KODIR=/boot/testkernel
nextboot -k textkernel

Nextboot укажет загрузчику что надо загрузиться с указанным ядром лишь раз – потом грузить дефолтное.
reboot
uname -a

и смотрим, получилось или нет. У меня получилось… И теперь ставим это ядро как основное
make installkernel KERNCONF=MYKERNEL
Насколько я понял – не помешает сделать
mergemaster

Это попытается обновить конфиги сервисов, а те что изменены – поможет смерджить
reboot

И по идее все должно взлететь с новым ядром. У меня завелось.

PS: Я понимаю, что знатоки фри через это давно прошли, но я имел удовольствие делать это впервые на сервере, стоящем далеко от меня в ДЦ. И ехать туда не хотелось.

PS2: небольшое ИМХО. Пока ставил и обкатывал тестовый стенд – долго ругался. Если до этого я не сильно-то любил фрю, то после этого шага невзлюбил еще больше. Вот возьмем линух – я поставил его на сервер за 30 минут и настроил за 1,5 часа до готовности к бою. С дефолтным ядром. На 6ГБ памяти. Но фря… для установки пакетов предлагает кучу зеркал. Половина дохлые. Ладно, допустим. При инсталяции каждого выбраного пакета она переспрашивает с какого зеркала его тянуть. При установке 15ти пакетов это бесит невероятно. Потом надо писать страшный make.conf, cvs-supfile. Чтобы обновить порты. Из которых дальше долго и нудно ставить софт.
Давно уже было, но повторюсь – в ubuntu/debian можно поставить php4-cgi, php5-cgi – они не перекрывают друг друга и всем хорошо. Во фре перекрывают. надо ставить с префиксом. А потом все экстеншены с префиксом…
В общем, впечатление осталось одно – надо долго прыгать с бубном в полночь вокруг горы доки.

PS3: у меня в dmesg небыло мессаджей о загрузке. И вот как определить что за железо в компе стоит? В линухе – lspci, lsusb, /proc. А во фре? Тот же проц – /cat/cpuinfo – как?

PS4: это не призыв к холивору =)

to find magic

dm — Sun, 16 Sep 2007 14:04:17 +0000

Как удалить все логи, которые старше трех дней? В *NIX это можно сделать скриптом в одну строку:

# cat ./clean_logs.sh
#!/bin/sh

DIR=/usr/local/www/data/www.example.com/cron

/usr/bin/find $DIR -maxdepth 3 -mindepth 1 -type f -name "*.log" -ctime +3 -print0 | xargs -r -0 /bin/rm -f

Собственно, так файлики удалятся из текущей папки и из подпапок.

MySQL, FreeBSD and incorrect time

dm — Tue, 04 Sep 2007 17:44:59 +0000

Баг: выполняем в консоли

$date
Tue Sep 4 20:26:45 EEST 2007

а выполнив в mysql

SELECT now();
+---------------------+
| now() |
+---------------------+
| 2007-09-04 17:26:45 |
+---------------------+

Сразу понятно, что проблема во временных зонах. И правда,

SHOW VARIABLES LIKE 'system_time_zone';
+------------------+-------+
| Variable_name | Value |
+------------------+-------+
| system_time_zone | UTC |
+------------------+-------+

Бороться с этим можно двумя способами – или в переменную окружения TZ перед запуском mysqld_safe установить значение EET (или в какой зоне находитесь Вы), или запуская mysql_safe с ключиком –timezone=EET.

Второе помогло.

Спасибо за наводку DKAnze

ZendOptimizer with FreeBSD

dm — Mon, 03 Sep 2007 12:05:43 +0000

Баг – не работает ZendOptimizer. При выполнении скрипта в браузере видим чистую страницу.

Наблюдения: Любопытно, но в консоли “php info.php” видим все чудесно. Очевидно, все прекрасно и с php-cgi. Опыт это доказал.

Данные: Итак, имеем

ось FreeBSD example.com 6.2-RELEASE FreeBSD 6.2-RELEASE #0.
скрипты, которые зашифрованы ZendGuard-ом.
апач версии apache-2.2.4.
PHP версии 5.2.3.

Такие скрипты работают только при установленном ZendOptimizer. На данный момент версия 3.3.

Лечение:
Первое что я увидел – народ советует удалить Suhosin-патч, якобы мешает он. У меня его удаление не дало результата.
Второе – народ сползал на апач 1.3 и все само собой лечилось. Но это же неинтересно

Я же дошел до того, что поставил к апачу mod_fcgid-2.1_1 и через него подключил php-cgi. Чудесным образом все заработало.

Вот что вышло в конфиге:

в /usr/local/etc/apache22/httpd.conf добавляем строку

LoadModule fcgid_module libexec/apache22/mod_fcgid.so

Потом чуть ниже добавляем вот такое:

AddHandler fcgid-script .fcgi

Потом непосредственно в конфиге vhost’а добавляем вот такие строки:

AddType application/x-httpd-fastphp .php
Action application/x-httpd-fastphp /cgi-bin/php

phpinfo теперь должен показать что он работает через CGI/FastCGI. И криптованые скрипты в такой конфигурации работают чудесно.