The WebDevil » apache

Monitoring apache with GOD

dm — Mon, 30 Nov 2009 09:38:07 +0000

“Посчастливилось” мне заполучить VPS с сайтом на битриксе. Из-за Zend Optimizer (сорсы покриптованы) нет возможности установить APC. Вроде бы умеет xcache работать вместе с ним, еще не проверял. Периодически апач съедает всю память, свап, и машинка умирает окончательно. Хуже то, что апач работает с mpm-prefork, то есть он порождает не потоки, а процессы. И при мониторинге виден родительский процесс, который занимает всего 13М памяти.

Вначале для рестарта апача в период дикого роста я пытался использовать monit, но результат был неадекватный – при указании memory > 90% он убивал его когда памяти была занята всего треть.

После monit я попробовал использовать god. Но он мониторит только один процесс, без его чайлдов. Вроде бы есть проект bluepill, который идейно растет из god. Но примеры найти оказалось проблематично, да и в процессе решил таки остаться с god.

Среди условий у god была обнаружена фича – :lambda. После недолгого размышления на bash была написана строка, показывающая занятый апачем процент памяти:

ps -e -o pmem,cmd | grep apache2 | grep -v grep | awk '{sum += $1;}END{print sum;}'

что сразу переродилось в

w.restart_if do |restart|
restart.condition(:lambda) do |c|
c.lambda = lambda{`ps -e -o pmem,cmd | grep apache2 | grep -v grep | awk '{sum += \$1;}END{print sum;}'`.to_i > 90}
end
end

Итого конфиг для апача выглядит так:

God::Contacts::Email.delivery_method = :sendmail

God.contact(:email) do |c|
c.name = 'maintainer'
c.email = 'pager@sms.gate.isp'
end

God::Contacts::Email.format = lambda do |name, email, message, time, priority, category, host|
< <-EOF
From: god
To: #{name} <#{email}>
Subject: Alert!
Date: #{Time.now.httpdate}
Message-Id: < #{rand(1000000000).to_s(36)}.#{$$}.#{self.message_settings[:from]}>

#{host} (#{priority}): #{message}
EOF
end

%w{80}.each do |port|
God.watch do |w|
w.name = "apache2"
w.pid_file = "/var/run/apache2.pid"
w.interval = 10.seconds # default
w.start = "/etc/init.d/apache2 start"
w.stop = "/etc/init.d/apache2 stop"
w.restart = "/etc/init.d/apache2 restart"
w.start_grace = 10.seconds
w.restart_grace = 20.seconds

w.start_if do |start|
start.condition(:process_running) do |c|
c.interval = 5.seconds
c.running = false
end
end
w.restart_if do |restart|
restart.condition(:lambda) do |c|
c.lambda = lambda{`ps -e -o pmem,cmd | grep apache2 | grep -v grep | awk '{sum += \$1;}END{print sum;}'`.to_i > 90}
c.notify = 'maintainer'
end
end
end
end

LAMP through fcgid with suexec

dm — Tue, 11 Aug 2009 08:11:49 +0000

Взглянем на Apache+mod_php. Плюсы:

настраивается максимально просто
интерпретатор стартует вместе с каждым форком апача

Минусы:

mpm_prefork далеко не самый быстрый
все работает под одним пользователем (да-да, можно накрутить mod_itk)

В попытках сделать секьюрно и по возможности быстро я решил скрутить apache (mpm_worker) + mod_fcgid + suexec.
Сам по себе CGI очень небыстр за счет того, что при каждом запросе подымается интерпретатор. FastCGI быстрее, так как интерпретатор держится отдельным процессом. А mod_fcgid – модуль, бинарно совместимый с mod_fastcgi, с новой стратегией управления процессами.

Suexec в свою очередь позволяет выполнять CGI/FastCGI/SSI с указанными uid/gid. Да-да, в системе будут заводиться реальные пользователи.

Расстановкой прав можно добиться того, что даже взломав один сайт злоумышленник не сможет увидеть другие сайты.

Приступим.

apt-get install apache2-mpm-worker apache2-suexec ache2-threaded-dev libapache2-mod-fcgid php5-cgi

Теперь когда у нас все есть, создадим скелет для будущих площадок.

mkdir -p /root/web/skel
cd /root/web/skel
mkdir {cgi-bin,etc,logs,tmp,www}
chmod 770 tmp
chmod 751 {etc,logs,www}
cp /etc/php5/cgi/php.ini ./etc

Правим php.ini на предмет вывода ошибок и прочих мелких твиков.
Теперь сделаем враппер для самого обработчика (cgi-bin/php-cgi):

#!/bin/bash

cd $CGI_BIN_DIR
PHP_INI=../etc/php.ini

if [ ! -f $PHP_INI ]; then
PHP_INI=/etc/php5/cgi/php.ini
fi

exec /usr/bin/php5-cgi -c $PHP_INI

И делаем

chown -R 755 cgi-bin
cd /root/web
touch {adduser,awstats,vhost}.skel
touch add_site.sh && chmod +x add_site.sh

adduser.skel:

DSHELL=/bin/false
DHOME=/var/www
GROUPHOMES=no
LETTERHOMES=no
SKEL=/root/web/skel
FIRST_SYSTEM_UID=2000
LAST_SYSTEM_UID=2999
FIRST_SYSTEM_GID=2000
LAST_SYSTEM_GID=2999
FIRST_UID=2000
LAST_UID=29999
FIRST_GID=2000
LAST_GID=2999
USERGROUPS=yes
USERS_GID=100
DIR_MODE=0751
SETGID_HOME=no
QUOTAUSER=""
SKEL_IGNORE_REGEX="dpkg-(old|new|dist)"

awstats.skel:

LogFile="/var/www/#USER/logs/#SITE-access.log"
SiteDomain="#SITE"
HostAliases="localhost 127.0.0.1 REGEX[#SITE$]"
Include "/etc/awstats/awstats.conf.local"

vhost.skel:

<virtualhost *>
ServerName #SITE
ServerAlias www.#SITE
DocumentRoot /var/www/#USER/www/#SITE/public_html

SuexecUserGroup #USER #USER

ScriptAlias /cgi-bin/ /var/www/#USER/cgi-bin/
<directory /var/www/#USER/www/#SITE/public_html>
Options -Indexes +ExecCGI
AllowOverride All
AddHandler fcgid-script .php
FCGIWrapper /var/www/#USER/cgi-bin/php-cgi .php
Order allow,deny
Allow from all
directory>

ErrorLog /var/www/#USER/logs/#SITE-error.log
CustomLog /var/www/#USER/logs/#SITE-access.log combined

SetEnv AWSTATS_FORCE_CONFIG #SITE
<location /cgi-bin/awstats.pl >
AuthUserFile /var/www/#USER/etc/awstats.passwd
AuthName "Website stats for #SITE"
AuthType Basic
require valid-user
location>
virtualhost>

add_site.sh:

#!/bin/bash

if [ -z $1 ] || [ -z $2 ]; then
echo "Oops. Some param not given."
exit 1
fi

# If no such user exists - add one right now
if [ ! -d /var/www/$2 ]; then
adduser --conf ./adduser.skel --disabled-login --gecos '' $2 || exit 1
fi

# Buld generic folders
mkdir -p /var/www/$2/www/$1/public_html
chown -R $2:$2 /var/www/$2/www/$1

# Build generic vhost for apache
cat vhost.skel | sed "s/#USER/${2}/g;s/#SITE/${1}/g" > ${2}_${1}

# Activate vhost
a2ensite ${2}_${1}

# Build generic awstats config
cat awstats.skel | sed "s/#USER/${2}/g;s/#SITE/${1}/g" >> /etc/awstats/awstats.${1}.conf

echo "Restart apache..."
apache2ctl configtest && apache2ctl restart

Вот таким нехитрым образом можно добавить сайт:

cd /root/web
./add_site example.org web_example

В результате будет создан пользователь web_example и у него сайт – example.org.

Tip

Иногда надо позволить скрипту выполяться боее 30 секунд. Думаете для этого достаточно подправить php.ini? Нет, в таком случае fcgid отстрелит скрипт по достижении 40 секунд. Для этих случаев в конфиге vhost’а требуется задать значение IPCCommTimeout в секундах (например, 300). Есть баг – глобальное значение отчего-то не хочет применяться к vhost’у, потому надо указать его непосредственно в vhost’е.

В общем и целом – конфиги показал, идею донес (надеюсь). Enjoy.

Apache, suexec and awstats

dm — Thu, 09 Jul 2009 16:41:24 +0000

Столкнулся сегодня с проблемой: переменные, установленные через SetEnv в апаче не видны в cgi-скриптах.
Поиски произростания ног привели к suEXEC, который фильтрует набор переменных окружения. И, естественно, в списке разрешенных нет ничего про AWSTATS_FORCE_CONFIG.
Проблему решил следующим образом:

mkdir ~/build_suexec && cd ~/build_suexec
wget http://svn.apache.org/repos/asf/httpd/httpd/trunk/support/suexec.{c,h}

Далее в suexec.c находим внутри большой список переменных, и добавляем туда то, что нужно:

# diff ./suexec.c.orig ./suexec.c
77a78
> "AWSTATS_FORCE_CONFIG=",

И собираем получившееся такой командой (при условии что установлены пакеты apache2-threaded-dev и build-essential):

gcc -DLOG_EXEC='"/var/log/apache2/suexec.log"' \
-DAP_DOC_ROOT='"/var/www"' \
-DAP_GID_MIN=100 \
-DAP_HTTPD_USER='"www-data"' \
-DAP_LOG_EXEC='"/var/log/apache2/suexec.log"' \
-DAP_SAFE_PATH='"/usr/local/bin:/usr/bin:/bin"' \
-DAP_UID_MIN=100 \
-DAP_USERDIR_SUFFIX='"public_html"' \
-I/usr/include/apr-1.0 \
-I/usr/include/apache2 \
-o suexec suexec.c && chmod 4755 suexec

В убунту надо будет заменить получившимся бинарником враппер /usr/lib/apache2/suexec.

PS: да, для того чтоб у пользователя работал awstats при suexec, который ставит ограничение на скрипты в /var/www, да еще и разыменовывает симлинки, достаточно в cgi-bin создать простейший враппер (awstats.pl):

#!/usr/bin/env perl

exec('/usr/lib/cgi-bin/awstats.pl');

Хотя можно (по идее!) в AP_DOC_ROOT прописать ‘”/var/www,/usr/lib/cgi-bin”‘.

PS2: в списке разрешенных переменных окружения можно задавать множества – например, “AWSTATS_”.

PS3: посоветовал бы кто-то настраиваемую замену для злого suEXEC – у него-то все опции при компиляции задаются.

LVM Rocks

dm — Sat, 28 Feb 2009 23:18:18 +0000

Давно заметил что в Ubuntu (server edition) во время инсталляции начали предлагать использовать LVM. Но я все не решался поставить production на него. Затем пообщался со теми кто его использовал, почитал доку – и последний год стал его использовать, так как постиг скрытую в нем мощь

Допустим, у нас есть простенький бюджетный сервер. Мы развернули новое приложение, и его база стала расти весьма стремительно. Итого – база, веб-файлы и система живут на одном физическом диске.

Был куплен диск WD Razor, и на него перенесли базу. Нагрузка диска (iostat -x -m 1) составила 1-2%. Решено перенести туда же и веб-файлы, однако решение это пришло лишь через пару дней. Так что получилось наглядно продемонстрировать возможности LVM.

Part1. Creating…

Когда поставили разор на нем создали один раздел – LVM:

# fdisk -l

Disk /dev/sdb: 74.3 GB, 74355769344 bytes
255 heads, 63 sectors/track, 9039 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sdb1 1 9039 72605736 8e Linux LVM

Пару слов об организации LVM.
Уровень 1: volume group (vg). Это наивысший уровень абстракции, объединяющий в себе logical volumes и physical volumes.
Уровень 2: physical volume (pv). Это некое блочное устройство, способное хранить данные (HDD, RAID, …)
Уровень 3: logical volume (lv). Это эквивалент раздела на жестком диске.

Таким образом в группу добавляются физические тома (pv), и потом во всем этом пространстве свободного места создаются разделы (lv), на которых уже создается файловая система.

Итак, сначала создавался pv:

pvcreate /dev/sdb1

Затем vg:

vgcreate sys_vg /dev/sdb1

И затем на все свободное место указанного pv (/dev/sdb1) создали lv с именем var_lib_mysql:

lvcreate -L 100%PVS -nvar_lib_mysql sys_vg /dev/sdb1

Дело за малым:

mkreiserfs /dev/mapper/sys_vg-var_lib_mysql
mount /dev/mapper/sys_vg-var_lib_mysql /mnt
/etc/init.d/mysql stop
mv /var/lib/mysql/* /mnt/
mv /var/lib/mysql/.* /mnt/
umount /mnt
mount /dev/mapper/sys_vg-var_lib_mysql /var/lib/mysql
chown -R mysql:mysql /var/lib/mysql
/etc/init.d/mysql start

Вот собственно и почти все. Последний штрих – прописать монтирование раздела в fstab, дабы это происходило при загрузке автоматом. Можно скучно сделать это через blkid, увидеть там нужный UUID (например, f6946e54-c7d6-4688-8fac-05dcb1bf9973), скопировать его, открыть /etc/fstab и вставить туда строку вида:

UUID=f6946e54-c7d6-4688-8fac-05dcb1bf9973 /var/lib/mysql reiserfs defaults 0 2

а можно сделать так:

printf "\nUUID=`blkid | grep sys_vg-var_lib_mysql | sed -r 's/.*UUID="([^"]*).*/\1/i'`\t/var/lib/mysql reiserfs defaults 0 2\n" >> /etc/fstab

Да, если сделать umount /var/lib/mysql && mount /var/lib/mysql до ребута – то /dev/disk/by-uuid/f6946e54-c7d6-4688-8fac-05dcb1bf9973 (или какой там получится) там еще не будет. Для того чтоб появился до ребута надо перезапустить udev:

/etc/init.d/udev restart

Part2. Resizing…

Как я говорил раньше, с опозданием пришла мысль о том, что неплохо бы вынести и статические файлы на этот же винт. И сделать это совсем просто! Для этого от того lv что был создан раньше (и именуется var_lib_mysql) откусим немного места.

Сначала остановим все службы (говорят, reiserfs увеличивается/уменьшается без проблем налету, но я этого пока не пробовал на себе):

/etc/init.d/mysql stop
umount /var/lib/mysql

Затем уменьшим файловую систему, а затем и lv на 20ГБ:

resize_reiserfs -s-20G /dev/mapper/sys_vg-var_lib_mysql
lvreduce -L-20G /dev/mapper/sys_vg-var_lib_mysql

На всякий случай я предпочел проверить фс на ошибки (а вдруг!):

reiserfsck /dev/mapper/sys_vg-var_lib_mysql

Ну и возвращаем обратно MySQL:

mount /var/lib/mysql
/etc/init.d/mysql start

Теперь создадим lv для веб-файлов, и так как их намного меньше 20ГБ, я решил оставить 5ГБ про запас, никому их не присвоив. Потом можно будет налету добавить туда где закончится место.

lvcreate -L 15G -nvar_www sys_vg
mkreiserfs /dev/mapper/sys_vg-var_www

Далее – перенос файлов:

/etc/init.d/nginx stop
/etc/init.d/apache2 stop
mount /dev/mapper/sys_vg-var_www /mnt
mv /var/www/* /mnt/
mv /var/www/.* /mnt/
umount /mnt
mount /dev/mapper/sys_vg-var_www /var/www
/etc/init.d/apache2 start
/etc/init.d/nginx start

И опять не забываем про fstab:

printf "\nUUID=`blkid | grep sys_vg-var_www | sed -r 's/.*UUID="([^"]*).*/\1/i'`\t/var/lib/mysql reiserfs defaults 0 2\n" >> /etc/fstab

По материалам:

PS: после изменения размера мог измениться UUID для lv var_lib_mysql, хотя я и не уверен в этом. Но проверить не помешает.
PS2: если работаете удаленно – не забывайте про screen.
PS3: писалось по памяти, так что могут быть некоторые неточности. Тупой копипаст без вовлечения мыслительного процесса чреват боком. Я предупредил

Server moving adventures

dm — Thu, 07 Aug 2008 01:45:28 +0000

Второй день занимаюсь переездом содержимого одного сервера на другой. Другой – VPS под FreeBSD (привет, ДЦ Воля).

В общем, это последний раз когда я до оплаты сказал что он неплох. Теперь только реальные сервера. Ну и может VDS под Linux… В общем, именно эта реализация ужасна. Меня мало интересует как и что – факт налицо.

Первая ласточка – mysql. Сообщение о нехватке памяти в логах:

080806 13:39:10 [ERROR] /usr/local/libexec/mysqld: Out of memory (Needed 1043824 bytes)

Судя по найденому в гугле и попыткам что-либо изменить, это вылазит из-за дефолтного в i386 FreeBSD значения максимального количества памяти на процесс. И изменить его у меня не удалось. В результате куцые буфера, и веселые запросы толпятся в очереди, а MySQL уверенно пухнет. И опухает:

[root@vps ~]# ps axu | grep mysql
bash: fork: Cannot allocate memory

Причем, такое поведение я уже встречал ранее. Дважды. Тогда еще и файловые дескрипторы заканчивались (привет phpbb с кучей плагинов).

Но все был бы ничего, однако базы в большинстве своем живут в MyISAM, но самая тяжелая – как и полагается, в InnoDB. И вот любой запрос с джоинами на ней ложил тачку.

Во время разборок с мускулем был применен киллер, найденый в темном переулке на форумах мускуля:

#!/usr/local/bin/php

mysql_connect('localhost', 'root', 'pass');
$result = mysql_query("SHOW FULL PROCESSLIST");
while ($row=mysql_fetch_array($result)) {
$process_id=$row["Id"];
if ($row["Time"] > 10 && $row['User']!='root' ) {
$sql="KILL $process_id";
mysql_query($sql);
}
}
?>

Теперь появилось время на мысли. mtop помог отследить, что во всем виновата одна эта БД. После запора в ней более-менее тяжелые запросы в других БД тоже застряют.

Результатом был переезд этой большой базы на другой хост, и использование ее оттуда. Сервер с двухядреным оптероном и 4ГБ памяти не заметил появления балласта: запросы пролетали мгновенно. И это без попыток тюнинговать мускуль.

Далее начались проблемы с милой связкой nginx+apache. Как описано у Алексея, все заработало. Но некоторые странички отказывались показываться – браузер ругался на невозможность понять что же ему пришло. Такой ошибки я не встречал, и как оказалось никто из моего контакт-листа тоже.

А получилось следующее: обожаемый ExpressionEngine (и тебе привет) пытался все отдать за-gzip-леное. Апач справедливо отдавал это как HTTP/1.1 Transfer-Encoding: chunked. Но это в ответ на запрос HTTP/1.0 от nginx! Последний нифига не понимал и результирующий фарш доставлялся браузеру. Еще бы, он не хотел это нечто отображать…

Выключением опции gzip-сжатия в ExpressionEngine 1.5.3 это полечилось, однако…

… приключения с этим белым и пушистым зверьком не закончились. В форуме при публикации сообщения символы кириллицы отсутствовали. Долго я искал помощи через гугль, пока не полез в код. А в коде методом тыка нашел, что это все виноват xss_clean в версии 1.5.3.

Заменив строки с

...
$str = preg_replace('#(&\#*\w+)[\x00-\x20]+;#u',"\\1;",$str);
...
$str = preg_replace('#(&\#x*)([0-9A-F]+);*#iu',"\\1\\2;",$str);
...

на

$str = preg_replace('#(&\#?[0-9a-z]+)[\x00-\x20]*;?#i', "\\1;", $str);
...
$str = preg_replace('#(&\#x?)([0-9A-F]+);?#i',"\\1\\2;",$str);

проблему вылечил.

С нетерпением жду что обнаружится дальше…

Webservers benchmark

dm — Sun, 03 Feb 2008 05:08:54 +0000

Решил потестировать PHP в разных связках, а именно – Apache + mod_php, Apache + mod_fcgid + php, Lighttpd + mod_fastcgi + php. Все это еще в двух вариантах – с APC (Advanced PHP Cache) и без него.

Тестировал выполнением вот такой команды:

ab -c 5 -n 500 http://dmitry.shaposhnik.name/

Выполнял команду на другом сервере чтобы снизить влияние случайных факторов.

И вот что получилось в результате:

Вот полный вывод в текстовом виде:
testing results

UPD: вот на том же сервере решил протестировать приложение-блогодвижек (Записки айтишника) на рельсах той же командой.

Document Length: 13176 bytes

Concurrency Level: 5
Time taken for tests: 15.141659 seconds
Complete requests: 500
Failed requests: 0
Write errors: 0
Total transferred: 6743500 bytes
HTML transferred: 6588000 bytes
Requests per second: 33.02 [#/sec] (mean)
Time per request: 151.417 [ms] (mean)
Time per request: 30.283 [ms] (mean, across all concurrent requests)
Transfer rate: 434.89 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 0 0.0 0 1
Processing: 6 100 1126.2 7 15141
Waiting: 4 98 1126.1 5 15139
Total: 6 100 1126.2 7 15141

Percentage of the requests served within a certain time (ms)
50% 7
66% 8
75% 9
80% 10
90% 11
95% 13
98% 110
99% 211
100% 15141 (longest request)

UPD: по коментариям Вадима сделал более жесткий тест:

ab -c300 -n3000 http://dmitry.shaposhnik.name/test.php

testing results, heavy testing
Без APC mod_fcgid отлетает (2 запроса). Подскажите как подтюнинговать.

apache restart bug

dm — Wed, 31 Oct 2007 11:06:49 +0000

Проблема: вызываем

/etc/init.d/apache2 restart

и этот зверь ругается, что порт залочен и не может открыть логи.
Причина: когда вызывается apache_stop, то он на самом деле вызывает apache2ctl graceful-stop. Это не убивает апач сразу, а дает ему некоторое время чтоб умереть самому… Но на нагруженом сервере это и есть проблема – он умирает очень долго.
Решение: в /etc/init.d/apache2 найти и заменить

$APACHE2CTL graceful-stop

на

$APACHE2CTL stop

Тогда апач умирает мгновенно.

Также есть вариант в рестарте sleep вместо 10 заменить на 15, но мне не помогло.

Ссылка

PHP opcode cachers review

dm — Sat, 15 Sep 2007 00:07:47 +0000

“Папа обещал – папа сходил”

Обещался я сделать сравнение разных средств для ускорения работы скриптов. Если кто будет говорить о неточности или неправильности метода тестирования – говорите как лучше, сделаем лучше.

Итак, основным камнем преткновения для проведения тестирования послужило использование Zend Framework. Он использует чрезмерно много загрузок разных файлов, что заметно снижает скорость работы.

Тестовый стенд – ноутбук Asus A6Tc, OS: Linux Ubuntu “Gutsy”, Lighttpd-1.4.17, PHP 5.2.3 через FastCGI.
Тестовое приложение основано на Zend Framework, использует подключение к БД (но не делает выборок), а для View использован Smarty.

Тестировал Pure PHP, Zend Optimizer 3.3.0, XCache 1.2.1, APC 3.0.14, eAccelerator 0.9.5.2.

Тестировал тривиально и просто – замерял время запуска и время окончания внутри скрипта, в конце вывода смарти эхал полученое время. И копипастил его (все действия для чистоты эксперимента проводились с другой машинки) в OO SpreadSheets.

Вот результаты (время в мс):

Pure PHP	ZO	XCache	APC	eAccelerator
247.8	272.92	573.43	397.9	156.2
251.04	271.81	106.81	89.75	74.16
245.14	286.8	108.96	88.38	110.42
252.72	267.1	91.01	89.2	534.97
207.39	221.43	65.54	47.49	69.55
209.5	221.34	65.89	53.31	71.01
217.66	232.13	70.04	47.66	70.32
202.88	222.59	66.1	48.04	70.26
203.17	220.79	69.94	54.19	70.76
204.03	235.28	65.76	48.49	70.05

И вот по этому добру график:

С XCache был замечен баг: если дважды быстро обновить страницу то контент вылазил полтора-два-три раза. Но я думаю это из-за перегенерации шаблона в Smarty. Однако неприятный осадок остался.

Жду комментариев =)

Apache1 vs apache2.2 vs lighttpd

dm — Wed, 11 Apr 2007 12:19:10 +0000

Наверняка всех интересует этот вопрос. Надеюсь, этот пост даст пищу размышлениям:

http://www.webhostingtalk.com/showthread.php?t=527963

Apache & mod_ssl – certificate generation

dm — Mon, 02 Apr 2007 15:48:01 +0000

Я безумно благодарен pag‘уза наводку на эту статью. Чтобы она не затерялась в недрах интернета (при поиске я ее не видел) – я хочу опубликовать ее здесь. Я надеюсь, автор не воспримет это как проявление плагиата.

Исходник: http://slacksite.com/apache/certificate.html
Перевод: Sergei Karasiov karasiov@yahoo.com

Предисловие переводчика

Данный текст не является дословным переводом английского оригинала. Это спровоцировано отчасти ленью переводчика, отчасти пробелами в его (переводчика) образовании. Однако этот текст может послужить неплохим пинком(starting point) для начала исследований не только модуля mod_ssl, но и пакета openssl в целом. Тем более что за идеологическую адекватность перевода я поручиться все же попытаюсь. Во всяком случае, стиль и дух произведения я честно пытался сохранить.

Неплохо зная характер отечественного читателя, я могу предположить, что некоторые очевидные подробности (такие, например, как рассказ про переменную PATH ) могут разозлить и оскорбить потенциального потребителя данного текста, который полагает себя вполне профессионалом не нуждающимся в подобных подсказках. Однако, про стиль и дух я сказал выше и более добавить ничего не могу.

Дополнения и конструктивная критика – приветствуются. Авторское право на перевод принадлежит переводчику. Публикация этого текста разрешена в любом виде, при условии, что данное предисловие не будет изъято из публикуемого текста. Ссылка на автора перевода (как вы уже догадались)при публикации обязательна.

СПБ-09-2003

Интродукция

Предполагается, что этот документ будет кратким пособием по генерации и установке SSL сертификатов на сервер Apache с установленным модулем mod_ssl. Хотя это не очень сложный процесс, он сопровождается запуском нескольких длинных команд с большим количеством ключей. Этого документа должно быть достаточно для того, чтобы вы могли сгенерировать и установить сертификаты для вашего сервера.

Этот документ не предназначен для обсуждения процессов компиляции и установки сервера Apache и модуля mod_ssl. Для подробных инструкций смотрите .Сборка Apache с mod_ssl и другими модулями. . Так же этот документ не предназначен для подробного обсуждения конфигурирования SSL на серверах Apache. Будут представлены примеры конфигурации простого виртуального хоста с использованием SSL, который должен работать в практически любой стандартной ситуации. Ralf Engelschall, автор модуля mod_ssl, поддерживает замечательную документацию на http://www.modssl.org/. Для того чтобы более подробно узнать о конфигурировании SSL или особых случаях смотрите полную документацию на http://blog.spb.ru/. В дополнение дистрибутив содержит подробные страницы мануалов, которые доступны так же и в формате HTML на http://blog.spb.ru/.

Короткий рассказ об SSL

Эта глава будет очень коротким введением в SSL, Secure Socket Layer. Криптография очень обширная тема, которая составляет буквально тома материалов. Последующий материал . это очень упрощенный взгляд на то, как реализован SSL и какую роль сертификаты играют в рассматриваемом нами случае. В силу того, что информация намеренно упрощена, возможны небольшие неточности.

Обычный веб-траффик идет через Интернет незашифрованным. Таким образом, любой, кто имеет доступ к нужным инструментам, может наблюдать за нужным ему трафиком. Очевидно, что это может привести к проблемам, особенно в тех случаях, когда необходимы безопасность и приватность, например при работе с кредитками или в банковских транзакциях. Протокол SSL используется для шифрования трафика между веб-сервером и веб-клиентом (браузером).

SSL использует асимметричную криптографию, обычно известную как криптография с открытым ключом. В криптографии с открытым ключом создаются два ключа, одни публичный . другой секретный. Все зашифрованное с помощью одного ключа может быть расшифровано только с помощью другого. То есть данные, которые были зашифрованы секретным ключом сервера могут быть дешифрованы только с помощью публичного ключа этого же сервера, давая уверенность что, данные пришли оттуда откуда надо.

Если SSL использует криптографию с открытым ключом, для того чтобы шифровать поток данных идущих через Интернет, зачем же тогда нужен сертификат? Технический ответ на этот вопрос, такой, что сертификат на самом деле не нужен . данные зашифрованы и вряд ли могут быть дешифрованы третьей стороной. Однако сертификаты играют важную роль в коммуникационном процессе. Сертификат, подписанный доверенным СА (Certificate Authority), дает гарантию, что владелец сертификата . тот за кого он себя выдает. Без подписанного сертификата ваши данные будут зашифрованы, однако, сервер, с которым вы контактируете может быть не тем о котором вы думаете. Без сертификатов такие нарушения могут быть часты.

Генерация частного ключа и CSR

Программный пакет openssl может быть использован для генерации приватного RSA ключа и создания CSR. Он так же может быть использован для создания самоподписных сертификатов которые могут быть использованы для тестовых целей или внутреннего пользования. Программа, которая обычно используется для решения этих задач, известна как openssl. Она должна быть установлена в директории /usr/local/ssl. Может быть, вам придется добавить эту директорию в переменную PATH или же переместить эту программу в директорию, которая уже прописана в переменной PATH, для того чтобы не писать полный путь. Дальнейшие примеры полагают, что openssl доступен вам без необходимости писать полный путь.

В первую очередь надо создать ваш приватный ключ. Это будет 1024 битный ключ стандарта RSA зашифрованный с использованием алгоритма TripleDES и хранящийся в формате PEM, так что его можно будет читать как простой текст. Мы будем использовать несколько файлов для усиления случайности и для того чтобы сделать наш ключ более секретным. Текстовые файлы, которые были сжаты утилитой типа gzip . станут хорошим выбором. Ключ генерируется следующей командой, где file1:file2:etc представляют собой случайные сжатые файлы.

$ openssl genrsa -des3 -rand file1:file2:file3 -out server.key

Программа предложит вам ввести пароль и сохранит ключ в файле server.key. Очень важно не забыть пароль. Если ключ будет утерян или пароль будет забыт сертификат станет бесполезен. Невозможно выразить как важен приватный ключ для сертификата. Если приватный ключ или пароль скомпрометированы сертификат должен быть отменен. Как минимум это будет стоить вам денег заплаченных за сертификат. Было бы хорошей идеей сделать резервную копию на безопасном носителе, таком как кассета или дискета.

Один неприятный сторонний эффект ключа с паролем это то что Apache будет всякий раз спрашивать пароль при старте. Понятно что это не очень удобно если только кто-то не находится постоянно рядом на случай перезагрузки или аварийной остановки. mod_ssl включает в себя возможность использования внешней программы вместо встроенного парольного диалога. Возможно убрать пароль из ключа. Если приватный ключ более не зашифрован, важно чтобы файл его содержащий, был доступен на чтение только пользователю root. Если ваша система скомпрометирована и третья сторона получила ваш незашифрованный приватный ключ, производный сертификат должен быть отменен. После того что мы сказали, используйте следующую команду для того чтобы убрать пароль из ключа.

$ openssl rsa -in server.key -out server.pem

После того как приватный ключ сгенерирован может быть сгенерирован запрос на подпись сертификатов(CSR —). CSR может быть использован двояко. В идеале CSR должен быть послан к CA такому как Tawte или VeriSign, которые проверят подлинность запрашивающего и выдадут подписанный сертификат. Другой путь – подписать CSR самостоятельно, что будет продемонстрировано в следующей главе.

Во время генерации CSR вас попросят ввести некоторое количество информации. Один из вопросов будет Common Name (eg, YOUR name) []: Важно чтобы это поле содержало полностью квалифицированное имя домена вашего сервера. Если вебсайт имеет адрес www.domain.com- то вы должны написать именно www.domain.com. Команда для генерации CSR выглядит так.

$ openssl req -new -key server.key -out server.csr

Пример сессии показан ниже.

$ openssl req -new -key server.key -out server.csr
Using configuration from /usr/local/ssl/openssl.cnf
Enter PEM pass phrase:Enter pass phrase here
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:US
State or Province Name (full name) [Some-State]:New Hampshire
Locality Name (eg, city) []:Nashua
Organization Name (eg, company) [Internet Widgits Pty Ltd]:Domain.com, Inc.
Organizational Unit Name (eg, section) []:.
Common Name (eg, YOUR name) []:www.domain.com
Email Address []:webmaster@domain.com

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:

Генерация самоподписанного сертификата

На этом этапе вам необходимо сгенерировать самоподписанный сертификат потому что вы или не планируете заводить сертификат подписанный CA, или хотите потестировать новую реализацию SSL пока CA подписывает ваш сертификат. Мой опыт общения с Tawte показывает, что получение сертификата занимает неделю и больше. Время которое занимает получение сертификата варьируется от того как быстро CA получит необходимые документы. Временный сертификат будет выдавать ошибку в клиентском броузере от того, что CA неизвестен и не проверен.

Для того чтобы сгенерировать сертификат годный в течение 60 дней введите следующую команду.

$ openssl x509 -req -days 60 -in server.csr -signkey server.key -out server.crt

Установка ключа и сертификата

Когда Apache и mod_ssl установлены – создаются несколько поддиректорий в конфигурационной директории Apache. Их расположение зависит от того, как компилировался Apache. Если использовать мои инструкции, компилируя Apache, конфигурационная директория будет /usr/local/apache/etc Директории, которые создает mod_ssl содержат в себе файлы ssl.crt, ssl.csr, и ssl.key Это хорошее место для хранения сертификатов, запросов на подпись и приватных ключей. Если у вас будет несколько хостов с SSL хорошей практикой стать включение в имена этих файлов имен защищаемых хостов.

Добавляя виртуальные хосты к веб-серверу, я обычно предпочитаю хранить их конфигурации в отдельном файле. Это дает уверенность, что все конфигурации могут быть быстро найдены, и, заодно, не позволяет основному конфигурационному файлу разрастаться. Если все виртуальные хосты сохранены в файле ssl.conf, то для того чтобы Apache нашел его и прочитал надо включить в основной конфиг следующюю строку:

Include /usr/local/apache/etc/ssl.conf

Конфигурирование виртуального хоста, использующего SSL.

Обширные примеры конфигурации SSL для виртуальных хостов включены в файл /usr/local/apache/etc/httpd.conf.default, который устанавливается вместе с mod_ssl. Ознакомьтесь с документацией на mod_ssl для того чтобы получить более подробную информацию о возможностях конфигурации. Простой хост использующий SSL в конфигурационном файле может быть прописан так. SSL Virtual Hosts




ServerAdmin webmaster@domain.com
DocumentRoot /usr/local/apache/share/htdocs
ServerName www.domain.com
ScriptAlias /cgi-bin/ /usr/local/apache/share/htdocs/cgi-bin/
SSLEngine on
SSLCertificateFile    /usr/local/apache/etc/ssl.crt/server.crt
SSLCertificateKeyFile /usr/local/apache/etc/ssl.key/server.pem
SetEnvIf User-Agent ".*MSIE.*" nokeepalive ssl-unclean-shutdown
CustomLog /usr/local/apache/var/log/ssl_request_log
        "%t %h %{SSL_PROTOCOL}x %{SSL_CIPHER}x \"%r\" %b"

Этот пример создаст виртуальный хост с именем. который доступен через порт 443 (стандартный порт для протокола https) сайты с IP адресом вашего сервера. Можно создать столько дополнительных виртуальных хостов для вашего сервера сколько IP адресов он обслуживает. Просто добавьте дополнительные конфигурационные блоки между дерективами и . По архитектурным причинам протокол SSL не позволяет создавать name-based (HTTPS 1.1) виртуальные хосты. Для того чтобы создать новый виртуальный хост с поддержкой SSL на другом IP адресе просто замените _default_на новый IP.

Посте добавления виртуального хоста к конфигурационному файлу Apache должен быть остановлен и вновь запущен для того чтобы новый виртуальный хост заработал. К несчастью это один из тех случаев когда простая отправка сигнала HUP не сработает. После перезапуска в зависимости от того какой (шифрованный или нет ) ключ был использован Apache может спросить у вас пароль или пароли. Введите пароль, и всё заработает.

Теперь вы можете использовать ваш любимый броузер для просмотра содержимого только что созданного виртуального хоста защищённого SSL . Не забудьте использовать префикс https:// вместо http://. Вы получите окно с предупреждением, если вы использовали самоподписанный сертификат. Подтвердите согласие и страница продолжит загружаться уже защищенная с помощью SSL . Статусная строка вашего броузера должна содержать иконку в виде замка которая показывает что страница защищена. Вот и всё.