Удаление фона у изображения с текстом с помощью PHP

Итак, волей судьбы передо мной была поставлена довольно нетривиальная задача - удалить фон у изображения, оставив при этом самое ценное - текст (будь то рукописный или печатный), печать и так далее.
Мучился я с этой ерундой несколько дней, поэтому так просто оставить все в закромах родины я не могу.

Первая мысль что приходит в голову - циклом проходить по всему изображению, узнавать цвет каждого пикселя и сравнивать его с неким числом, светлее которого пиксель считать белым, иначе копировать оригинальный. Такой код у меня остался со времен портирования конвертера шрифтов для PPM на php:

Открыть спойлер

Закрыть спойлер

[копировать] [скачать]

1. // $image - исходное изображение
2. // $out - Уже созданное изображение с теми же размерами
3. // $height и $width - высота и ширина изображения
4. $dark = 122; //то самое "некое" число
5.  
6. while($i < $height)
7. {
8.   $a=0;
9.   while($a < $width)
10.   {
11.     $color = imagecolorat($image, $a, $i);  
12.     $rgb = imagecolorsforindex ($image, $color);
13.     $origin = imagecolorallocate($out, $rgb['red'], $rgb['green'], $rgb['blue']);
14.     $rgb = round(($rgb['red'] + $rgb['green'] + $rgb['blue'])/3);
15.     $white = imagecolorallocate($out,255,255,255);
16.     imagesetpixel($out, $a, $i, (($rgb <= $dark) ? $origin : $white));
17.     $a++;  
18.   }  
19.   $i++;  
20. }

Скормим такому коду изображение и получим... полную хрень.

В действительности, нужно каждый раз угадывать то самое магическое число при котором нужное останется, а фона не станет. А иногда это вообще может не сработать, удаляется все или остается такой безобразный кусок фона. Нам такое, конечно же, не подходит.

Глава номер два, по кусочкам.
Немного погуглив на эту тематику, нашел способ с разбиванием изображения на отдельные участки (далее - секторы).
К сожалению, кроме слов, там ничего не было, поэтому код напишем мы сами. Итак, для начала нам бы пройтись по изображению, и не просто так, а сектор за сектором. Заодно запишем все цвета в каждом секторе в массив.

Открыть спойлер

Закрыть спойлер

[копировать] [скачать]

1. $step = 30; //Размер сектора в пикселях
2.  
3. $i = 0;
4. while($i < $height)
5. {
6.   $a = 0;
7.   while($a < $width)
8.   {
9.     $dark_arr = array();
10.     //Первый проход по сектору, получаем данные
11.     for($x = $a; $x < ($a + $step); $x++)
12.     {
13.       for($y = $i; $y < ($i + $step); $y++)
14.       {
15.         $color = @imagecolorat($img, $x, $y);
16.         if($color)
17.         {
18.           $rgb = imagecolorsforindex($img, $color);
19.           $rgb = round(($rgb['red'] + $rgb['green'] + $rgb['blue']) / 3, 0);
20.           @$dark_arr[(int)$rgb]++;
21.         }
22.       }
23.     }
24.  
25.     //Тут мы получаем массив $dark_arr с усредненными цветами
26.  
27.     $a = $a + $step;
28.   }
29.   $i = $i + $step;
30. }

Тут я немного приврал, пишем в массив не сами цвета, а среднее арифметическое между тремя каналами цвета, потому как сам цвет нам не важен, он может быть любой. Нам важно только его усредненное значение, степень "темноты", так сказать.
В итоге, пройтись по изображению по секторам смогли, все цвета достать смогли, но как узнать то самое "некое число" по которому решать что данный пиксель - фон или нет. И вот тут начинается самое интересное.

Использовать какое-то определенное число для всех секторов нельзя, результат мы уже видели. Поэтому будем его вычислять.
Цвета в секторе встречается с какой-то определенной частотой, какие-то чаще, какие-то нет. Если включить воображение, то получим на основе массива $dark_arr примерно такой график:
 
Рисовать шкалы мне было лень, поэтому дофантазируем что по горизонтали у нас цвет, а по вертикали - число встречаемости этого цвета.

На графике, как видно, есть несколько вершин, две самых больших из них - это искомый текст (ближе к началу) и фон (ближе к концу графика). Наше некое число находится примерно посередине между этими вершинами. Let's Rock!

Массив с цветами мы уже достали, осталось его подготовить к нашей процедуре, для начала хотя бы добавить недостающие цвета (точнее забить их нулями) и сгруппировать по промежуткам, сгладив таким образом график. В итоге должны остаться только самые крупные вершины.
Проходим с размахом, выходя за рамки 0-255. Почему? - позже.

Открыть спойлер

Закрыть спойлер

[копировать] [скачать]

1. //$dark_arr - исходный массив, работаем с ним
2.  
3. //Добавляем недостающее
4. for($y = 0; $y <= 257; $y++)
5. {
6.   if(!isset($dark_arr[$y]))
7.     $dark_arr[$y] = 0;
8. }
9.  
10. //Группируем по определенному шагу - сглаживаем график
11. $ustep = 10;
12. $new_dark = array();
13. for($u = 0; $u < count($dark_arr); $u = $u + $ustep)
14. {
15.   for($r = $u; $r < $u + $ustep; $r++)
16.   {
17.     @$new_dark[($u + $ustep)] = @$new_dark[($u + $ustep)] + @ $dark_arr[$r];
18.   }
19. }
20.  
21. $dark_arr = $new_dark;
22. //Добавляем по краям по группе с нулями, для чего - дальше
23. $dark_arr[(min(array_keys($dark_arr))-$ustep)] = 0;
24. $dark_arr[(max(array_keys($dark_arr))+$ustep)] = 0;

В итоге если мы снова представим график, то получим что-то такое:
  
Все хорошо, да не очень. Вместе с ним секторах будет встречаться еще такой график
  
Волноваться не стоит, нужно прыгать от счастья, это тот самый сектор, в котором кроме фона ничего нет, с ним возиться нужно будет куда меньше. Его дальше будем просто закрашивать белым.

Теперь для этих вершин нужно узнать значения цвета, для того чтоб выбрать из них два самых больших и по ним узнать наше "некое" число, и заодно посчитать количество вершин - если вершина одна - просто закрасить сектор белым.
И вот если бы я не прогуливал математику, наверное, сделать бы это было просто. Но спустя пару часов (и то не сразу) я родил такой код:

Открыть спойлер

Закрыть спойлер

[копировать] [скачать]

1. //Находим все вершины у графика
2. $max_arr = array();
3. $dark_arr = array_flip($dark_arr);
4. $dark_arr = array_flip($dark_arr);
5. ksort($dark_arr);
6. reset($dark_arr);
7. while ($fuck = key($dark_arr))
8. {
9.   $prev_val = prev($dark_arr);
10.   if($prev_val === false)
11.     reset($dark_arr);
12.   else
13.     next($dark_arr);
14.   $next_var = next($dark_arr);
15.   if($next_var === false)
16.     end($dark_arr);
17.   else
18.     prev($dark_arr);
19.  
20.   if(current($dark_arr) > $next_var AND current($dark_arr) > $prev_val)
21.     $max_arr[key($dark_arr)] = current($dark_arr);
22.  
23.   next($dark_arr);
24. }

Смысл кода: сначала дважды переворачиваем массив при помощи array_flip (в камментах подсказали что для этих целей можно, и нужно использовать array_unique), тем самым удаляем все повторяющиеся значения, сортируем по ключу и перемещаем указатель массива на самое начало.
Затем извращенным циклом с указателями проходим по массиву, считываем текущее, предыдущее и следующее значение. Если текущее больше других двух, считаем ключ вершиной и записываем его в массив $max_arr.

Мы получили массив с вершинами, из них нам нужно только две самых больших, вновь это вычисляем:

Открыть спойлер

Закрыть спойлер

[копировать] [скачать]

1. //Находим 2 пика с максимальными значениями
2. $max_one = 0;
3. $max_val_one = 0;
4. $max_two = 0;
5. asort($max_arr);
6. if($max_arr)
7. {
8.   foreach($max_arr AS $kk => $vv)
9.   {
10.     if($vv > $max_val_one)
11.     {
12.       //if(($kk - ($ustep*4)) > $max_one)
13.         $max_two = $max_one;
14.       $max_val_one = $vv;
15.       $max_one = $kk;
16.     }
17.   }
18. }
19.  
20. //Если одно первое значение получилось больше чем второе - меняем местами
21. if($max_two > $max_one)
22. {
23.   $max_two = array($max_two, $max_one);
24.   $max_one = $max_two[0];
25.   $max_two = $max_two[1];
26. }

Затем такой нехитрой формулой вычисляем наше искомое число - к минимальному значению прибавляем примерно половину разницы между вершинами. Попутно добавляем коэффициент, чтоб можно было регулировать результат. Если второй вершины не было, то для $dark присваиваем ноль, тем самым далее сообщая что данный квадрат нужно закрасить белым.

И проходим по сектору, закрашиваем его в соответствии с нашим найденным числом.

Открыть спойлер

Закрыть спойлер

[копировать] [скачать]

1. //Второй проход по сектору, применяем данные
2. for($x = $a; $x < ($a + $step); $x++)
3. {
4.   for($y = $i; $y < ($i + $step); $y++)
5.   {
6.     $color = @imagecolorat($img, $x, $y);
7.     if($color)
8.     {
9.       $rgb = imagecolorsforindex($img, $color);
10.       $origin = imagecolorallocate($out, $rgb['red'], $rgb['green'], $rgb['blue']);
11.       $rgb = round(($rgb['red'] + $rgb['green'] + $rgb['blue']) / 3, 0);
12.       //Если цвет пикселя меньше порога - рисуем белый пиксель, иначе - копируем оригинальный
13.       imagesetpixel($out, $x, $y, (($rgb <= $dark) ? $origin : $white));
14.     }
15.   }
16. }

Вуаля, получаем после обработки отличный, но слегка грубый результат:
  

Сгладим это с помощью отличной либы PPMage, где собраны эффекты из ProPaintMobile портированные на php. (огромное спасибо aNNIMON'у)

Открыть спойлер

Закрыть спойлер

[копировать] [скачать]

1. //Размываем
2. $image = PPMage::fromParameters($width, $height, $out, '')->eBoxBlur(1, 1)->getImage();
3. $out2 = $image->getData();
4.  
5. //Накладываем получившееся изображение на размытое, делая края не такими грубыми
6. $i = 0;
7. while($i < $height)
8. {
9.   $a = 0;
10.   while($a < $width)
11.   {
12.     $color = imagecolorat($out, $a, $i);
13.     $rgb = imagecolorsforindex($out, $color);
14.     $origin = imagecolorallocate($out, $rgb['red'], $rgb['green'], $rgb['blue']);
15.     $rgb = round(($rgb['red'] + $rgb['green'] + $rgb['blue']) / 3);
16.  
17.     if($rgb != 255)
18.       imagesetpixel($out2, $a, $i, $origin);
19.     $a++;
20.   }
21.   $i++;
22. }
23.  
24. $out = $out2;

И получаем результат:
  

То что доктор прописал!
И напоследок - рабочий пример, с оформленным классом, готовым к использованию.
Плюс специальное предложение! В архиве также нахаляву доступен эффект BoxBlur из либы PPMage.

  bgcleaner.zip

ПС: естественно, этот скрипт выжирает все предоставленные под него ресурсы. Будьте осторожны с большими картинками =)