Вниз  Разработка и поддержка интернет-проектов
- 22.06.2016 / 16:29copy  #465368
Glueon
  Пользователь

Glueon 
Сейчас: Offline
Наша команда достаточно часто работает по задачам парсинга веба, и сегодня кратко опишем, чем мы занимаемся по данному направлению.

1) Парсинг веб-сайтов.
Автоматическое извлечение данных любой направленности и представление их в удобной для заказчика форме.
2) Парсинг поисковых машин.
Автоматизация работы с поисковыми машинами, настройка сбора выборок по различным параметрам, ускорение рутинных процедур, фильтрация избыточной информации.
3) Написание прикладных БД для работы с полученной информацией.
Написание ПО для веба и десктопа, облегчающего работу с полученной информацией. У нас имеется опыт как использования готовых платформ для написание БД (в разы удешевляет конечный результат), так и написания ПО по индивидуальным запросам заказчика.

Мы используем многопоточные решения, применяем полный комплект доступных средств (запросы с ipv4, ipv6, TOR, luminati.io), возможно подключение сторонних сервисов распознавания каптчи (Антигейт), чаще всего данные представляются в БД (sqlite, mssql, mysql), либо пишем импорты в различные CMS (Wordpress, Webasyst).

Свяжитесь с нами:
jabber: slava@contactroot.com
skype: contactroot
icq: 657324100
- 2.10.2016 / 20:42copy  #473305
Glueon
  Пользователь

Glueon 
Сейчас: Offline
Нами реализован комплект скриптов по контролю и учету IP адресов для хостинг-компании.
Основная цель системы заключается в оперативном извещении администратора о вредоностной деятельности клиента на конкретном адресе, превентивная её блокировка и последующая очистка адреса в один клик.

В кратком изложении система представляет собой следующее: владелец ip-адресов и подсетей забивает список, и софт периодически проверяет его по определенным критериям.

Параметры достаточно гибкие, могут включать в себя нахождение адреса в выдаче поисковика по определенному запросу, нахождение адреса в списке blacklist, нахождение упоминания адреса на конкретном сайте.

Отдельные параметры могут помечаться как "критические", например, при нахождении адреса в базе Spamhaus срабатывает триггер нульроута адреса с моментальным отключением его на сервере для предотвращения запрещенной деятельности клиента.

В случае появления менее значительных параметров у проверяемого адреса (нахождение в базе spamforum, etc) администратору системой высылается предупреждение на электронный адрес (ICQ, Jabber) с просьбой обратить внимание.
Администратор в ответ на сообщение может одной командой в своем мессенджере заблокировать адрес (нами реализован небольшой бот с набором требуемых команд).
При блокировке клиенту высылается стандартизированное по шаблону сообщение с описанием сути проблемы и времени на исправление.

В связи с большой загруженностью мы не берем большие проекты в разработку на данный момент времени.
Мы не занимаемся вёрсткой и дизайном.
Основная наша специализация - программирование на Python и PHP.

Отдельно прошу не обращаться с задачами, нарушающими законодательство РФ.

Всегда на связи:
jabber: slava@contactroot.com
skype: contactroot
icq: 657324100
telegram: contactroot (https://telegram.me/contactroot)
- 2.10.2016 / 21:41copy  #473308
Alexandr
  Пользователь

Alexandr 
Сейчас: Offline
здесь кроме этого бота, кто-то пишет?
- 2.10.2016 / 21:56copy  #473310
Витаминыч
  Супермодератор

Витаминыч 
Сейчас: Offline
Мы Компания, мы делаем всякие клевые штуки, да еще и поддерживаем их! :)

Правда, задонатить символическую сумму на развитие этого форума, где пиар халявный, мы не в состоянии :-( Но это ни в коем разе не отменяет степень нашей "клевости" ;-)
Пользуйтесь услугами нашей Компании и будете такими же клевыми!

:ps: копипаста почти для каждой темы в этом разделе
__________________
 わからない!!
Наверх  Всего сообщений: 14
Фильтровать сообщения
Поиск по теме
Поиск по форуму