Инструменты для оптимизатора

Статья старая, но всё-же полезная новичкам.

Основы парсинга для новичков.

Среди своих рефов я очень часто встречаю схожие затруднения, у большинства из них есть спамилки, которые они либо покупают, либо находят где-то в интернете, но спамить им нечем, у них нет более ли менее хорошей конкурентноспособной базы. В этой статье я постараюсь изложить методы парсинга, т.е. постараюсь научить новичков собирать как можно больше.

Парсинг - это процесс сбора ресурсов (сайтов). Сбора не именно сайтов, а их адресов. Мы эти ресурсы собираем для последующего в них спама. Парсить можно все что угодно - гостевые книги, форумы, блоги, вики, главное чтобы в них можно было оставить свое сообщение со ссылкой на свой дор.
Запрос - это то, что мы вводим в поисковике.
Выдача - это те сайты, которые выдает поисковик на наш запрос.

Далее хочу заметить, что наиболее важное в парсинге это умение правильно пользоваться поисковиком. Поэтому нужно знать синтаксис запросов. Я остановлюсь на гугле т.к. у него самая большая база данных, относительно других поисковиков.
Синтаксис запросов гугла.
1)inurl:"xxx" - поисковик выдаст все сайты у адресе которых найдет ххх, вместо ххх мы можем вставить любое другое слово, например guestbook,forum и т.д.
2)intitle:"xxx" - поисковик выдаст все сайты в заголовке которых найдет ххх. Опять же вместо ххх может быть любое слово.
3)site:.xxx.com - поисковик выдаст все страницы с домена xxx.com, вместо ххх.соm может быть любой домен любого уровня. Это может быть jopa.mail.ru или например просто .ru, если мы просто оставим .ru, то поисковик выдаст нам все сайты с доменной зоны .ru. Вместо .ru могут быть .com, .org, .net и т.д.
4)intext:"xxx" - поисковик выдаст нам все сайты в тексте у которых было найдено слово ххх. Вместо ххх - любое слово.
5)"ххх" - поисковик выдаст нам сайты в которых было найдено слово ххх (найденно было везде в урле или в тексте или в заголовке, неважно).
6) -"ххх" - поисковик выдаст нам все сайты исключая те, в которых было найдено слово ххх. После минуса также могут стоять inurl:"xxx" intitle:"xxx" site:.xxx.com intext:"xxx" и др.

***Можно писать то же самое и без кавычек, но я настоятельно рекомендую всегда их ставить, т.к. кавычки показывает гуглу строгость запроса, и поэтому он не будет выдавать всякую дрянь, которая по его мнению тоже подходит под запрос.

Очень важно не только знать синтаксис запросов, но и уметь правильно комбинировать их. Этим мы сейчас и займемся. На самом деле все очень и очень просто.

Введение.
В мире существует огромное число гостевых книг, но все они грубо говоря делятся на два основных вида однотипные и неоднотипные. Однотипные гостевые - это гостевые которые имеют одинаковые окончания и одинаковые обязательные поля для заполнения.
Вот примеры некоторых однотипных гостевых.
http://www.saveus.org/guestbook/sign.asp?PagePosition=1
http://www.caltrap.org/guestbook/sign.asp?PagePosition=1
http://mail.bebat.be/guestbookf/sign.asp?PagePosition=1
или
http://www.becquet.com/addguest.html
http://www.vetgen.com/guest/addguest.html
http://www.newcreations.net/webmaster/guestbook/addguest.html
Чем эти гостевые удобны :
1) Легко парсятся
2) Легче анализируются (если не спамиться 10 гостевых этого типа, значит все остальные скорее всего тоже не спамятся)

Так вот новичкам я бы советовал начинать со сбора именно однотипных гостевых.
Типов гостевых существует огромное приогромное множество, соответственно различных однотипных гостевых тоже.

Займемся парсингом. Для начала мы должны определиться какой тип гостевой мы хотим собирать и чем (всмысле руками много не соберешь ). Когда я начинал, я пользовался программой AllSubmiter. В нем есть встроенный парсер. Программа как и все другие платная, но без триал срока. А если не крякать эту программу то она выполняет только функции парсера, хех, а нам именно это и нужно т.к. если мы скачам его и не активируем, то будет работать только парсер, парсер собирает все урлы со страницы исключая внутренние ссылки гугла, парсер отсеивает на дубликаты доменов и дубликаты ссылок.
AllSubmitter берем здесь
Для нового типа гостевых мы создаем новую базу данных.

Задаем ей имя.

Теперь приступим, я покажу на конкретном примере как собирать базу с помощью аллсубмитера. Давайте соберем, ну скажем тип гостевой - gbook.php?a=sign. Эти гостевые имеют одинаковые окончания При вводе в гугле inurl:"gbook.php?a=sign" в гугле их ~ 10,5К. Но гугл не выдает больше 1000 результатов с запроса, что же делать, как собрать больше 1К? Для этого необходимо много раз сузить запрос, обязательно чтобы выдача по запросу не превышала тысячу сайтов, таким образом мы можем собрать все результаты. Аналогией может быть то, что с девочки не снимешь всю одежду сразу одним махом, сначала одно, потом другое, потом лифчик и т.д. В результате она все равно станет голой, и трахаться будет тот, который снял всю одежду, а не тот, который попробовав снять все сразу одним махом, снял только кепку и подумал что ничего другого с нее не снимешь. Это я к тому что не заканчивается парсинг сбором гостевых по запросу inurl:"gbook.php?a=sign", но с него начинается. Желательно сделать запрос даже таким
inurl:"gbook.php?a=sign" -"error" -"warning" ,таким образом мы убираем часть плохих нерабочих сайтов.
После того как мы создали новую базу данных а allsubmitere, вводим в браузере программы google.com, и вводим там запрос. (Необходимо чтобы в гугле было поставленно - "выдавать по 100 урлов на странице", это ускорит сбор парсером аллсубмитера), вот что мы видим

Далее жмем на Базы Данных -> Импортировать из IE

Добавить

Добавилось 99 ссылок

Потом жмем ОК, потом в браузере программы "Назад" и то же самое проделываем со 2-й страницой выдачи, потом с третьей и т.д.

Проделав это составим другой запрос например >>
inurl:"gbook.php?a=sign" site:.com, т.е. соберем все гесты с доменной зоны .com, опять проделаем ту же процедуру сбора (см. картинки)
потом другой запрос
inurl:"gbook.php?a=sign" site:.net
inurl:"gbook.php?a=sign" site:.biz
inurl:"gbook.php?a=sign" site:.org
Вообще можно пребрать все типы доменов.
site:.com
site:.net
site:.biz
site:.org
site:.in
site:.name
site:.ru
site:.fr
site:.it
site:.edu
site:.gov
site:.mil
site:.info
site:.au
site:.at
site:.by
site:.be
site:.bg
site:.ca
site:.cn
site:.cz
site:.dk
site:.eg
site:.de
site:.gr
site:.hu
site:.ie
site:.il
site:.jp
site:.us
site:.uk
site:.ua
site:.ch
site:.se
site:.es
site:.pl
site:.nl
site:.ro
site:.to
site:.mx

Алсубмитер будет добавлять базу только уникальные домены, поэтому не стоит бояться делать любые запросы, дубликатов не будет 

Затем можно сделать такие запросы
inurl:"guestbook/gbook.php?a=sign"
inurl:"gbook/gbook.php?a=sign"
inurl:"gb/gbook.php?a=sign"
inurl:"guest/gbook.php?a=sign"
А потом сделать такую фишку
inurl:"gbook.php?a=sign" - inurl:"guestbook/gbook.php?a=sign" -inurl:"gbook/gbook.php?a=sign" -inurl:"gb/gbook.php?a=sign" -inurl:"guest/gbook.php?a=sign"
т.е. отсеить то что уже напарсилось

Можно комбинировать самые и самые разные запросы вместе, можно используя “-”
отсеивать то, что вы уже напарсили, главное сделать как можно больше запросов.

Где искать новые типы гестов? Обычно я использовал два метода :
1) В интернете часто распостраняются готовые гостевые книги, а раз они распостраняются значит они массовые, т.е. для всех, то есть многие их себе устанавливают на разные сайты и т.д. Просто качаешь эти гесты заливаешь на фришник и смотришь на что они оканчиваются, а потом это окончание смотришь в гугле, если большая выдача значит имеет место ее собирать, небольшая - значит эти книги не пользуются популярностью и собирать их нет особого смысла.
2)Можно искать новые типы гестов в бэках у конкурентов, все может и говорят типо некрасиво и т.д., но очень и очень многие так делают, хотя имхо лучше комбинировать первый и второй способы.

Из нормальных автоматических парсеров очень рекомендую парсер Манго (253880089 – его ася), он недорогой, но очень быстро и качественно собирает, фильтрует на дубликаты и удаляет пхп сессии + распределяет по ПР.

Впринципе все, все вопросы и пожелания пишите тут, постараюсь ответить всем.

Источник сдесь: http://www.klikforum.com/viewtopic.php?t=1405