▪ Прокси для «Чайников» или «Сделай сам»
DARK HACKERСамым лучшим вариантом конечно же является покупка прокси у лиц, профессионально занимающихся добычей и продажей списков прокси. Здесь и качество, и гарантии, и высокая скорость у прокси. Но стоимость таких услуг наверняка не каждому по-карману, не так ли?
Просить кого-либо выложить списки прокси тоже не вариант, так как с вами могут поделиться рабочими прокси, а могут и послать ... в гугл :). Поэтому, отчаиваться не будем, а будем самостоятельно искать прокси ,никому не мешая своими вопросами и просьбами ;).
Итак, начнём. Способов добычи прокси существует достаточно много, как и инструментов для их поиска. Это различные прокси-личеры, прокси-грабберы, прокси-чекеры, сканеры портов и подобные программы, в добавок к которым идут утилиты для работы со списками прокси для «выдирания» только нужного(ip:port), для поиска и удаления дубликатов и т.п. Брр, сколько всего... O_O
Заострять внимание на какой-либо программе из всех этих «брр» я не буду. Не буду потому, что на мой взгляд все они являются «узконаправленными», а потому — неактуальными перед более совершенными и функциональными программами, такими как ProxyFire Master Suite Pro. На самом деле, назвать ProxyFire программой как-то язык не поворачивается, поскольку это целый программный комплекс, «комбайн», если хотите, в состав которого входит всё, что нам необходимо для поиска рабочих прокси. По своим функциональным возможностям ProxyFire Master Suite Pro, по-моему, не имеет аналогов в своём классе, и все остальные программы просто «курят» в сторонке...
К основным возможностям этого «комбайна» следует отнести:
1. прокси-чекер (проверка списка прокси на валидность)
2. прокси-личер (сбор прокси с форумов/сайтов /etc)
3. поиск прокси, используя поисковые системы (например Гугл)
4. сканер ip диапазонов на открытые порты
5. прокси-фильтр (удаление дубликатов, удаление прокси из «опасных» диапазонов ip, возможность делать выборку по странам)
От холивара перейдём к делу :) и рассмотрим эти возможности на практике:
сама программа является коммерческим продуктом, стоимость порядка 30 баксов, если не ошибаюсь, скачать её(версия 1.22) можно здесь, "пилюлю" к ней можно найти вот здесь, там же находится и русификатор. Как вы поступите - дело ваше. Итак, программа у вас есть, лицензия приобретена :), переходим к настройке:
Для работы программы необходимы проверочные URL. На скрине виден список этих проверочных адресов, рабочие из них со статусом ОК. Список с проверочными адресами уже есть в программе, но можно создать свои, или найти в Интернете. Для создания собственных, необходимо разместить на хостинге php скрипт azenv.php следующего содержания:
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
<head>
<title>AZ Environment variables 1.04</title>
</head>
<body>
<pre>
<?php
foreach ($_SERVER as $header => $value ) {
if(strpos($header , 'REMOTE')!== false || strpos($header , 'HTTP')!== false || strpos($header , 'REQUEST')!== false) {
echo $header.' = '.$value."\n";
}
}
?>
</pre>
</body>
</html>
и указать путь к этому скрипту в программе(кнопка "Добавить"). Остальные настройки, возможно кроме внешнего вида, нас не интересуют.
Проверка прокси на валидность
Предположим, у вас есть список прокси и вы хотите проверить его на рабочие(валидные) прокси, для этого импортируем список(кнопка "Импорт"), выставляем количество потоков(здесь и далее при выборе количества потоков необходимо исходить из "ширины" вашего канала в инет, чем "шире" канал, тем больше потоков можно выставить соответственно), отмечаем галочками тип прокси, которые нам нужны и жмём кнопку "Начать". Результаты проверки мы увидим в соответствующих типам прокси окнах, также их можно посмотреть, нажав кнопку "Папка".
Личинг
В том случае, если у вас нет списка прокси для проверки, можно найти прокси методом личинга, т.е. собрать списки прокси с различных форумов, сайтов и прочих ресурсов. Делается это так:
указываем количество соединений форумов, количество топиков, в которых будет производиться поиск, список адресов форумов уже есть в программе, но можно добавить и свои(кнопка "Изменить").
Всё, можно начинать процесс сбора прокси... Когда программа закончит поиск по форумам, вы увидите просто огромное количество прокси, но не обольщайтесь, это всего лишь собранные списки прокси с форумов и не больше, т.е. рабочихиз них будет совсем немного по сравнению с общим количеством. Теперь можно приступить к проверке собранных списков прокси, жмём на кнопку "Проверить" и начинается процесс проверки.
Поиск прокси, используя поисковые системы
Этот способ поиска прокси заключается в том, что прокси для нас будут искать поисковики)))
Каким поисковиком будете пользоваться - дело ваше, я выбрал Гугл для примера.
Проверяем, что у нас прописано в конфигах для поисковиков: Гугл - кнопка "Изменить". Должно быть вот это:
Для Гугла
[search]
name=Google
engine=http://www.google.com/search?hl=en&lr=&as_epq=%KEYWORD%&start=%PAGE%
link_start=<li class=g>
link_end=</a>
Для Baidu
[search]
name=Baidu
engine=http://www.baidu.com/s?wd=%22%KEYWORD%%22&cl=3&pn=%PAGE%
link_start=<td class=f>
link_end=target="_blank"
Для Yahoo!
[search]
name=Yahoo!
engine=http://search.yahoo.com/search?p=%22%KEYWORD%%22&ei=UTF-8&b=%PAGE%
link_start=<a class=
link_end=</a>
Для MSN
[search]
name=MSN
engine=http://search.msn.com/results.aspx?q=%22%KEYWORD%%22&first=%PAGE%
link_start=<h3>
link_end=onmousedown
Теперь нам необходимо задать ключевые слова для поиска, жмём на кнопку "Ключевые слова" и добавляем туда несколько адресов прокси в формате ip:port. Эти прокси можно найти на любом сайте, где выкладываются списки прокси, например _http://www.freeproxylists.com/socks.html или _http://spys.ru/socks. Последние добавленные прокси лучше не брать, а взять "постарее". Теперь задаём количество потоков и начинаем процесс поиска("Начать"). В результате проверки мы получим опять же огромный список прокси, который нужно будет проверить(кнопка "Проверить"). Огромный список получится потому, что помимо прокси, указанных в Ключевых словах, будут взяты все другие адреса прокси, имеющиеся на странице.
Сканирование ip на открытые порты
Все предыдущие способы поиска прокси заключались в сборе паблик-прокси, т.е. тех, которые выложены в свободное пользование. Это значит, что кроме вас этими прокси могут пользоваться ещё несколько человек, Вася Пупкин из соседнего подъезда с друзьями, например :). И желаемой скорости от таких прокси вы можете и не получить. Рассмотрим процесс сканирования ip адресов на открытые порты:
Вкладка "Сканирование IP" - "Создать IP диапазоны", импортируем список прокси, выставляем значение, на которое будут расширены диапазоны, если необходима выборка по странам, например только США - жмём соответствующую кнопку и указываем предел стран, затем жмём кнопку "Начать". Программа сгенерирует диапазоны ip и их нужно скопировать(кнопка "Скопировать").
Во вкладке "Сканер" мы увидим созданные диапазоны ip адресов, ниже порты, которые можно редактировать, например оставить только порт 1080, либо наоборот, добавить какие-либо. Нажав на кнопку "Удалить опасные IP", программа произведёт очистку от "нехороших" ip адресов, которые сканировать скажем так нежелательно для вас же самих... Приоритет сканера - Normal, метод сканирования - TCP, указываем количество потоков и таймаут(значение 6-12 оптимально для поиска быстрых прокси).
Начинаем процесс сканирования(кнопка "Scan"). Чем хорош этот способ поиска? Тем, что используя его, можно найти хорошие быстрые прокси, которых нет в паблике.
Во вкладке "Прокси Фильтры" вы можете производить операции со списком прокси: "выдирание" из листа только адреса и порта прокси(ip:port), удаление дубликатов, очистку от "опасных" диапазонов ip адресов и прочие полезные вещи...
Итак, процесс поиска прокси с использованием программного комплекса ProxyFire описан. При написании статьи я пытался максимально просто изложить материал, чтобы ни у кого не возникало вопросов и всем был понятен процесс, но если всё же вопросы есть, задавайте, постараюсь помочь. Также приветствуются дополнения, пожелания и т.п.)