FAQ по добыче прокси

В этой статье мы рассмотрим следующие способы добычи прокси: Сканирование, Сёрчинг, Личинг, Граббинг.

Так же рассмотрим некоторые методы проверки, сортировки, фильтрации, определения страны и т.д.

Я не буду здесь описывать, что такое прокси сервер, для чего они нужны, об этом можно почитать в нашей базе знаний.

Сканирование ip адресов и последующая их проверка (чек) на прокси

Диапазоны

Диапазоны стран можно взять на сайтах:

Весь диапазон ip адресов: 0.0.0.0-255.255.255.255

Сканировать можно по стране или по определенному диапазону на определённые порты.

Порты

Мы будем сканировать на основные порты:

  • Http: 80, 8080, 3128
  • Socks4 и Socks5: 1080

Весь диапазон портов: 0-65535.

Есть очень много других хороших портов, на которых есть http прокси, например: 81, 82, 6855, 8000, 8082, 8090, 8888 и т. д.

Как же узнать, на какие порты сканировать?

Есть много способов, я предложу один из простых и верных.

Регистрируемся на нескольких прокси форумах:

Собираем все прокси, что там выкладывают за сегодня, удаляем дубликаты (как их удалить читайте ниже) и чекаем оставшиеся (как прочекать прокси - читайте ниже).

Proxyfire

Качаем Proxyfire Master Suite Free 1.22 или покупаем ProxyFire Master Suite Professional 1.22($29).

Можно найти крякнутую версию, Google в помощь.

Proxyfire - это целая лаборатория для работы с прокси. Можно выкидывать весь старый софт! Вам больше не нужны: сканнеры, грабберы, личеры, сёрчеры, чеккеры, бат-криейдеры, фильтры, дубликат-ремоуторы, парсеры отчётов сканнера и прочий мусор. Proxyfire объединяет все эти утилиты в одной компактной программе, поэтому мы будем работать с ним. Proxyfire не требует установки и с ним очень удобно работать на дедике. Есть скрытый режим.

Вкладка: Settings

Proxyfire

Здесь есть окно редактирование прокси судей (Proxy Judges).Их можно нагуглить, а можно сделать свои, надёжные.Для этого вам понадобиться зарегистрировать несколько хостингов и разместить там скрипт azenv.php:


            <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
            <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
            <head>
            <title>AZ Environment variables 1.04</title>
            </head>
            <body>
            <pre>
            <?php
            
foreach ($_SERVER as $header => $value ) {
                if(
strpos($header 'REMOTE')!== false || strpos($header 'HTTP')!== false || strpos($header 'REQUEST')!== false) {
                echo 
$header.' = '.$value."\n";
                }
            }
            
?>
            </pre>
            </body>
            </html>
        

В программе указать путь к этому файлу, нажмите "Add" и пропишите как на скриншоте выше.

На самом деле легче это сделать вручную, заходим в папку с программой, открываем файл check.ini и пишем в нём:

	[0]
	Status=BAD
	Verify_http=1
	Verify_tunnel=1
	Verify_ssl=0
	Deleted=0
	Url=http://jerry4.freehostia.com/judges/azenv.php
	azenv=1
	custom=0
	UrlCustom=http://www.google.com/intl/zh-CN/
	StrLevel1=<title>Google
	StrLevel2=<title>Google
	StrLevel3=<title>Google
	StrIP=
	TunnelHost=www.google.com
	TunnelPort=443
	SSLUrl=https://www.google.com/accounts/ManageAccount
	SSLKeyword=<title>Google
	Checked=1
	[1]
	Status=OK
	Verify_http=1
	Verify_tunnel=1
	Verify_ssl=1
	Deleted=0
	Url=http://joshua2.freehostia.com/judges/azenv.php
	azenv=1
	custom=0
	UrlCustom=http://www.google.com/intl/zh-CN/
	StrLevel1=<title>Google
	StrLevel2=<title>Google
	StrLevel3=<title>Google
	StrIP=
	TunnelHost=www.google.com
	TunnelPort=443
	SSLUrl=https://www.google.com/accounts/ManageAccount
	SSLKeyword=<title>Google
	Checked=1
	[2]
	Status=OK
	Verify_http=1
	Verify_tunnel=1
	Verify_ssl=1
	Deleted=0
	Url=http://leroy2.freehostia.com/judges/azenv.php
	azenv=1
	custom=0
	UrlCustom=http://www.google.com/intl/zh-CN/
	StrLevel1=<title>Google
	StrLevel2=<title>Google
	StrLevel3=<title>Google
	StrIP=
	TunnelHost=www.google.com
	TunnelPort=443
	SSLUrl=https://www.google.com/accounts/ManageAccount
	SSLKeyword=<title>Google
	Checked=1
	

и т.д. Потом сохраняем и перезагружаем программу, заходим во вкладку Settings и видим наши пути к прокси судьям: 10 будет достаточно, подходящий хостинг из бесплатных freehostia.com

Вкладка: Proxy Filter

Все мы знаем, что прокси могут иметь разный вид, к порту приписывают различную информацию, порт 8080 и 808 (это одно и то же), переодически нужно удалять дубликаты, перемешивать прокси листы, удалять прокси с ненужными портами и т.д.

Современнее и новороченнее фильтра-парсера, чем в Proxyfire я не встречал - это машина для работы с прокси листами.

В окно "In" можно пихать любой мусор, Proxyfire вытащит из него прокси.

Proxy Filter

Вкладка: P-Scan

Вкладка "Scanner". Здесь можно включить "Auto Check", задать приоритет "Scan process Priority". Устанавливаем количество потоков "Threads". Если у вас интернет канал 6 метров и более ставим 3000 потоков. Проверить скорость интернет соединения можно здесь: http://2ip.ru

Таймаут "Timeout(s)" ставим от 5 до 20. Выбираем метод сканирования "TCP" (метод "SYN" сейчас не работает, на сколько мне известно). Далее вбиваем диапазоны, которые будем сканировать, диапазоны должны быть вида:

xxx.xxx.xxx.xxx xxx.xxx.xxx.xxx
Proxyfire

Можно сканировать диапазоны определённой страны, можно сканировать просто свои диапазоны, а можно создать диапазоны из хороших прокси.

Для этого переходим на вкладку "Make IP Ranges", вбиваем хорошие прокси в окно "Input proxies here", выставляем на сколько расширять диапазоны до и после "Up Expand" и "Down Expand" 1000 - оптимальное число. Можно отсеять по странам, жмём кнопку "Sel..." и выбираем страны. Далее жмём "Go" видим в соседнем окне сгенерированные диапазоны и ниже порты.

Proxyfire

Жмём "Copy to Scanner" и мы опять во вкладке "Scanner".

Proxyfire сканирует на 1 порт, на тот, что первый прописан в списке.

Вкладка: P-Search

Очень эффективный способ поиска прокси. Если вам нужно быстро найти рабочие прокси - это то что вам нужно.

Здесь всё просто, выбираем поисковый движок: Google, Baidu, Yahoo! или MSN. Далее меняем код, жмём "Edit" напротив интересующего нас поисковика.

Google


            [search]
            name=Google
            engine=http://www.google.com/search?hl=en&lr=&as_epq=%KEYWORD%&start=%PAGE%
            link_start=<li class=g>
            link_end=</a>
        

Baidu


            [search]
            name=Baidu
            engine=http://www.baidu.com/s?wd=%22%KEYWORD%%22&cl=3&pn=%PAGE%
            link_start=<td class=f>
            link_end=target="_blank"
        

Yahoo!


            [search]
            name=Yahoo!
            engine=http://search.yahoo.com/search?p=%22%KEYWORD%%22&ei=UTF-8&b=%PAGE%
            link_start=<a class=
            link_end=</a>
        

MSN


            [search]
            name=MSN
            engine=http://search.msn.com/results.aspx?q=%22%KEYWORD%%22&first=%PAGE%
            link_start=<h3>
            link_end=onmousedown
        

После выбора поисковика устанавливаем количество потоков "Serch Threads:" (в free версии оно ограниченно пятью!).

Можно так же включить "Auto Check" проверка прокси после достижения установленного вами количества найденных прокси.

Жмём "Keywords" и пишем там хорошие прокси с портами, их и будем искать + то, что вместе с ними выкладывают. Жмём "Go".

Proxyfire

Вкладка: P-Leecher

Proxyfire

Другими словами граббер прокси. Тут так же всё просто, устанавливаем "Loop" и "Auto Check" если надо. Указываем количество потоков и количество тем. Жмём "Edit Forum List" вбиваем туда наши прокси листы.

Прокси листы можно легко нагуглить

Вкладка: Check

Прокси чеккер. Жмём кнопку "Options...", далее выставляем потоки "Threads:" я ставлю 300 как то больше и не надо. Повтор "Retry:" 0

Далее указываем, нужно ли прогонять, через уже настроенный нами фильтр, прокси перед чеком "Filter proxies in the Proxy Filter Tab before Check"

Показать время отклика "Show response time"

Proxyfire

Тут есть одна хитрая кнопка на панели "SOCKS4/5" нажав на нее, откроются 2 текстовых файла с разделёнными Socks4 и Soсks5 прокси

Proxyfire

Вкладка: Proxylist

Если ваш компьютер случайно выключиться, вам нужно зайти сюда, чтобы забрать прокси, которые вы сканировали или искали.

Proxyfire