Какие прокси купать? В чем разница и как выбрать

Пользовательские прокси. Зачем нужны и какими бывают.

Прокси-сервера появились для организации работы пользователей локальных сетей с внешними сетями — интернет. Первоначально для этой цели использовалась и продолжает использоваться спецификация NAT (Network Address Translation) — например, если вы подключены через роутер, то используется это техническое решение.

Спецификация NAT появилась в 1994 году, в 1996 появилась спецификация SOCKS (Socket Secure), которая расширила технические возможности обработки трафика на границах локальных сетей и интернет, поэтому использование локального прокси-сервера в качестве шлюза — стандартная практика.

Пользовательский прокси-сервер — это сервер в интернет, выступающий доверенным посредником между вами и сайтами и сервисами в сети, которыми вы пользуетесь.

Без его использования типичный пользователь сети отправляет запросы напрямую к интересующему сайту. Сайт для статистики и иных технических целей фиксирует IP-адрес пользователя.

IP-адрес — это уникальный минимум в пределах сессии цифровой (в случае IPv4) или буквенно-цифровой (в случае IPv6) идентификатор устройства в интернет, присвоенный провайдером интернет-услуг.

Локальные сети с зарезервированными отдельно от интернета диапазонами IPv4-адресов здесь не рассматриваются, также как три типа адресации IPv6, так как материал о пользовательских сервисах.

Если используется прокси, то запросы программ пользователя поступают на него и далее отправляются на запрошенный сервис от его имени, то есть IP-адрес, который зафиксирует запрошенный сервис, будет принадлежать прокси.

Далее сервер-посредник получит ответ от запрошенного сервера и передаст программе пользователя.



В сети представлены сервисы (базы данных GeoIP), определяющие географическую принадлежность конкретного IP-адреса. Базы данных этих сервисов составлялись путём привязки к GPS-координатам регистрационных данных диапазонов IP-адресов.

GeoIP-базы выдают информацию по конкретному сетевому адресу с точностью до страны и города. Такие базы используются крупными сайтами как для повышения удобства работы пользователей с ними, так и как элемент защиты от недобросовестного использования.

По IP-адресу пользователя посещаемые им сайты определяют его страну и регион.


Одна из причин использования серверов-посредников — возможность предоставить запрошенному сайту IP-адрес прокси-сервера вместо пользовательского IP-адреса.

Сценарии использования ограничены техническими нюансами, например, позволяющими определить регион пользователя не только по IP-адресу и вашей фантазией.

Примеры использования таких сервисов (список неполон):

● Парсинг данных;

● Обход банов по IP, например, на форумах (блокировка пользователя по IP-адресу самим сервисом);

● Обход блокировок провайдеров на доступ к заблокированным ресурсам (если доступ блокируется на основании действующих в стране законов, используется сервер-посредник на территории других стран);

● Тестирование и демонстрация разработчиками ай-ти решений, работающих избирательно по региональному признаку;

● Использование доверенного сервиса как буферной зоны — в этом случае невозможны прямые внешние атаки на подключенное к сети устройство, например, на домашний роутер;

● Обход блокировок по региональному признаку в случае, когда сайт ограничивает доступ пользователям.

Последний пример разберём подробнее на примере стриминговых музыкальных сервисов, хотя это могли бы быть и интернет-магазины, а также поставщики других типов контента и услуг.

Стриминговые музыкальные сервисы, например, Spotify или Яндекс Музыка из-за лицензионных ограничений доступны только в тех регионах, где официально представлены.

Spotify, возможно, придёт в Россию в конце 2019 года, а у Яндекс.Музыки по платной подписке отсутствуют региональные ограничения, но бесплатно Яндекс Музыка играет только для нескольких стран на постсоветском пространстве. Жители остальных стран, заходя на сервис напрямую через провайдера интернет-услуг получат вежливый отказ.



Если же пользователь, территориально находящийся, например, в Америке использует российский сервер-посредник, его IP-адрес покажет Яндекс.Музыке подходящий для бесплатного прослушивания российский регион.

Виды пользовательских прокси.

Бесплатные прокси часто не обеспечивают технической анонимности перед удалёнными ресурсами, позволяя определить по разным параметрам, что пользователь вводит их в заблуждение.

Кроме того, бесплатные серверы-посредники (особенно, если это HTTP-прокси) могут перехватывать данные, например, банковских карт или пароли к веб-сервисам. Риск столкнуться с подобным поведением со стороны коммерческого сервиса, открыто указывающего физический адрес и юридические реквизиты, невелик.

Для профессиональной работы на долгий срок используются персональные (индивидуальные, в одни руки, без соседей, выделенные) прокси.

Это значит, что пока пользователь арендует такой сервер-посредник, только он один им и пользуется. При соблюдении рекомендаций по технической анонимности, вероятность блокировки сайтами или соцсетями минимальна.

В этом отличие от shared-прокси, которые дешевле потому, что ими пользуются сразу несколько пользователей. Если один из пользователей будет использовать сервер некорректно, под блокировку рискуют попасть и соседи.
Пакетные прокси. Пакетами из нескольких тысяч серверов, которые обновляются раз в несколько часов или минут, одномоментно пользуются тысячи пользователей. Не подходят для использования в долговременных целях, подвержены блокировкам.

У мобильных прокси диапазон IP-адресов указывает на принадлежность к сетям операторов мобильной связи. Перемещаясь между базовыми станциями, абоненты получают новые IP-адреса в зоне действия каждой из них.

Если упростить технические детали, то пользователи мобильного интернета при перемещениях меняются IPv4-адресами между собой. Так как трафик к популярным социальным сервисам и сайтам с мобильных сетей огромен, пользователей мобильных прокси практически не блокируют по IP-адресу. При некорректных действиях пользователя, например, в соцсети, она блокирует аккаунт.

Постепенно идёт внедрение IPv6-адресации, в которой количество адресов практически неограниченно. Оператор МТС уже предоставляет доступ мобильным абонентам в интернет по новому протоколу. О протоколах IPv4 и IPV6 подробнее написано в конце статьи.

Перечисленные ниже технические типы прокси могут быть как платными, так и бесплатными.

Веб-прокси или анонимайзеры. Называются также CGI-прокси по имени интерфейса Common Gateway Interface, с помощью него скрипты анонимайзера общаются с сервером, на котором размещены.

Это сайты-посредники. Содержат форму ввода для указания адреса сайта, на который требуется перейти пользователю. Опционально возможны дополнительные настройки, позволяющие использовать SSL, TLS-шифрование, блокировку скриптов на посещаемом ресурсе, выбирать операционную систему и браузер для представления удалённой системе. По сути это браузер в браузере.

Минусы анонимайзеров — не всегда корректное отображение посещаемых сайтов и ограниченность применения. Большинство анонимайзеров заблокировано в России.

HTTP-прокси. По сути это «прокси для браузера», так как HTTP — протокол передачи гипертекста, на котором основаны наши путешествия в интернет.

Основа работы HTTP-протокола — это «запрос — ответ», что реализуется с помощью HTTP-сообщений, часть которых HTTP-заголовки. У HTTP-заголовков строчный формат вида «имя параметра:значение».

В заголовках передаются технические данные, например время-дата, версия браузера, IP-адрес. HTTP-прокси-сервер, через который проходит трафик может, в зависимости от настроек, добавлять свои заголовки.

Например, одним заголовком указывать свой IP, а другим — ваш.
Это технические настройки, когда анонимность не нужна, так работают большинство серверов в мире.

Сервера-посредники для технической анонимности бывают нескольких типов. Для бесплатных серверов это низкая, средняя и высокая анонимность.

Сервера-посредники с низкой и средней анонимностью могут вместо вашего IP подставлять свой или произвольный IP, но в дополнительных заголовках ссылаться на прокси. Удалённый ресурс, прочитав их, может «призадуматься» и начать дополнительные технические проверки.



Сервера-посредники с высокой анонимностью не укажут в заголовках ваш IP и что используется прокси. Но не всё так просто.

Сайты, если для них это важно, определят, что пользователь заходит через прокси, даже если это сервер-посредник с высокой степенью анонимности и нет компрометирующих заголовков.

Как ? Читайте статью в нашем блоге «Проверка анонимности прокси».
Техническая анонимность элитных персональных прокси, если сервис качественный, на порядок превосходит бесплатные прокси-сервера с условно высокой степенью анонимности.

Пример списка бесплатных прокси с указанием степени анонимности:




HTTP-прокси добавляют техническую информацию о себе и в зависимости от настроек могут не предоставлять техническую анонимность, а также предоставлять условно низкий, средний и высокий её уровни.

Высокий уровень анонимности бесплатных HTTP-прокси заключается в том, что у посещаемого пользователем ресурса нет прямых доказательств, что используется сервер-посредник. Что не мешает удалённому серверу провести более тщательную проверку.

Элитные персональные прокси предоставляют наивысший уровень технической анонимности.

HTTPS-прокси помимо работы с HTTP-сайтами работают с сайтами, поддерживающими протоколы шифрования SSL или TLS, что важно для передачи чувствительных данных, например при покупках в интернет-магазинах.

В таком случае, если сайт работает по защищённому протоколу и обращение к нему идёт соответствующим образом, например, https://yandex.ru, то соединение будет зашифровано браузером пользователя с одной стороны и сайтом с другой, а сервер начнёт пропускать через себя такой трафик, не заглядывая внутрь.

Но как только пользователь перестанет работать с таким сайтом и откроет другой по обычному протоколу HTTP, соединение перестанет быть зашифрованным. По сути HTTPS-прокси — это часть HTTP-прокси и работать каждая из них начинает в зависимости от того, какие соединения инициирует пользователь.

В случае использования HTTPS-соединений кеширование и обработка трафика самим сервером (добавление технических заголовков, фильтрация, подмена и т.п.) исключены. Так как HTTPS-прокси работает как промежуточный транспорт, безразличный к проходящему через него трафику, существует техническая возможность использования его для передачи других прикладных протоколов (например, почтовых POP3, SMTP, IMAP) c некоторыми ограничениями.

HTTP(S)-прокси всегда представлены поставщиками соответствующих услуг и отлично подходят для работы через браузер.

SOCKS-прокси. Работая на транспортном уровне сетевого взаимодействия, SOCKS обеспечивает работу любого высокоуровневого протокола (HTTP, HTTPS, FTP, почтовых и других) не вдаваясь в подробности — они никак не обрабатывают трафик и не модифицируют заголовки пакетов, так как изменение данных на транспортном уровне нарушит работу высокоуровневых протоколов.

Существуют две версии этого протокола, версия 4 и версия 5. Не буду рассматривать промежуточную 4a. Версия 5 используется чаще — в отличие от четвёртой она поддерживает IPv6, а также второй по значимости протокол транспортного уровня UDP (что позволяет осуществлять DNS-запросы, работать с приложениями голосового и видео общения) и позволяет проводить аутентификацию клиента различными способами.

Использование SOCKS позволяет пользователю работать как с браузером, так и с другими программами. Многие программы позволяют указывать в сетевых настройках такой способ подключения. Если таких настроек программа не имеет, всё равно можно заставить её работать через прокси с помощью специальной программы-проксификатора, которая будет перенаправлять запросы «неумелой» программы.

Некоторые проксификаторы умеют перенаправлять трафик и через HTTPS, так как HTTPS-соединения также не «просматриваются». Однако SOCKS предоставляет больше технических возможностей перенаправления разного трафика.

Поскольку SOCKS 5-сервера умеют делать запрос к DNS самостоятельно, использование SOCKS 5 при грамотной настройке программ и операционной системы также способствует решению проблемы «утечки DNS».

IPv4 и IPv6 прокси. В чём отличие ?

Отличие в поддержке того или иного протокола работы. Сетевые адреса, работающие по протоколу IPv4 практически закончились у региональных интернет-регистраторов, для которых Земля поделена на пять зон. Математическая модель IPv4 предполагает количество таких адресов равным чуть более 4,2 миллиарда.

Региональные интернет-регистраторы выполняют регулятивную функцию, по факту у организаций, предоставляющих доступ конечным пользователям адресов IPv4 достаточно. Однако будущее за IPv6 — время «интернета вещей», когда каждый холодильник будет во всемирной сети наступает, а техническая реализация нового протокола имеет преимущество перед старой версией и на порядок повышает безопасность.

По статистике Google на начало сентября 2019 около 30% пользователей со всего мира используют IPv6. Исходя из последних 5 лет ежегодный рост количества пользователей IPv6 в мировом масштабе составляет 5%.

В России, по статистике Google, количество пользователей, которым доступна услуга IPv6 составляет менее 4% на начало сентября 2019.





В протоколе IPv6 отсутствует обратная совместимость — это означает, что используя исключительно IPv6 невозможно подключаться к сайтам, доступным только по протоколу IPv4, а это основная часть всемирной сети.

Чтобы компенсировать отсутствие обратной совместимости в IPv6, при доступе устройств в сеть используется режим двойного стека — если провайдер доступа в интернет поддерживает работу по IPv6, то устройства пользователей работают одновременно по обоим протоколам, IPv6 при этом является приоритетным. Если он включен в настройках устройства, то сначала идёт запрос к сайту по IPv6, и если хостинг сайта не поддерживает IPv6, то используется IPv4.

Не все крупные социальные сети поддерживают IPv6. Например, YouTube, Instagram, Facebook поддерживают IPv6, а Twitter и ВКонтакте — нет. ВКонтакте ранее поддерживала доступ по IPv6, но закрыла доступ по этому протоколу в 2017.

Цены на прокси IPv6 ниже цен на прокси IPv4 более чем в два раза. На этом преимущества таких прокси заканчиваются, так как аналитика защитных систем сайтов с подозрением относится к прокси IPv6 из адресного пространства региона с низким уровнем распространения нового протокола.