Эффективное проксирование для обхода блокировок по IP. Кэш поисковых машин
Самые популярные способы обхода блокировки сайтов в Украине
Способ №1 VPN (virtual private network).
Это способ подменить собственное местоположение, сделавшись жителем страны, в которой сайт не запрещен. Пользователь с VPN получает защищенный канал с шифрованием всех передаваемых данных. С данной технологией работают браузерные расширения и плагины для браузера.
Итак, установим VPN через Chrome.
Заходим в каталог расширений через кнопку настроек браузера в правом верхнем углу экрана:
в выпадающем меню нажимаем Дополнительные инструменты - Расширения
Затем в окне появившегося веб-магазина пишем слова "VPN" и жмем "Enter", после чего каталог предложит расширения, работающие по данной технологии:
После этого плагин предложит зарегистрироваться при помощи электронной почты, и потом появится на панели расширений:
Далее по умолчанию пойдет трафик из какой-либо страны, где разрешены нужные вам сайты, к примеру, ВКонтакте, Одноклассники, Mail.Ru, Yandex и т.п. Смотрите также Как редактировать файл hosts и Как очистить кэш браузера .
Но нажав на значок расширения, можно выбрать страну и вручную - любую из предложенного списка.
Как обойти блокировку сайтов ВК, Яндекса, Одноклассников и Mail.ru в браузере Opera (Opera VPN )
В браузере Opera возможность использовать VPN предусмотрена по умолчанию. Далее будет рассмотрено как ее активировать.
Шаг №1 . Запускаем Opera. Следуем по цепочке «Меню» - «Настройки» - «Безопасность» - «Включить VPN».
Шаг №2 . Возле адресной строки у вас появится значок VPN, где можно регулировать доступ к заблокированным сайтам.
Способ №2 - программа-браузер TOR - скачать, установить бесплатно
Наверное, ТОР - это самая популярная программа-браузер, которая используется интернет-аудиторией для сохранения анонимности и получения доступа к запрещённым сайтам. Этот браузер очень популярен в тех странах, где запрет - обычное дело. Что бы мы с вами не говорили и не думали, но запрет интернет-ресурсов на территории России и Украины не такое уж частое дело, поэтому большая часть аудитории с этим браузером не знакома. ТОР - это анонимная виртуальная сеть, которая полностью шифрует ваш трафик, давая вам анонимность. Браузер обладает великим множеством настроек, которые позволяют скрыться в сети. Все ваши интернет-запросы шифруются и передаются от одного пользователя браузера к другому по несколько раз - только потом запрос идёт туда, куда вы его послали. Таким образом, получается, что вас невозможно отследить и узнать, откуда был совершён запрос.
Любой ваш запрос будет зашифрован и передан от одного пользователя TOR к другому определенное количество раз и лишь потом отправится по назначению. Затем пользователю возвратят ответ. Никто, кроме первого и конечного узла, не будет знать, куда был адресован запрос и какую информацию запрашивали. Так что суть вопроса проста: скачиваем TOR и не боимся блокировки любимых сайтов.
Скачать браузер ТОР
(размер файла 57.8 МБ, версия 6.5.2)
Способ №3 - Как обойти блокировку Вконтакте, Одноклассников и Яндекс в Украине - специальные плагины для браузеров
Если вы прикипели к своему браузеру и не хотите его менять на другой, анонимный, то тут вам на помощь придут расширения, которые позволят справиться с блокировкой сайтов. Их есть огромное множество, но самым популярным является friGate. Пользоваться им очень легко. Нужно просто установить плагин для своего браузера и наслаждаться интернетом без ограничений. Также у расширения есть ещё один плюс: friGate самостоятельно фиксирует и определяет скорость доступа к нужному интернет ресурсу, и если есть проблемы со скоростью доступа, то для этого сайта включается прокси, который ускоряет доступ и шифрует трафик. Ссылку на скачивание плагина мы оставим ниже.
(размер 0.45 КБ)
Также Вы можете найти и Скачать friGate Light для Google Chrome и Proxy for Chrome в магазине расширений браузера.
Способ №4 - Как обойти блокировку Вконтакте, Одноклассников и Яндекс в Украине на смартфонах и планшетах
Обходить блокировку сайтов, пользоваться тематическими приложениями Вконтакте или Яндекс.Карты на IPhone и Android-смартфонах тоже очень просто. Для этого нам пригодится бесплатная кроссплатформенная утилита Turbo VPN - Unlimited Free VPN , которую можно скачать в Google Play и iTunes . Или просто заходите со смартфона в Play Market или AppStore и в поиске пишите Turbo VPN.
Шаг №1 . Заходим в приложение Turbo VPN и нажимаем на значок «планета Земля» в верхнем правом углу экрана.
Шаг №2. Выбираем необходимый нам сервер. Самый быстрый - Соединенные Штаты.
Шаг №3. Ждем пока Turbo VPN подключиться. Затем сворачиваем его, и можем пользоваться любым браузером, Яндекс.Картами, социальными клиентами Вконтакте и Одноклассники на смартфонах без ограничений.
Если всё-таки случится что-то такое, что доступ будет закрыт или приложения буду работать некорректно, то предлагаем вам скачать следующие программы:
Для смартфонов и планшетов на андроид - Orweb (конфиденциальный и анонимный веб-браузер для ОС Android)
Скачать Orweb бесплатно
(размер файла 1.2 МБ, версия 0.7)
Для смартфонов и планшетов на iOS - Onion (конфиденциальный и анонимный веб-браузер для iOS)
Скачать Onion бесплатно
(размер файла 9.91 МБ, версия 1.7.1)
Способ №5 HOLA!
Это похожее расширение. Из его недостатков - необходимость вручную выбирать VPN нужной страны. Кроме того, плагин иногда нарушает верстку заблокированных страниц, из-за чего они выглядат трудночитаемыми. Но по словам его издателей, он лучше подходит для просмотра медиаконтента, ведь для ускорения загрузки потокового видео в нем используются компьютеры других пользователей с установленным плагином. Также для Вас будет интересно и Как незаметно прочитать сообщения ВКонтакте .
Шаг№1 . Откройте браузер Chrome и перейдите в раздел «Расширения» в соответствие со скриншотом.
Шаг №2 . Прокрутите открывшуюся страницу вниз. Кликните ссылку «Еще расширения».
Вы попадете в интернет-магазин Chrome. В строке поиска введите «Hola Unlimited Free VPN» и установите ПО.
Шаг №3 . Теперь при переходе на заблокированные сайты HolaUnlimited Free VPN будет предлагать вам выбирать в качестве местоположения те страны, где ограничения не действуют. Для Яндекса, Вконтакте, Одноклассников и Mail.ru подойдет Россия. Однако самые быстрые сервера — США.
Примечание! Если выбрать расположение виртуального сервера в одной из европейских стран, тогда, скорее всего, раздел «Аудиозаписи» в Вконтакте станет недоступным. Это связано с реализацией закона об авторских и смежных правах.
Чтобы активировать/деактивировать Hola Unlimited Free VPN воспользуйтесь кнопкой-выключателем.
Способ №6 TunnelBear.
Сервис доступен на iOS, Android, PC, Mac. Он тоже работает по технологии VPN. Установить его на мобильных сложнее. К примеру, на iOS он требует пройти регистрацию, подтверждение email, создание профиля с настройками VPN, включение его профиль в опциях iOS. После завершения всех манипуляций можно начать работу.
Способ №7 Прокси-сервер.
Этот сервер выполняет роль посредника: пользователь доверяет ему получать за юзера нужную информацию. Иными словами, вы обращаетесь к прокси-серверу, он запрашивает инфу на заблокированном ресурсе и уже от себя передает ее вам. Прокси-сервер в самом простом варианте выполнен в форме обыкновенного сайта, где требуется ввести адрес нужного пользователю ресурса. Разберем как использовать прокси на примере Бесплатного прокси Hide.me.
Бесплатный прокси Hide.me
Чтобы начать пользоваться бесплатным прокси-сервером Hide.me не нужно ничего скачивать и устанавливать. Здесь все довольно просто, поэтому даже ничего непонимающий в компьютерных делах «чайник» будет чувствовать себя в своей тарелке.
Внимание! Hide.me - не предназначендля работы с Яндекс.Почта и Mail.ru.
Шаг №1 . Перейдите на официальный сайт сервиса и кликните раздел «Бесплатный прокси».
Шаг №2 . В открывшейся форме введите необходимый вам адрес сайта и нажмите кнопку «Посещайте анонимно».
Тут же вы можете выбрать в качестве местоположения прокси-сервера одну из трех стран: Нидерланды, Германия или США.
Примеры работающих прокси
Принцип действия сайтов очень похож: обычно они просто требуют скопировать ссылку в строку на своей главной странице. Недостаток - в том, что страницы грузятся гораздо медленнее.
Узнайте, как зайти на сайт, заблокированный системным администратором или провайдером
Время от времени каждый активный пользователь Интернета сталкивается с необходимостью обойти блокировку и попасть на необходимый ему сайт. Будь то торрент-трекер, соцсеть, онлайн-казино/букмекерская контора или любимое СМИ. В России запрещённых сайтов более 75 тыс., в Украине – не меньше 5 тыс. В Казахстане и Беларуси на данный момент официально не публикуются списки забаненных сайтов, но, по оценкам экспертов, счёт тоже идёт на тысячи.
Есть несколько способов попасть туда, «куда нельзя, но очень хочется». Мы рассмотрим самые простые и бесплатные.
Внимание! Посещение ряда сайтов в разных странах преследуется по закону, поэтому семь раз подумайте, прежде чем воспользоваться описанными ниже возможностями.
Opera
Самый простой способ обойти блокировку сайта - это установить браузер Opera . В этом браузере есть два способа обхода блокировки.
С помощью функции Opera Turbo.
Достаточно в настройках браузера включить режим Opera Turbo, который будет помогать обойти ограничения.
Встроенный VPN
В браузере Opera есть встроенный VPN - технология, которая позволит заходить на сайты с IP-адреса другой страны. Подключиться к VPN можно во вкладке «Безопасность».
Для этих же целей на смартфонах можно использовать специальные приложения от Opera - есть клиент как для iOS и Android .
Анонимайзеры
Почти всё, что блокируется провайдерами, можно открыть с помощью анонимайзеров, которые очень просты в использовании. Это обычный сайт с поисковиком, куда собственно и вбиваешь заблокированный сайт. Прокси работает по принципу VPN, и весь траффик идёт через серверы анонимайзера, что и открывает доступ к любому материалу, т.к. серверы анонимайзеров находятся вне юрисдикции госрегуляторов или каких-либо провайдеров.
Недостаток таких сервисов (как и большинства других способов) – в том, что страницы грузятся гораздо медленнее, а видео или музыку иногда и вовсе невозможно проигрывать. Кроме того, есть риск, что могут быть украдены ваши личные данные.
Топ-25 анонимайзеров
- Hide My Ass – https://www.hidemyass.com/
- PK Proxy – http://pkproxy.info/
- Fast Time – http://fasttime.info/
- Zacebook – http://www.zacebookpk.com/
- Prox Free – https://www.proxfree.com/
- Crazy Proxy – https://www.crazyproxy.org/
- Proxy Browse – http://proxybrowse.info/
- Canada Proxy – http://canadaproxy.info/
- VPN Browse – http://vpnbrowse.com/
- US Proxy – http://usproxy.nu/
- World Cup Proxy – https://www.worldcupproxy.com/
- Suede Proxy – http://suedeproxy.info/
- Singapore Proxy – http://singaporeproxy.nu/
- Pro Intern – http://prointern.info/
- Free YouTube Proxy – http://www.youtubeunblockproxy.com/
- New IP Now – http://newipnow.com/
- Me Hide – https://www.mehide.asia/
- Don’t Filter – http://dontfilter.us/
- Zalmos Web Proxy –
Всем привет, с каждым днем, различные государства, ограничивают доступ к сайтам которыми мы привыкли пользоваться. Правительство утверждает, что защищает нас от чего либо, но нам то не легче от этого. Сегодня я расскажу о все известных на данный момент способах обхода блокировки сайтов.
Изменение DNS серверов
Самый просто способ обхода большинства блокировок это изменение серверов DNS. Провайдеры чаше всего блокируют различные сайты на уровне DNS серверов. DNS сервера преобразовывают IP адрес сайта в URL с помощью которого сайт и открывается. Если заблокировать IP адрес сайта на уровне DNS сервера, то IP не будет превращаться в URL (адрес сайта) и таким образом доступ будет ограничен.
Но обойти такую блокировку очень легко, в сетевых настройках нужно использовать публичные ДНС сервера. Идем, панель управления -- центр управления сетями -- изменение параметров адаптера -- выбираете ваше подключение по сети -- правой кнопкой, свойства -- в списке находите Ipv4 -- нажимаете свойства -- ставите точку, использовать следующие адреса DNS -- вписываете DNSы 8.8.8.8 и 8.8.4.4 (так же вы можете вписать любые другие публичные ДНС сервера). Далее вам нужно очистить кэш DNS на компьютере. Это можно сделать например через (установите галочку Кэш DNS и проведите очистку) или через командную строку от имени админа:
- ipconfig /flushdns и нажмите Enter.
- ipconfig /registerdns и нажмите Enter.
- ipconfig /release и нажмите Enter.
- ipconfig /renew и нажмите Enter.
Если у вас роутер, то эти настройки желательно делать на самом роутере, все настройки роутера делайте крайне осторожно
. В адресной строке браузера напишите 192.168.0.1 или 192.168.1.1 и нажмите Enter. Впишите логин и пароль для доступа к роутеру. Далее найдите раздел настройки WAN подключения и впишите туда вручную DNS сервера - 8.8.8.8 и 8.8.4.4 На разных роутерах это может делаться по разному и если вы сомневаетесь лучше туда не лезьте.
Хочу отметить не у всех провайдеров пройдет такой фокус, некоторые провайдеры не позволяют менять ДНС сервера. Но на это есть другой выход.
Разблокируем доступ к сайту через файл HOSTS
Если провайдер не позволяет сменить ДНС сервер, то вы легко можете изменить файл hosts на собственном компьютере. Как это делать я показывал в своем очень старом видео - https://www.youtube.com/watch?v=KxrWGhXyNHA . Для того что бы разблокировать сайт нужно знать его IP адрес, в этом нам поможет этот сервис . Просто зайдите на сервис и впишите адрес нужного вам сайта, так вы узнаете IP. Дальше вам нужно отредактировать ваш файл hosts и вставить туда строку с соответствием IP сайта и адреса сайта, выглядеть это будет так:
Таким образом компьютер не будет подключатся к любым сторонним DNS серверам, а будет брать информацию из вашего файла хостс. Это можно сказать ваш личный DNS сервер. А так как блокировка сайтов чаще всего проходит на уровне DNS серверов, то вы сами будете регулировать эти параметры и получать доступ к любым нужным для вас сайтам!
Но случается так, что провайдеры блокируют полный доступ к сайтам и изменение DNS, и файла хостс не помогает. Тогда есть другие варианты обхода блокировки сайтов.
Использование браузеров с турбо режимом или встроенным VPN
Для этого можно использовать множество браузеров, но я расскажу только о двух: Opera и . В браузере Opera вы можете использовать турбо режим, включатся в настройках или использовать встроенный в браузер VPN сервис. Включить его можно так:
- Откройте страницу opera://settings/ в адресной строке браузера
- Перейдите в раздел Безопасность в левом навигационном меню
- Прокрутите до секции VPN
- Отметьте галочку Включить VPN
После это браузер будет работать в режиме VPN и вы сможете получить доступ к любым сайтам.
В яндекс браузере нужно активировать турбо режим:
Этот режим также получить доступ к заблокированным сайтам.
Использование плагинов к браузерам
В браузер можно установить плагины: friGate , ZenMate , Browsec или Data Saver . Данные плагины работают по принципу VPN но только для браузера. Эти плагины легко могут открыть доступ к заблокированным сайтам, это самый легкий способ обхода блокировки. За VPN я расскажу ниже.
Использование VPN сервисов
Использование Tor браузера
Еще один хороший способ для обхода блокировки сайтов - использование веб-браузера . Tor браузер создает анонимную сеть которая шифрует все передаваемые данный в том числе и от провайдера, так же использует серверы разных стран для подключения к интернету. Для обеспечения конфиденциальности пользователей используется многоуровневое шифрование и маршрутизация вашего сетевого трафика по распределенной сети.
Данная технология предотвращает возможность внешнему наблюдателю вашего интернет-соединения узнать какие веб-сайты вы посещаете, предотвращает возможность сайтам узнать ваше физическое местоположение, а также позволяет получить доступ к заблокированным веб-ресурсам.
Но у Tor есть недостаток это низкая скорость подключения. Браузер можно использовать абсолютно бесплатно и без ограничений. О нем я более подробно рассказывал .
Более подробно о обходе блокировки сайтов я расскажу в своем видео:
Анонимайзеры
Что бы заходить на любы сайты можно использовать специальные сервисы анонимайзеры, они изменяют URL адрес нужного вам сайта, таким образом можно получить доступ к любому сайту. Лучшие и известные мне анонимайзеры это: Хамелион и noblockme.ru , остальные можете загуглить сами. Просто заходите на сайте анонимайзер и в строке пишете нужный вам сайт, он откроется в анонимном режиме.
Надеюсь, вам поможет обойти блокировку сайтов, один из способов описанных выше. если вы знаете еще какие либо методы, пишите их в комментариях и я добавлю этот метод в статью!
Никто не указ. 6 способов обойти блокировку сайтов
Из открытых источников
Для тех, кто разбирается в компьютерах хотя бы на среднем уровне, попасть на "запрещенные" сайты не составит труда
Первый способ - установить специальное расширение для браузера. Например, расширение ZenMate VPN работает в браузерах Firefox, Google Chrome и Opera, шифрует трафик браузера, защищает Wi-Fi соединение, снимает гео-ограничения и обеспечивает защиту частной жизни в интернете. По такой же схеме работают расширения anonymoX, Browsec, FriGate.
Второй способ – зайти на сайты, где можно ввести адрес заблокированного ресурса или ссылку на конкретный материал и получить доступ к его содержанию. Например, Hidemyass , ProxFree или Proxyweb . Достаточно вставить ссылку на страницу, где вам отказано в доступе, в соответствующее поле на сайт-анонимайзере, и в новой вкладке откроется страница, на которую вы так хотели попасть.
Третий способ - использовать VPN, что расшифровывается как Virtual Private Network (виртуальная частная сеть). Так можно подменить свое местоположение, притворившись жителем страны, в которой нужный вам сайт не запрещен. Самые популярные VPN - Betternet ; HideMe ; Privatix ; TunnelBear ; VPN Unlimited ; VPN99 . Их услуги платные, но есть возможность в течение суток протестировать сервис бесплатно.
Новости по теме
Четвертый способ – серфить всемирную сеть в браузере, где VPN присутствует изначально. В таком случае не нужно ничего дополнительно устанавливать, достаточно покопаться в настройках. На данный момент наиболее популярным браузером со встроенным VPN является Opera .
Пятый способ – использовать прокси-серверы, с помощью которых также можно обойти блокировку, выходя в интернет через удаленный сервер. В Сети можно найти бесплатные прокси, но за их стабильность никто не поручится. Есть и платные, с разными тарифами и техподдержкой. Преимущество использования прокси перед VPN в том, что не нужно устанавливать дополнительные программы на компьютер.
Шестой способ - скачать и установить
Провайдеры Российской Федерации, в большинстве своем, применяют системы глубокого анализа трафика (DPI, Deep Packet Inspection) для блокировки сайтов, внесенных в реестр запрещенных. Не существует единого стандарта на DPI, есть большое количество реализации от разных поставщиков DPI-решений, отличающихся по типу подключения и типу работы.
Существует два распространенных типа подключения DPI: пассивный и активный.
Пассивный DPI
Пассивный DPI - DPI, подключенный в провайдерскую сеть параллельно (не в разрез) либо через пассивный оптический сплиттер, либо с использованием зеркалирования исходящего от пользователей трафика. Такое подключение не замедляет скорость работы сети провайдера в случае недостаточной производительности DPI, из-за чего применяется у крупных провайдеров. DPI с таким типом подключения технически может только выявлять попытку запроса запрещенного контента, но не пресекать ее. Чтобы обойти это ограничение и заблокировать доступ на запрещенный сайт, DPI отправляет пользователю, запрашивающему заблокированный URL, специально сформированный HTTP-пакет с перенаправлением на страницу-заглушку провайдера, словно такой ответ прислал сам запрашиваемый ресурс (подделывается IP-адрес отправителя и TCP sequence). Из-за того, что DPI физически расположен ближе к пользователю, чем запрашиваемый сайт, подделанный ответ доходит до устройства пользователя быстрее, чем настоящий ответ от сайта.Выявляем и блокируем пакеты пассивного DPI
Поддельные пакеты, формируемые DPI, легко обнаружить анализатором трафика, например, Wireshark.Пробуем зайти на заблокированный сайт:
Мы видим, что сначала приходит пакет от DPI, с HTTP-перенаправлением кодом 302, а затем настоящий ответ от сайта. Ответ от сайта расценивается как ретрансмиссия и отбрасывается операционной системой. Браузер переходит по ссылке, указанной в ответе DPI, и мы видим страницу блокировки.
Рассмотрим пакет от DPI подробнее:
HTTP/1.1 302 Found
Connection: close
Location: http://warning.rt.ru/?id=17&st=0&dt=195.82.146.214&rs=http%3A%2F%2Frutracker.org%2F
В ответе DPI не устанавливается флаг «Don"t Fragment», и в поле Identification указано 1. Серверы в интернете обычно устанавливают бит «Don"t Fragment», и пакеты без этого бита встречаются нечасто. Мы можем использовать это в качестве отличительной особенности пакетов от DPI, вместе с тем фактом, что такие пакеты всегда содержат HTTP-перенаправление кодом 302, и написать правило iptables, блокирующее их:
# iptables -A FORWARD -p tcp --sport 80 -m u32 --u32 "0x4=0x10000 && 0x60=0x7761726e && 0x64=0x696e672e && 0x68=0x72742e72" -m comment --comment "Rostelecom HTTP" -j DROP
Что это такое? Модуль u32 iptables позволяет выполнять битовые операции и операции сравнения над 4-байтовыми данными в пакете. По смещению 0x4 хранится 2-байтное поле Indentification, сразу за ним идут 1-байтные поля Flags и Fragment Offset.
Начиная со смещения 0x60 расположен домен перенаправления (HTTP-заголовок Location).
Если Identification = 1, Flags = 0, Fragment Offset = 0, 0x60 = «warn», 0x64 = «ing.», 0x68 = «rt.ru», то отбрасываем пакет, и получаем настоящий ответ от сайта.
В случае с HTTPS-сайтами, DPI присылает TCP Reset-пакет, тоже с Identification = 1 и Flags = 0.
Активный DPI
Активный DPI - DPI, подключенный в сеть провайдера привычным образом, как и любое другое сетевое устройство. Провайдер настраивает маршрутизацию так, чтобы DPI получал трафик от пользователей к заблокированным IP-адресам или доменам, а DPI уже принимает решение о пропуске или блокировке трафика. Активный DPI может проверять как исходящий, так и входящий трафик, однако, если провайдер применяет DPI только для блокирования сайтов из реестра, чаще всего его настраивают на проверку только исходящего трафика.Системы DPI разработаны таким образом, чтобы обрабатывать трафик с максимально возможной скоростью, исследуя только самые популярные и игнорируя нетипичные запросы, даже если они полностью соответствуют стандарту.
Изучаем стандарт HTTP
Типичные HTTP-запросы в упрощенном виде выглядят следующим образом:GET / HTTP/1.1 Host: habrahabr.ru User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0 Accept-Encoding: gzip, deflate, br Connection: keep-alive
Запрос начинается с HTTP-метода, затем следует один пробел, после него указывается путь, затем еще один пробел, и заканчивается строка протоколом и переносом строки CRLF.
Заголовки начинаются с большой буквы, после двоеточия ставится символ пробела.
Давайте заглянем в последнюю версию стандарта HTTP/1.1 от 2014 года. Согласно RFC 7230, HTTP-заголовки не зависят от регистра символов, а после двоеточия может стоять произвольное количество пробелов (или не быть их вовсе).
Each header field consists of a case-insensitive field name followed
by a colon (":"), optional leading whitespace, the field value, and
optional trailing whitespace.
header-field = field-name ":" OWS field-value OWS
field-name = token
field-value = *(field-content / obs-fold)
field-content = field-vchar [ 1*(SP / HTAB) field-vchar ]
field-vchar = VCHAR / obs-text
obs-fold = CRLF 1*(SP / HTAB)
; obsolete line folding
OWS - опциональный один или несколько символов пробела или табуляции, SP - одинарный символ пробела, HTAB - табуляция, CRLF - перенос строки и возврат каретки (\r\n).
Это значит, что запрос ниже полностью соответствует стандарту, его должны принять многие веб-серверы, придерживающиеся стандарта:
GET / HTTP/1.1
hoSt:habrahabr.ru
user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0
Accept-Encoding: gzip, deflate, br
coNNecTion: keep-alive ← здесь символ табуляции между двоеточием и значением
На деле же, многие веб-серверы не любят символ табуляции в качестве разделителя, хотя подавляющее большинство серверов нормально обрабатывает и отсутствие пробелов между двоеточием в заголовках, и множество пробелов.
Старый стандарт, RFC 2616, рекомендует снисходительно парсить запросы и ответы сломанных веб-северов и клиентов, и корректно обрабатывать произвольное количество пробелов в самой первой строке HTTP-запросов и ответов в тех местах, где требуется только один:
Clients SHOULD be tolerant in parsing the Status-Line and servers tolerant when parsing the Request-Line. In particular, they SHOULD accept any amount of SP or HT characters between fields, even though only a single SP is required.Этой рекомендации придерживаются далеко не все веб-серверы. Из-за двух пробелов между методом и путем ломаются некоторые сайты.
Спускаемся на уровень TCP
Соединение TCP начинается с SYN-запроса и SYN/ACK-ответа. В запросе клиент, среди прочей информации, указывает размер TCP-окна (TCP Window Size) - количество байт, которые он готов принимать без подтверждения передачи. Сервер тоже указывает это значение. В интернете используется значение MTU 1500, что позволяет отправить до 1460 байтов данных в одном TCP-пакете.Если сервер указывает размер TCP-окна менее 1460, клиент отправит в первом пакете данных столько, сколько указано в этом параметре.
Если сервер пришлет TCP Window Size = 2 в SYN/ACK-пакете (или мы его изменим на это значение на стороне клиента), то браузер отправит HTTP-запрос двумя пакетами:
Пакет 1:
GE
Пакет 2: T / HTTP/1.1
Host: habrahabr.ru
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Используем особенности HTTP и TCP для обхода активного DPI
Многие решения DPI ожидают заголовки только в стандартном виде.Для блокировки сайтов по домену или URI, они ищут строку "Host: " в теле запроса. Стоит заменить заголовок «Host» на «hoSt» или убрать пробел после двоеточия, и перед вами открывается запрошенный сайт.
Не все DPI можно обмануть таким простым трюком. DPI некоторых провайдеров корректно анализируют HTTP-заголовки в соответствии со стандартом, но не умеют собирать TCP-поток из нескольких пакетов. Для таких DPI подойдет «фрагментирование» пакета, путем искусственного уменьшения TCP Window Size.
В настоящий момент, в РФ DPI устанавливают и у конечных провайдеров, и на каналах транзитного трафика. Бывают случаи, когда одним способом можно обойти DPI вашего провайдера, но вы видите заглушку транзитного провайдера. В таких случаях нужно комбинировать все доступные способы.
Программа для обхода DPI
Я написал программу для обхода DPI под Windows: GoodbyeDPI .Она умеет блокировать пакеты с перенаправлением от пассивного DPI, заменять Host на hoSt, удалять пробел между двоеточием и значением хоста в заголовке Host, «фрагментировать» HTTP и HTTPS-пакеты (устанавливать TCP Window Size), и добавлять дополнительный пробел между HTTP-методом и путем.
Преимущество этого метода обхода в том, что он полностью автономный: нет внешних серверов, которые могут заблокировать.
По умолчанию активированы опции, нацеленные на максимальную совместимость с провайдерами, но не на скорость работы. Запустите программу следующим образом:
goodbyedpi.exe -1 -a
Если заблокированные сайты стали открываться, DPI вашего провайдера можно обойти.
Попробуйте запустить программу с параметром -2 и зайти на заблокированный HTTPS-сайт. Если все продолжает работать, попробуйте режим -3 и -4 (наиболее быстрый).
Некоторые провайдеры, например, Мегафон и Yota, не пропускают фрагментированные пакеты по HTTP, и сайты перестают открываться вообще. С такими провайдерами используйте опцию -3 -a
Эффективное проксирование для обхода блокировок по IP
В случае блокировок по IP-адресу, провайдеры фильтруют только исходящие запросы на IP-адреса из реестра, но не входящие пакеты с этих адресов.Программа работает как эффективный прокси-сервер: исходящие от клиента пакеты отправляются на сервер ReQrypt в зашифрованном виде, сервер ReQrypt пересылает их серверу назначения с подменой исходящего IP-адреса на клиентский , сервер назначения отвечает клиенту напрямую, минуя ReQrypt.
Если наш компьютер находится за NAT, мы не можем просто отправить запрос на сервер ReQrypt и ожидать ответа от сайта. Ответ не дойдет, т.к. в таблице NAT не создана запись для этого IP-адреса.
Для «пробива» NAT, ReQrypt отправляет первый пакет в TCP-соединении напрямую сайту, но с TTL = 3. Он добавляет запись в NAT-таблицу роутера, но не доходит до сайта назначения.
Долгое время разработка была заморожена из-за того, что автор не мог найти сервер с возможностью спуфинга. Спуфинг IP-адресов часто используется для амплификации атак через DNS, NNTP и другие протоколы, из-за чего он запрещен у подавляющего большинства провайдеров. Но сервер все-таки был найден, хоть и не самый удачный. Разработка продолжается. Добавить метки