Проксі-сервер — це комп’ютер, який звертається до інтернету від вашого імені. Браузер чи скрипт підключається не до сайту безпосередньо, а до проксі, і вже проксі підключається до сайту. Сайт відповідає проксі, а проксі передає відповідь вам.
Цей невеликий обхідний шлях змінює одну важливу річ: сайт бачить IP-адресу проксі, а не вашу.
Як запит проходить через проксі
- Ваша програма відкриває з’єднання з проксі — наприклад,
203.0.113.10:8080. - Вона повідомляє проксі, куди потрібно потрапити:
example.com, порт 443. - Проксі відкриває власне з’єднання з
example.com. - Дані йдуть в обидва боки через проксі, доки одна зі сторін не закриє з’єднання.
На HTTPS-сайтах вміст залишається зашифрованим на всьому шляху. Проксі знає, який хост ви відвідуєте, але не може прочитати сторінки, паролі чи cookie всередині зашифрованого тунелю.
Що бачить сайт
- IP-адресу — вихідний IP проксі. Від нього ж залежить, з якої країни ви нібито заходите.
- Заголовки — усе, що надсилає ваш браузер, плюс те, що додає проксі. Деякі проксі дописують
X-Forwarded-Forіз вашим справжнім IP, інші не додають нічого. Саме про це — рівні анонімності. - Час відповіді — запити через віддалений проксі тривають довше, тому в списку безкоштовних проксі для кожного проксі вказано виміряну затримку.
Основні типи проксі
За протоколом:
- HTTP проксі розуміють вебзапити. Їх найпростіше використовувати в браузерах і парсерах.
- SOCKS4 і SOCKS5 проксі передають будь-яке TCP-з’єднання, не зазираючи всередину. SOCKS5 також підтримує UDP та автентифікацію. Детальне порівняння — у статті HTTP чи SOCKS5.
За походженням IP-адреси:
- Серверні проксі (datacenter) працюють на серверах хостинг-компаній. Вони швидкі й дешеві, але сайти легко їх розпізнають.
- Резидентні проксі використовують IP-адреси домашніх інтернет-підключень і нічим не відрізняються від звичайних відвідувачів.
- Мобільні проксі пропускають трафік через мобільні мережі, де одну IP-адресу ділять тисячі реальних абонентів.
За доступом:
- Публічні (безкоштовні) проксі відкриті для всіх. Саме з таких серверів складається наш список.
- Приватні проксі орендує один клієнт, а доступ до них захищено логіном і паролем.
Для чого використовують проксі
- Побачити сайт таким, яким його бачать в іншій країні: ціни, пошукову видачу, рекламу, доступний контент.
- Збирати відкриті дані у великих обсягах, не впираючись в обмеження однієї IP-адреси.
- Тестувати власний сайт, геотаргетинг і файрвол ззовні.
- Приховувати домашню IP-адресу від сайтів, які ви відвідуєте.
- Отримувати доступ до ресурсів, заблокованих у вашій мережі.
Проксі чи VPN
VPN шифрує весь трафік пристрою і спрямовує його через один сервер. Проксі працює на рівні окремої програми: ви налаштовуєте його в браузері чи скрипті, і через нього йде лише цей трафік. Проксі гнучкіші — парсер може одночасно використовувати сотні різних проксі, — а VPN простіший, коли треба захистити весь пристрій.
Чи безпечні безкоштовні проксі?
Публічний проксі — це чужий сервер. Ставтеся до нього як до ненадійного: відкривайте лише HTTPS-сайти, ніколи не передавайте через нього паролі чи платіжні дані й будьте готові, що він зникне будь-якої миті. Для всього важливого використовуйте приватні проксі від провайдера, якому довіряєте.
З чого почати
Відкрийте список безкоштовних проксі, відфільтруйте його за протоколом і країною та оберіть проксі, перевірений кілька секунд тому. У посібнику як налаштувати проксі наведено точні налаштування для браузерів, curl і Python.