Про Проект
Для внутрішнього використання було створено парсер на Python, який збирав дані з будь-яких сервісів. Реалізована система обходу капчі та IP-блокувань. Усі зібрані дані групувалися та формувалися в єдину структуру.
Проект під NDA, посилання та скріншоти недоступні.
Стек Технологій
PythonMySqlmongoDBAWS
Результати
- Успішний реліз універсального парсера
- Збір даних з різних сервісів у автоматичному режимі
- Реалізація обходу CAPTCHA та IP-блокувань
- Нормалізація та групування даних у єдину структуру
- Збереження великих обсягів даних у MySQL та MongoDB
Бажаєте схожий проект?
Я готовий обговорити ваші завдання та запропонувати оптимальне технічне рішення.