[Мои разработки] HTML-XML Парсер на Ruby

Это мощный и гибкий инструмент для парсинга веб-страниц, написанный на Ruby. Парсер предоставляет широкий набор функций для извлечения и анализа данных из HTML и XML документов.

Основные возможности

1. Базовый парсинг

Извлечение заголовка страницы
Парсинг ссылок (URL и текст)
Извлечение заголовков (h1, h2, h3)
Работа с изображениями
Парсинг мета-тегов

2. Расширенные функции

Извлечение таблиц с данными
Парсинг форм и их полей
Работа со списками (маркированными и нумерованными)
Извлечение скриптов и стилей
Поиск по CSS селекторам

3. Структурированные данные

Парсинг JSON-LD
Извлечение микроданных
Работа с HTML комментариями
Парсинг iframe элементов

4. Технический анализ

Определение используемых технологий (jQuery, Bootstrap, React, Vue)
Извлечение цветов из CSS
Анализ кодировки страницы
Поиск email адресов

5. Продвинутые возможности

Многопоточный парсинг нескольких URL
Поддержка прокси-серверов
Автоматическое определение кодировки
Сохранение результатов в различных форматах (JSON, YAML, CSV)
Интеграция с базами данных
REST API для удаленного парсинга

Исходный код: https://github.com/timcore1/HTML-XML-Parser.git