PROJEKT

Scraping stron internetowych w celu pozyskiwania uporządkowanych danych kontaktowych

Dedykowane tworzenie oprogramowania, Scraping danych ze stron internetowych, Ekstrakcja danych kontaktowych, Tworzenie wielokrotnego użytku scrapera, Czyszczenie i walidacja danych, Eksport do CSV i Excel, Eksport do JSON, Dane gotowe do importu do CRM

  • Branża: Badania rynku
  • Chorwacja Lokalizacja: Chorwacja
  • Czas realizacji: 10 tygodnie
  • Technologie: Python, JavaScript / TypeScript (Node.js)
3 miesięcy

Klient poświęca czas na zbieranie danych kontaktowych i informacji o firmach z ich stron internetowych, publicznych baz danych oraz katalogów online. Oprogramowanie to dedykowane rozwiązanie do scrapowania stron internetowych, które przyjmuje adresy źródeł i wybrane pola. Wyodrębnia rekordy kontaktowe, czyści je i waliduje, a następnie zwraca uporządkowane pliki dla zespołu badań rynku. Wielokrotnego użytku ekstrakcja ogranicza zależność cyklicznego zbierania danych od ręcznego wprowadzania.

Podsumowanie

Problem

Klient poświęca czas na ręczne zbieranie i sprawdzanie danych kontaktowych.

Rozwiązanie

Rozwiązaniem stał się wielokrotnego użytku scraper do wyodrębniania, czyszczenia, walidowania i porządkowania określonych danych ze stron internetowych.

Rezultat

Oprogramowanie ma ograniczyć ręczne zbieranie danych i ponowne wykonywanie pracy w procesach związanych z danymi do badań rynku.

Historia klienta

Klientem jest firma z Chorwacji zajmująca się badaniami rynku. Zbiera nazwy firm, adresy e-mail i numery telefonów ze stron internetowych firm, publicznych baz danych i katalogów online.

Dane obejmują również adresy fizyczne i inne informacje biznesowe.

Zespół przygotowuje dane kontaktowe do analiz rynku, rozwoju biznesu, kontaktu telefonicznego i importu do CRM. Ręczne zbieranie, wielokrotne sprawdzanie i duplikaty rekordów pochłaniają czas oraz powodują konieczność ponownej pracy.

Prośba była prosta: wyodrębniać wybrane pola kontaktowe ze zdefiniowanych źródeł, ponawiać zbieranie danych w razie potrzeby i dostarczać czyste, uporządkowane pliki.

Rozwiązanie oparto na ekranie konfiguracji źródeł, monitorze procesu, obszarze czyszczenia danych i ustawieniach eksportu. Rekordy można było sprawdzić przed użyciem.

Klient potrzebował

  1. Wyodrębniania pól kontaktowych ze stron internetowych, baz danych, katalogów i źródeł online
  2. Uruchamiania wielokrotnego użytku scrapera oraz otrzymania jego kodu źródłowego lub notebooka
  3. Czyszczenia, walidowania, porządkowania i usuwania duplikatów zebranych rekordów
  4. Eksportu uporządkowanych danych do formatów CSV, Excel, JSON lub kategoryzowanych skoroszytów

Dlaczego gotowe oprogramowanie nie pasowało

Gotowe narzędzia do ekstrakcji danych realizują część zadania, ale ich opisy nie obejmują jednocześnie dokładnych pól klienta, zasad czyszczenia i plików wyjściowych. Potrzebne było dedykowane rozwiązanie, które połączy powtarzalny scraping z walidacją, usuwaniem duplikatów, uporządkowanymi skoroszytami i wielokrotnego użytku kodem w jednym procesie.

Opis projektu

Rozwiązanie zaprojektowano wokół rzeczywistych źródeł, pól i zasad klienta. Pierwszy ekran służy do określenia adresów stron internetowych, pól kontaktowych i cyklicznych ustawień ekstrakcji przed rozpoczęciem procesu.

Aby obsługiwać zbieranie danych z jednego lub wielu źródeł, udostępniono monitor ekstrakcji. W jednym miejscu pokazuje on stan procesu, adresy źródeł, wyodrębnione rekordy oraz informacje o ładowaniu lub dostępie.

Następnie rekordy przechodzą przez czyszczenie i weryfikację. Dopasowania duplikatów, status walidacji, pola kontaktowe i kategorie pozostają widoczne, aby menedżer danych mógł przygotować spójną listę kontaktów.

Końcowy ekran zaprojektowano z myślą o praktycznym przekazaniu danych. Umożliwia eksport uporządkowanych rekordów do formatów CSV, Excel lub JSON oraz zachowuje instrukcje konfiguracji i notatki dotyczące procesu wraz z plikiem.

Scraper korzysta z wielokrotnego użytku kodu i można go dostosować do zasad klienta. Dokumentacja i materiały szkoleniowe wspierają samodzielną pracę z systemem.

Najważniejsze dostarczone funkcje

  • Konfiguracja listy stron internetowych i źródeł
  • Ekstrakcja wybranych pól kontaktowych
  • Scraping wielokrotnego użytku z możliwością ponownego uruchomienia
  • Monitorowanie procesu ekstrakcji
  • Zbieranie adresów e-mail i numerów telefonów
  • Walidacja i czyszczenie rekordów
  • Wykrywanie i usuwanie duplikatów
  • Kategoryzacja danych kontaktowych
  • Eksport do CSV, Excel i JSON

Można dodać

+ Cykliczne aktualizacje bazy Excel + Weryfikację adresów e-mail i domen + Kategoryzację na podstawie słów kluczowych + Kategoryzację na podstawie dat + Omówienie kodu źródłowego + Dodatkowe metody scrapingu

Kto jeszcze może korzystać z tego rozwiązania

Te firmy mają podobne zadania, a to samo rozwiązanie można dostosować do ich źródeł, pól i zasad dostarczania danych.

Firma świadcząca usługi biznesowe

Zadanie Zbiera informacje o firmach i dane kontaktowe z publicznych stron internetowych oraz katalogów.
Jak pomaga rozwiązanie Rozwiązanie wyodrębnia wybrane pola, usuwa duplikaty rekordów i przygotowuje pliki do importu do CRM lub rozwoju biznesu.
Usługi biznesowe

Firma świadcząca usługi profesjonalne

Zadanie Tworzy listy kontaktów na podstawie stron internetowych firm i źródeł online.
Jak pomaga rozwiązanie Rozwiązanie zbiera adresy e-mail, numery telefonów i informacje biznesowe w uporządkowanych plikach.
Usługi profesjonalne

Stos technologiczny

Python

Scraping i automatyzacja przeglądarki

Python obsługuje crawling stron, parsowanie i ekstrakcję z użyciem przeglądarki.

JavaScript / TypeScript (Node.js)

Przetwarzanie uporządkowanych plików

JavaScript i TypeScript obsługują przetwarzanie uporządkowanych plików.

Scrapy

Crawling i scraping stron internetowych

Scrapy (framework do crawlowania i scrapowania stron internetowych) zbiera rekordy ze zdefiniowanych źródeł.

BeautifulSoup

Parsowanie stron HTML

BeautifulSoup (biblioteka odczytująca informacje ze stron internetowych) parsuje zawartość stron i wyszukuje określone pola.

selenium

Ekstrakcja z użyciem przeglądarki

selenium (narzędzie sterujące przeglądarką internetową) wspiera ekstrakcję, gdy sposób ładowania wymaga użycia przeglądarki.

csv-parse

Odczyt i parsowanie plików CSV

csv-parse (biblioteka Node.js do odczytu plików CSV) odczytuje uporządkowane dane CSV.

maatwebsite/excel

Eksport do Excel i CSV

maatwebsite/excel (pakiet Laravel do plików Excel i CSV) wspiera dostarczanie uporządkowanych arkuszy.

jsonify

Obsługa danych JSON

jsonify (biblioteka JavaScript do pracy z JSON) obsługuje rekordy JSON bez zmieniania obiektów globalnych.

CSV, Excel, JSON

Dostarczanie uporządkowanych danych

Formaty te zawierają uporządkowane rekordy kontaktowe do analiz, importu do CRM i innych zastosowań biznesowych.

Integracje

CRM systems

Rozwiązanie eksportuje uporządkowane rekordy kontaktowe w formatach odpowiednich do importu do CRM.

Excel

Rozwiązanie eksportuje skategoryzowane dane kontaktowe i uporządkowane skoroszyty jako pliki Excel.

CSV files

Rozwiązanie odczytuje i zapisuje rozdzielane przecinkami rekordy kontaktowe na potrzeby uporządkowanej wymiany danych.

JSON files

Rozwiązanie dostarcza uporządkowane rekordy w formacie JSON do systemów korzystających z tego formatu.

Email verification service

Usługa weryfikacji e-maili może sprawdzać adresy e-mail i domeny przed dostarczeniem danych.

Rezultat

Ustaw precyzyjne źródła i pola przed rozpoczęciem zbierania danych

Pierwszy ekran precyzyjnie określa żądanie ekstrakcji. Adresy stron internetowych, listy źródeł i wybrane pola kontaktowe określają, co zbiera scraper.

Jak to działa

  1. Oprogramowanie przechowuje określone strony internetowe i listy źródeł.
  2. Oprogramowanie zachowuje wybrane pola, takie jak e-mail, numer telefonu i adres pocztowy.
  3. Oprogramowanie przechowuje cykliczne ustawienia ekstrakcji na potrzeby kolejnych uruchomień.
  • Adresy e-mail i numery telefonów są dostępne jako oddzielne pola kontaktowe.
  • Adresy fizyczne i informacje biznesowe można uwzględnić w wybranych polach.
Konfiguracja źródeł i pól

Konfiguracja źródeł i pól

Funkcje na tym ekranie
Scraping danych ze stron internetowych Scraping adresów e-mail Ekstrakcja numerów telefonów Ekstrakcja adresów fizycznych

Śledź postęp ekstrakcji i zebrane rekordy

Monitor ekstrakcji łączy adresy źródeł, status procesu i wyodrębnione rekordy. Ostrzeżenia dotyczące dostępu i informacje o ładowaniu pokazują zachowanie źródeł podczas zbierania danych.

Zespół otrzymuje jasny podgląd rekordów zwróconych z jednej lub wielu stron internetowych przed etapem czyszczenia.

Jak to działa

  1. Scrapy (framework do crawlowania i scrapowania stron internetowych) zbiera dane z wymienionych źródeł.
  2. BeautifulSoup (biblioteka parsująca strony internetowe) odczytuje zawartość stron i wyodrębnia określone pola.
  3. Oprogramowanie pokazuje stan procesu, adresy źródeł, wyodrębnione dane oraz informacje o ładowaniu lub dostępie.
  • Ekstrakcja obsługuje wiele stron i serwisów internetowych.
  • Scraper można ponownie uruchomić z użyciem wielokrotnego użytku reguł.
Uwaga: Zasady zbierania danych muszą uwzględniać sposób działania stron, warunki platform, przepisy dotyczące prywatności, RODO i inne obowiązujące wymogi.
Monitor procesu ekstrakcji

Monitor procesu ekstrakcji

Funkcje na tym ekranie
Scraping danych ze stron internetowych Ekstrakcja danych

Przygotuj czystsze rekordy kontaktowe

Ekran czyszczenia zapewnia menedżerowi danych jedno miejsce do sprawdzania statusu walidacji, dopasowań duplikatów i kategorii. Rekordy kontaktowe pozostają uporządkowane przed eksportem.

Wskaźniki duplikatów pomagają oddzielić powtarzające się wpisy od użytecznej listy kontaktów, a kategorie przygotowują dane do analiz lub kontaktu z odbiorcami.

Jak to działa

  1. Oprogramowanie wyświetla adresy e-mail, numery telefonów i adresy pocztowe w tabeli kontaktów.
  2. Oprogramowanie porównuje rekordy oraz wyświetla dopasowania duplikatów i status walidacji.
  3. Oprogramowanie stosuje kategorie do uporządkowanych rekordów kontaktowych.
  • Rekordy można kategoryzować według dat lub słów kluczowych.
  • Usługa deduplikacji danych może wspierać zapobieganie duplikatom.
Czyszczenie i usuwanie duplikatów

Czyszczenie i usuwanie duplikatów

Funkcje na tym ekranie
Porządkowanie danych kontaktowych Zapobieganie duplikatom Usługa deduplikacji danych Czyszczenie dużych zbiorów danych Kategoryzacja danych Ekstrakcja danych kontaktowych

Dostarczaj dane w formacie używanym przez zespół

Ekran eksportu zamienia sprawdzone rekordy w praktyczny pakiet do analiz lub importu do CRM. CSV, Excel i JSON zapewniają elastyczność dostarczania danych bez zmiany pól źródłowych.

Instrukcje konfiguracji i notatki dotyczące procesu pozostają powiązane z ustawieniami dostarczania, pomagając zespołowi zrozumieć działanie ekstrakcji.

Jak to działa

  1. Oprogramowanie przygotowuje uporządkowane rekordy kontaktowe do eksportu w formacie CSV, Excel lub JSON.
  2. Oprogramowanie tworzy podsumowanie pliku dla wybranego formatu.
  3. Oprogramowanie udostępnia odnośniki do instrukcji konfiguracji lub notatek dotyczących procesu.
  • Pliki CSV wspierają uporządkowaną wymianę danych.
  • Pliki Excel wspierają kategoryzowane skoroszyty.
  • Pliki JSON wspierają wykorzystanie danych między systemami.
Ustawienia eksportu i dostarczania danych

Ustawienia eksportu i dostarczania danych

Funkcje na tym ekranie
Eksport list kontaktów firmowych Narzędzie do eksportu Excel Zarządzanie danymi CSV

Co zapewnia rozwiązanie

Dzięki temu rozwiązaniu firma zajmująca się badaniami rynku może:

  • Zbierać określone pola kontaktowe i biznesowe ze zdefiniowanych źródeł online
  • Ponownie uruchamiać reguły ekstrakcji na potrzeby cyklicznego zbierania danych
  • Sprawdzać status walidacji i dopasowania duplikatów przed dostarczeniem danych
  • Porządkować rekordy według kategorii, takich jak daty lub słowa kluczowe
  • Eksportować czyste dane kontaktowe do analiz i importu do CRM
  • Utrzymywać wielokrotnego użytku kod, instrukcje konfiguracji i notatki dotyczące procesu

Czy gotowe systemy mogłyby wykonać to zadanie?

Przed rozpoczęciem projektowania porównano zadanie z gotowymi produktami na podstawie ich własnych opisów.

Czego potrzebuje klient API do scrapowania stron internetowych Zyte, Scrapfly, ScrapingBee Narzędzia do scrapowania stron internetowych Octoparse, Oxylabs Oprogramowanie do ekstrakcji danych Data Extraction Dedykowane rozwiązanie
Ekstrakcja pól kontaktowych ze źródeł częściowo
Ponowne uruchamianie scrapera z kodem źródłowym — częściowo częściowo
Czyszczenie i usuwanie duplikatów rekordów — częściowo
Eksport uporządkowanych plików kontaktowych
Dopasowanie do własnych zasad klienta: etapów, ról i raportów — — —
Wszystkie etapy w jednym miejscu — — —
Brak ręcznych czynności między programami częściowo — częściowo

Na podstawie publicznych opisów produktów i ich kategorii.

Gotowe produkty obsługują dostęp do stron, crawling, ekstrakcję i dostarczanie plików, natomiast ogólne oprogramowanie do ekstrakcji danych obejmuje szersze pozyskiwanie danych.

Gotowy produkt wystarczy, gdy zadanie wymaga tylko jednego z tych elementów. Ten klient potrzebował własnego oprogramowania, ponieważ wymagane pola, zasady czyszczenia, kategorie, wielokrotnego użytku kod i eksporty musiały działać razem w jednym miejscu.

Produkty opisują automatyczne zbieranie danych, ale zasady klienta dotyczące weryfikacji, walidacji, usuwania duplikatów i dostarczania danych nadal wymagają dopasowanego procesu.

Podsumowanie

Ostatecznie rozwiązanie stworzono po to, aby usunąć ręczną pracę z procesu prowadzącego od publicznych źródeł online do czystych plików kontaktowych.

FAQ

Rozważasz stworzenie podobnego systemu? Przeczytaj poniższe odpowiedzi, aby zobaczyć, jak scraping, uporządkowane eksporty i dedykowane zasady mogą współpracować.

Potrzebujesz czegoś podobnego? Porozmawiajmy
Lub zobacz więcej projektów