NETTİM
← Kod Sonuçlarına Dön
Python SQL sorguları Sınıflar Fonksiyonlar Dosya işlemleri Veri dönüştürme Ağ işlemleri Lisans: Belirtilmemis

Python — if Sınıfı (multi_product_url_scraper.py)

Orijinal Kod Adı: Python — multi_product_url_scraper.py
Bu Python kodu (`multi_product_url_scraper.py`), veritabanı tabloları üzerinde sorgulama, filtreleme ve veri okuma/yazma akışını yürütür. Dosya ölçeği: 110 satır (~5.1 KB). Tanımlı sınıf/yapılar: if. Sağladığı başlıca fonksiyonlar: `get_random_user_agent` (kullanıcı getirme). Veritabanı üzerinde UPDATE (güncelleme) sorgu işlemleri yürütür. Kullandığı modül/paketler: time, openpyxl, random, selenium, selenium.webdriver.common.by, selenium.webdriver.chrome.options. Kaynak depo: nirajmalviya/product-review-scraper.

💡 Püf Noktaları:
• Tüm dinamik sorgularda `prepare()` + `execute()` parametre bağlama kullanarak SQL Injection riskini kökünden önleyin.
• Birden çok tabloyu etkileyen yazma işlemlerini `beginTransaction()` / `commit()` / `rollBack()` bloğu içinde atomik yürütün.
• `multi_product_url_scraper.py` dosyasındaki ortam bağımlı sabitleri (DSN, anahtar, URL) doğrudan kod yerine `.env` veya merkezi ayar katmanından okuyun.
• Python kodunu canlı ortama taşımadan önce kenar durumları (boş girdi, zaman aşımı, hatalı format) için test senaryosu oluşturun.

🛠️ Uygulama Tarifi:
1. Sanal ortamı (`python3 -m venv .venv`) etkinleştirip üçüncü parti paketleri (`pip install openpyxl selenium urllib`) kurun.
2. Ortam değişkenlerini ve dosya/API yollarını yerel çalışma dizinine göre ayarlayın.
3. Modülden `if` sınıfını içe aktarıp örnek oluşturarak `get_random_user_agent(...)` metodunu çağırın.
Dikkat Edilmesi Gerekenler:
• [Lisans & Telif] Kaynak kodun lisans türü net değildir (Sınırlı Önizleme); ticari projede veya dağıtımda kaynak depo telif koşullarını mutlaka doğrulayın.
• [Hata Yönetimi] Üretime almadan önce geçersiz girdi, eksik ortam değişkeni ve bağlantı kesilmesi senaryoları için istisna/hata loglamasını doğrulayın.
• [Sürüm & Test] Bağımlılık ve çalışma ortamı sürümlerini (PHP/Node/Python/DB) hedef sunucuyla eşleştirip test ortamında doğruladıktan sonra dağıtın.
Sınırlı Önizleme Politikası: Bu kodun açık kaynak lisansı doğrulanamadığı için telif kuralları gereği yalnızca kısa önizlemesi gösterilmektedir. Tam kod için orijinal kaynağa gidin ↗.
multi_product_url_scraper.py • Python
import time
import openpyxl
import random
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from urllib.parse import urlparse, parse_qs

# Function to get a random user-agent to mimic different browser requests and avoid detection
def get_random_user_agent():
    user_agents = [
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Safari/605.1.15",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36",
    ]
    return random.choice(user_agents)

# Initialize the Excel workbook to store the scraped data
workbook = openpyxl.Workbook()

# Dictionary mapping product categories to their URLs (replace these URLs with actual ones from the target website)
categories = {
    "Face Wash": "https://www.example.com/skin/cleansers/face-wash/c/8379?page_no={}&sort=popularity&eq=desktop",
    "Body Lotions": "https://www.example.com/bath-body/body-care/body-lotions-moisturizers/c/371?page_no={}&sort=popularity&eq=desktop",
    "Moisturizers": "https://www.example.com/skin/moisturizers/face-moisturizer-day-cream/c/8394?page_no={}&sort=popularity&eq=desktop"
}

# Loop through each category and its corresponding URL
for category_name, base_url in categories.items():
    # Create a new sheet in the Excel workbook for each category
    sheet = workbook.create_sheet(title=category_name)
    # Add headers for the sheet
    sheet.append(["url", "id", "product_name", "product_price", "category"])

    # Loop through pages (1 to 5) for each category to get multiple products
    for page_no in range(1, 6):

Tespit Edilen SQL Sorguları

with actual ones from the target website)
with the configured Chrome options
with the current page number
with a random delay to avoid detection
Update this class if necessary
Update this class if necessary
Update this class if necessary

Benzer Kod Örnekleri

Python — .eleventy.js
Python • SQL sorguları
Python — main.py
Python • SQL sorguları
Python — face_recog.py
Python • SQL sorguları
Python — app_settings.py
Python • SQL sorguları