Python
SQL sorguları
Sınıflar
Fonksiyonlar
Dosya işlemleri
Veri dönüştürme
Ağ işlemleri
Lisans: Belirtilmemis
Python — if Sınıfı (multi_product_url_scraper.py)
Orijinal Kod Adı:
Python — multi_product_url_scraper.py
Bu Python kodu (`multi_product_url_scraper.py`), veritabanı tabloları üzerinde sorgulama, filtreleme ve veri okuma/yazma akışını yürütür. Dosya ölçeği: 110 satır (~5.1 KB). Tanımlı sınıf/yapılar: if. Sağladığı başlıca fonksiyonlar: `get_random_user_agent` (kullanıcı getirme). Veritabanı üzerinde UPDATE (güncelleme) sorgu işlemleri yürütür. Kullandığı modül/paketler: time, openpyxl, random, selenium, selenium.webdriver.common.by, selenium.webdriver.chrome.options. Kaynak depo: nirajmalviya/product-review-scraper.
💡 Püf Noktaları:
• Tüm dinamik sorgularda `prepare()` + `execute()` parametre bağlama kullanarak SQL Injection riskini kökünden önleyin.
• Birden çok tabloyu etkileyen yazma işlemlerini `beginTransaction()` / `commit()` / `rollBack()` bloğu içinde atomik yürütün.
• `multi_product_url_scraper.py` dosyasındaki ortam bağımlı sabitleri (DSN, anahtar, URL) doğrudan kod yerine `.env` veya merkezi ayar katmanından okuyun.
• Python kodunu canlı ortama taşımadan önce kenar durumları (boş girdi, zaman aşımı, hatalı format) için test senaryosu oluşturun.
🛠️ Uygulama Tarifi:
1. Sanal ortamı (`python3 -m venv .venv`) etkinleştirip üçüncü parti paketleri (`pip install openpyxl selenium urllib`) kurun.
2. Ortam değişkenlerini ve dosya/API yollarını yerel çalışma dizinine göre ayarlayın.
3. Modülden `if` sınıfını içe aktarıp örnek oluşturarak `get_random_user_agent(...)` metodunu çağırın.
💡 Püf Noktaları:
• Tüm dinamik sorgularda `prepare()` + `execute()` parametre bağlama kullanarak SQL Injection riskini kökünden önleyin.
• Birden çok tabloyu etkileyen yazma işlemlerini `beginTransaction()` / `commit()` / `rollBack()` bloğu içinde atomik yürütün.
• `multi_product_url_scraper.py` dosyasındaki ortam bağımlı sabitleri (DSN, anahtar, URL) doğrudan kod yerine `.env` veya merkezi ayar katmanından okuyun.
• Python kodunu canlı ortama taşımadan önce kenar durumları (boş girdi, zaman aşımı, hatalı format) için test senaryosu oluşturun.
🛠️ Uygulama Tarifi:
1. Sanal ortamı (`python3 -m venv .venv`) etkinleştirip üçüncü parti paketleri (`pip install openpyxl selenium urllib`) kurun.
2. Ortam değişkenlerini ve dosya/API yollarını yerel çalışma dizinine göre ayarlayın.
3. Modülden `if` sınıfını içe aktarıp örnek oluşturarak `get_random_user_agent(...)` metodunu çağırın.
Dikkat Edilmesi Gerekenler:
• [Lisans & Telif] Kaynak kodun lisans türü net değildir (Sınırlı Önizleme); ticari projede veya dağıtımda kaynak depo telif koşullarını mutlaka doğrulayın.
• [Hata Yönetimi] Üretime almadan önce geçersiz girdi, eksik ortam değişkeni ve bağlantı kesilmesi senaryoları için istisna/hata loglamasını doğrulayın.
• [Sürüm & Test] Bağımlılık ve çalışma ortamı sürümlerini (PHP/Node/Python/DB) hedef sunucuyla eşleştirip test ortamında doğruladıktan sonra dağıtın.
• [Lisans & Telif] Kaynak kodun lisans türü net değildir (Sınırlı Önizleme); ticari projede veya dağıtımda kaynak depo telif koşullarını mutlaka doğrulayın.
• [Hata Yönetimi] Üretime almadan önce geçersiz girdi, eksik ortam değişkeni ve bağlantı kesilmesi senaryoları için istisna/hata loglamasını doğrulayın.
• [Sürüm & Test] Bağımlılık ve çalışma ortamı sürümlerini (PHP/Node/Python/DB) hedef sunucuyla eşleştirip test ortamında doğruladıktan sonra dağıtın.
Sınırlı Önizleme Politikası: Bu kodun açık kaynak lisansı doğrulanamadığı için telif kuralları gereği yalnızca kısa önizlemesi gösterilmektedir. Tam kod için
orijinal kaynağa gidin ↗.
import time
import openpyxl
import random
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from urllib.parse import urlparse, parse_qs
# Function to get a random user-agent to mimic different browser requests and avoid detection
def get_random_user_agent():
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Safari/605.1.15",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36",
]
return random.choice(user_agents)
# Initialize the Excel workbook to store the scraped data
workbook = openpyxl.Workbook()
# Dictionary mapping product categories to their URLs (replace these URLs with actual ones from the target website)
categories = {
"Face Wash": "https://www.example.com/skin/cleansers/face-wash/c/8379?page_no={}&sort=popularity&eq=desktop",
"Body Lotions": "https://www.example.com/bath-body/body-care/body-lotions-moisturizers/c/371?page_no={}&sort=popularity&eq=desktop",
"Moisturizers": "https://www.example.com/skin/moisturizers/face-moisturizer-day-cream/c/8394?page_no={}&sort=popularity&eq=desktop"
}
# Loop through each category and its corresponding URL
for category_name, base_url in categories.items():
# Create a new sheet in the Excel workbook for each category
sheet = workbook.create_sheet(title=category_name)
# Add headers for the sheet
sheet.append(["url", "id", "product_name", "product_price", "category"])
# Loop through pages (1 to 5) for each category to get multiple products
for page_no in range(1, 6):Tespit Edilen SQL Sorguları
with actual ones from the target website)
with the configured Chrome options
with the current page number
with a random delay to avoid detection
Update this class if necessary
Update this class if necessary
Update this class if necessary