Python
SQL sorguları
Sınıflar
Fonksiyonlar
Dosya yükleme
Dosya işlemleri
Veri dönüştürme
Ağ işlemleri
Lisans: Belirtilmemis
Python — Dosya ve Veri Dışa Aktarım/Okuma / API ve HTTP İstek İstemcisi (product-review-scraper.py)
Orijinal Kod Adı:
Python — product-review-scraper.py
Bu Python kodu (`product-review-scraper.py`), veritabanı tabloları üzerinde sorgulama, filtreleme ve veri okuma/yazma akışını yürütür. Dosya ölçeği: 145 satır (~5.5 KB). Tanımlı sınıf/yapılar: Review, ResponseData, ApiResponse. Sağladığı başlıca fonksiyonlar: `remove_duplicate_reviews` (kaldırma), `scrape_product_reviews`, `load_input_file` (dosya yükleme), `read_products_from_sheet` (okuma), `process_all_categories` (tümü). Veritabanı üzerinde SQL sorgu işlemleri yürütür. Kullandığı modül/paketler: os, time, typing, openpyxl, pydantic, curl_cffi. Kaynak depo: nirajmalviya/product-review-scraper.
💡 Püf Noktaları:
• Tüm dinamik sorgularda `prepare()` + `execute()` parametre bağlama kullanarak SQL Injection riskini kökünden önleyin.
• Birden çok tabloyu etkileyen yazma işlemlerini `beginTransaction()` / `commit()` / `rollBack()` bloğu içinde atomik yürütün.
• `product-review-scraper.py` dosyasındaki ortam bağımlı sabitleri (DSN, anahtar, URL) doğrudan kod yerine `.env` veya merkezi ayar katmanından okuyun.
• Python kodunu canlı ortama taşımadan önce kenar durumları (boş girdi, zaman aşımı, hatalı format) için test senaryosu oluşturun.
🛠️ Uygulama Tarifi:
1. Sanal ortamı (`python3 -m venv .venv`) etkinleştirip üçüncü parti paketleri (`pip install openpyxl pydantic curl_cffi`) kurun.
2. Ortam değişkenlerini ve dosya/API yollarını yerel çalışma dizinine göre ayarlayın.
3. Modülden `Review` sınıfını içe aktarıp örnek oluşturarak `remove_duplicate_reviews(...)` metodunu çağırın.
💡 Püf Noktaları:
• Tüm dinamik sorgularda `prepare()` + `execute()` parametre bağlama kullanarak SQL Injection riskini kökünden önleyin.
• Birden çok tabloyu etkileyen yazma işlemlerini `beginTransaction()` / `commit()` / `rollBack()` bloğu içinde atomik yürütün.
• `product-review-scraper.py` dosyasındaki ortam bağımlı sabitleri (DSN, anahtar, URL) doğrudan kod yerine `.env` veya merkezi ayar katmanından okuyun.
• Python kodunu canlı ortama taşımadan önce kenar durumları (boş girdi, zaman aşımı, hatalı format) için test senaryosu oluşturun.
🛠️ Uygulama Tarifi:
1. Sanal ortamı (`python3 -m venv .venv`) etkinleştirip üçüncü parti paketleri (`pip install openpyxl pydantic curl_cffi`) kurun.
2. Ortam değişkenlerini ve dosya/API yollarını yerel çalışma dizinine göre ayarlayın.
3. Modülden `Review` sınıfını içe aktarıp örnek oluşturarak `remove_duplicate_reviews(...)` metodunu çağırın.
Dikkat Edilmesi Gerekenler:
• [Lisans & Telif] Kaynak kodun lisans türü net değildir (Sınırlı Önizleme); ticari projede veya dağıtımda kaynak depo telif koşullarını mutlaka doğrulayın.
• [Hata Yönetimi] Üretime almadan önce geçersiz girdi, eksik ortam değişkeni ve bağlantı kesilmesi senaryoları için istisna/hata loglamasını doğrulayın.
• [Sürüm & Test] Bağımlılık ve çalışma ortamı sürümlerini (PHP/Node/Python/DB) hedef sunucuyla eşleştirip test ortamında doğruladıktan sonra dağıtın.
• [Lisans & Telif] Kaynak kodun lisans türü net değildir (Sınırlı Önizleme); ticari projede veya dağıtımda kaynak depo telif koşullarını mutlaka doğrulayın.
• [Hata Yönetimi] Üretime almadan önce geçersiz girdi, eksik ortam değişkeni ve bağlantı kesilmesi senaryoları için istisna/hata loglamasını doğrulayın.
• [Sürüm & Test] Bağımlılık ve çalışma ortamı sürümlerini (PHP/Node/Python/DB) hedef sunucuyla eşleştirip test ortamında doğruladıktan sonra dağıtın.
Sınırlı Önizleme Politikası: Bu kodun açık kaynak lisansı doğrulanamadığı için telif kuralları gereği yalnızca kısa önizlemesi gösterilmektedir. Tam kod için
orijinal kaynağa gidin ↗.
import os
import time
from typing import List, Optional
from openpyxl import Workbook, load_workbook
from pydantic import BaseModel, HttpUrl
from curl_cffi import requests as cureq
from curl_cffi.requests.errors import RequestsError
# Pydantic models to define structure for JSON parsing
# check the json structure in response via network lab
class Review(BaseModel):
id: int
childId: int
title: str
description: str
name: str
createdOn: str
reviewCreationText: str
likeCount: int
rating: int
isLikedByUser: bool
isBuyer: bool
images: Optional[List[HttpUrl]]
class ResponseData(BaseModel):
page: int
reviewData: List[Review]
class ApiResponse(BaseModel):
response: ResponseData
# Function to remove duplicate reviews based on description and rating
def remove_duplicate_reviews(reviews):
seen = set()
unique_reviews = []
for review in reviews:Tespit Edilen SQL Sorguları
with ID {product_id} added under category '{category}'.
with product data