NETTİM
← Kod Sonuçlarına Dön
Python SQL sorguları Sınıflar Fonksiyonlar Dosya yükleme Dosya işlemleri Veri dönüştürme Ağ işlemleri Lisans: Belirtilmemis

Python — Dosya ve Veri Dışa Aktarım/Okuma / API ve HTTP İstek İstemcisi (product-review-scraper.py)

Orijinal Kod Adı: Python — product-review-scraper.py
Bu Python kodu (`product-review-scraper.py`), veritabanı tabloları üzerinde sorgulama, filtreleme ve veri okuma/yazma akışını yürütür. Dosya ölçeği: 145 satır (~5.5 KB). Tanımlı sınıf/yapılar: Review, ResponseData, ApiResponse. Sağladığı başlıca fonksiyonlar: `remove_duplicate_reviews` (kaldırma), `scrape_product_reviews`, `load_input_file` (dosya yükleme), `read_products_from_sheet` (okuma), `process_all_categories` (tümü). Veritabanı üzerinde SQL sorgu işlemleri yürütür. Kullandığı modül/paketler: os, time, typing, openpyxl, pydantic, curl_cffi. Kaynak depo: nirajmalviya/product-review-scraper.

💡 Püf Noktaları:
• Tüm dinamik sorgularda `prepare()` + `execute()` parametre bağlama kullanarak SQL Injection riskini kökünden önleyin.
• Birden çok tabloyu etkileyen yazma işlemlerini `beginTransaction()` / `commit()` / `rollBack()` bloğu içinde atomik yürütün.
• `product-review-scraper.py` dosyasındaki ortam bağımlı sabitleri (DSN, anahtar, URL) doğrudan kod yerine `.env` veya merkezi ayar katmanından okuyun.
• Python kodunu canlı ortama taşımadan önce kenar durumları (boş girdi, zaman aşımı, hatalı format) için test senaryosu oluşturun.

🛠️ Uygulama Tarifi:
1. Sanal ortamı (`python3 -m venv .venv`) etkinleştirip üçüncü parti paketleri (`pip install openpyxl pydantic curl_cffi`) kurun.
2. Ortam değişkenlerini ve dosya/API yollarını yerel çalışma dizinine göre ayarlayın.
3. Modülden `Review` sınıfını içe aktarıp örnek oluşturarak `remove_duplicate_reviews(...)` metodunu çağırın.
Dikkat Edilmesi Gerekenler:
• [Lisans & Telif] Kaynak kodun lisans türü net değildir (Sınırlı Önizleme); ticari projede veya dağıtımda kaynak depo telif koşullarını mutlaka doğrulayın.
• [Hata Yönetimi] Üretime almadan önce geçersiz girdi, eksik ortam değişkeni ve bağlantı kesilmesi senaryoları için istisna/hata loglamasını doğrulayın.
• [Sürüm & Test] Bağımlılık ve çalışma ortamı sürümlerini (PHP/Node/Python/DB) hedef sunucuyla eşleştirip test ortamında doğruladıktan sonra dağıtın.
Sınırlı Önizleme Politikası: Bu kodun açık kaynak lisansı doğrulanamadığı için telif kuralları gereği yalnızca kısa önizlemesi gösterilmektedir. Tam kod için orijinal kaynağa gidin ↗.
product-review-scraper.py • Python
import os
import time
from typing import List, Optional
from openpyxl import Workbook, load_workbook
from pydantic import BaseModel, HttpUrl
from curl_cffi import requests as cureq
from curl_cffi.requests.errors import RequestsError

# Pydantic models to define structure for JSON parsing
# check the json structure in response via network lab
class Review(BaseModel):
    id: int
    childId: int
    title: str
    description: str
    name: str
    createdOn: str
    reviewCreationText: str
    likeCount: int
    rating: int
    isLikedByUser: bool
    isBuyer: bool
    images: Optional[List[HttpUrl]]

class ResponseData(BaseModel):
    page: int
    reviewData: List[Review]

class ApiResponse(BaseModel):
    response: ResponseData

# Function to remove duplicate reviews based on description and rating
def remove_duplicate_reviews(reviews):
    seen = set()
    unique_reviews = []
    for review in reviews:

Tespit Edilen SQL Sorguları

with ID {product_id} added under category '{category}'.
with product data

Benzer Kod Örnekleri

Python — .eleventy.js
Python • SQL sorguları
Python — main.py
Python • SQL sorguları
Python — face_recog.py
Python • SQL sorguları
Python — app_settings.py
Python • SQL sorguları