A/B нельзя —
измеряем эффект
ценовой политики
через PSM + DiD

from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
import pandas as pd
import numpy as np

features = ['avg_revenue_90d', 'orders_90d', 'days_active_90d',
            'avg_check', 'category_encoded']

X = pre_df[features]
y = pre_df['treated']   # 1 = обработанный регион, 0 = контрольный

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

lr = LogisticRegression(random_state=42, max_iter=500, C=1.0)
lr.fit(X_scaled, y)

# Propensity score = P(treated=1 | X)
pre_df['propensity'] = lr.predict_proba(X_scaled)[:, 1]

print(f"Treated mean propensity: {pre_df[pre_df['treated']==1]['propensity'].mean():.3f}")
print(f"Control mean propensity: {pre_df[pre_df['treated']==0]['propensity'].mean():.3f}")
# Expected: treated ~0.72, control ~0.31 — до матчинга группы сильно различаются

treated = pre_df[pre_df['treated'] == 1].copy().reset_index(drop=True)
control = pre_df[pre_df['treated'] == 0].copy().reset_index(drop=True)

caliper = 0.05
matched_pairs = []
used_control_idx = set()

for _, t_row in treated.iterrows():
    # Расстояние по propensity до каждого контрольного
    dists = np.abs(control['propensity'] - t_row['propensity'])
    # Исключаем уже использованных (without replacement)
    dists[list(used_control_idx)] = np.inf
    best_idx = dists.idxmin()

    if dists[best_idx] <= caliper:
        matched_pairs.append({
            'treated_id': t_row['seller_id'],
            'control_id': control.loc[best_idx, 'seller_id'],
            'ps_diff':    dists[best_idx]
        })
        used_control_idx.add(best_idx)

matched_df_info = pd.DataFrame(matched_pairs)
print(f"Matched pairs: {len(matched_df_info)}")
print(f"Unmatched treated: {len(treated) - len(matched_df_info)}")
# Пример вывода: Matched pairs: 1847, Unmatched treated: 203

def smd(treated_col, control_col):
    mean_diff = treated_col.mean() - control_col.mean()
    pooled_std = np.sqrt((treated_col.std()**2 + control_col.std()**2) / 2)
    return abs(mean_diff / pooled_std)

# Полный датасет (до матчинга)
treated_full = pre_df[pre_df['treated']==1]
control_full  = pre_df[pre_df['treated']==0]

# После матчинга — только matched продавцы
treated_matched = matched_df[matched_df['treated']==1]
control_matched  = matched_df[matched_df['treated']==0]

print(f"{'Признак':<25} {'SMD до':>10} {'SMD после':>10} {'OK?':>6}")
for feat in features:
    before = smd(treated_full[feat], control_full[feat])
    after  = smd(treated_matched[feat], control_matched[feat])
    ok = '✓' if after < 0.1 else '✗'
    print(f"{feat:<25} {before:>10.3f} {after:>10.3f} {ok:>6}")

import statsmodels.formula.api as smf

# did = treated * post — interaction term, это и есть DiD-оценка
df_did['did'] = df_did['treated'] * df_did['post']

model = smf.ols(
    'revenue_per_seller ~ treated + post + did'
    '+ avg_revenue_90d + orders_90d',  # контрольные переменные pre-period
    data=df_did
).fit(cov_type='HC3')  # робастные ошибки — гетероскедастичность по регионам

# Основные результаты
print(model.summary().tables[1])

# Ключевые выводы из output:
# Intercept:  ...  (базовый уровень control pre-period)
# treated:    ...  (фиксированный эффект региона)
# post:       ...  (общий временной тренд)
# did:        +6.8%,  p=0.006,  95% CI [3.1; 10.6]  ← ЭТО НАШ ОТВЕТ

# Проверяем, что до вмешательства тренды в группах шли параллельно
# Берём только pre-period и разбиваем на два под-периода: янв-фев vs март

pre_only = df_did[df_did['post'] == 0].copy()
pre_only['late_pre'] = (pre_only['month'] == 'march').astype(int)
pre_only['placebo_did'] = pre_only['treated'] * pre_only['late_pre']

placebo = smf.ols(
    'revenue_per_seller ~ treated + late_pre + placebo_did',
    data=pre_only
).fit(cov_type='HC3')

print(f"Placebo DiD (должен быть незначим): {placebo.params['placebo_did']:.4f}")
print(f"p-value: {placebo.pvalues['placebo_did']:.3f}")
# Результат: placebo_did = 0.0031, p = 0.71 — незначимо ✓
# Параллельные тренды в pre-period подтверждены