# tests/performance_test.py
import time
import requests

BASE_URL = "http://localhost:8000"

def test_response_time(operation_name, url, method="GET", data=None, count=50):
    """测试响应时间"""
    times = []
    
    for i in range(count):
        start = time.time()
        if method == "GET":
            response = requests.get(url)
        elif method == "POST":
            response = requests.post(url, json=data)
        end = time.time()
        
        if response.status_code in [200, 201]:
            times.append(end - start)
    
    return {
        "operation": operation_name,
        "count": len(times),
        "avg": sum(times) / len(times),
        "min": min(times),
        "max": max(times)
    }

# 执行测试
results = []

# 1. 创建帖子
result = test_response_time(
    "创建帖子",
    f"{BASE_URL}/api/posts",
    method="POST",
    data={"title": "测试", "content": "测试内容", "category": "科技产品"}
)
results.append(result)

# 2. 查询列表
result = test_response_time(
    "查询帖子列表",
    f"{BASE_URL}/api/posts?page=1&limit=10"
)
results.append(result)

# 3. 生成评论（注意：这个会调用LLM，时间较长）
result = test_response_time(
    "生成单条评论",
    f"{BASE_URL}/api/comments/generate",
    method="POST",
    data={"post_id": 1, "styles": ["幽默型"], "count_per_style": 1},
    count=30  # 减少次数，因为很慢
)
results.append(result)

# 4. Agent评估
result = test_response_time(
    "8个Agent评估",
    f"{BASE_URL}/api/evaluations/evaluate",
    method="POST",
    data={"comment_id": 1},
    count=20  # 减少次数
)
results.append(result)

# 输出结果（论文表格格式）
print("| 操作 | 平均响应时间 | 最小值 | 最大值 | 样本数 |")
print("|------|------------|--------|--------|--------|")
for r in results:
    print(f"| {r['operation']} | {r['avg']:.2f}s | {r['min']:.2f}s | {r['max']:.2f}s | {r['count']} |")

cd backend
poetry run python -m tests.performance_test

# locustfile.py
from locust import HttpUser, task, between

class WebsiteUser(HttpUser):
    wait_time = between(1, 3)
    
    @task(3)
    def list_posts(self):
        self.client.get("/api/posts")
    
    @task(1)
    def create_post(self):
        self.client.post("/api/posts", json={
            "title": "Test",
            "content": "Test content",
            "category": "科技产品"
        })

locust -f locustfile.py --host=http://localhost:8000

## 评论评分问卷

### 说明
请对以下评论进行评分，不要知道评论是用哪种策略生成的（盲测）。

### 原帖
标题：新款手机发布
内容：今天某品牌发布了新款手机...

### 评论1
[评论内容]

请评分：
- 内容相关性：⭐⭐⭐⭐⭐ (1-5)
- 逻辑严密性：⭐⭐⭐⭐⭐ (1-5)
- 表达流畅性：⭐⭐⭐⭐⭐ (1-5)
- 整体质量：⭐⭐⭐⭐⭐ (1-5)

import pandas as pd
import scipy.stats as stats

# 加载数据
data = pd.read_csv("prompt_experiment_results.csv")

# 按策略分组，计算平均分
strategy_scores = data.groupby('strategy')['avg_score'].agg(['mean', 'std'])

print(strategy_scores)

# 方差分析（ANOVA）
策略A_scores = data[data['strategy'] == 'A']['avg_score']
策略B_scores = data[data['strategy'] == 'B']['avg_score']
策略C_scores = data[data['strategy'] == 'C']['avg_score']

f_stat, p_value = stats.f_oneway(策略A_scores, 策略B_scores, 策略C_scores)

print(f"F统计量: {f_stat:.2f}")
print(f"p值: {p_value:.4f}")

if p_value < 0.05:
    print("结论：不同策略之间存在显著差异（p < 0.05）")

# 社交媒体评论质量评估问卷

## 说明
您好！这是一项学术研究，旨在评估社交媒体评论的质量。
请根据您的真实感受为每条评论评分。

## 评分标准
1. 内容相关性：评论与帖子的相关程度（1-5分，5分最高）
2. 情感共鸣：是否能引起您的情感共鸣（1-5分）
3. 讨论价值：是否能引发有意义的讨论（1-5分）
4. 表达质量：语言是否流畅、准确（1-5分）

---

### 第1组

**原帖：**
标题：新款iPhone发布
内容：今天苹果发布了新款iPhone...（完整内容）
分类：科技产品

**评论1：**
"又是挤牙膏升级，建议等等党永远等😂 不过认真说，影像系统确实有提升，就是价格劝退。"

**请评分：**
- 内容相关性：1 2 3 4 5
- 情感共鸣：1 2 3 4 5
- 讨论价值：1 2 3 4 5
- 表达质量：1 2 3 4 5

---

（重复50次）

import pandas as pd

# 读取Agent评估数据
agent_data = pd.read_csv("agent_evaluations.csv")

# 按评论ID分组，计算每条评论的平均分
agent_avg = agent_data.groupby('comment_id').agg({
    'relevance_score': 'mean',
    'emotional_score': 'mean',
    'discussion_score': 'mean',
    'quality_score': 'mean',
    'overall_score': 'mean'
}).reset_index()

agent_avg.to_csv("agent_avg_scores.csv", index=False)

# 读取用户评估数据
user_data = pd.read_csv("user_evaluations.csv")

# 按评论ID分组，计算每条评论的平均分
user_avg = user_data.groupby('comment_id').agg({
    'relevance_score': 'mean',
    'emotional_score': 'mean',
    'discussion_score': 'mean',
    'quality_score': 'mean'
}).reset_index()

# 计算综合评分
user_avg['overall_score'] = user_avg[['relevance_score', 'emotional_score', 
                                       'discussion_score', 'quality_score']].mean(axis=1)

user_avg.to_csv("user_avg_scores.csv", index=False)

import pandas as pd
import numpy as np
from scipy import stats
import matplotlib.pyplot as plt

# 读取数据
agent_avg = pd.read_csv("agent_avg_scores.csv")
user_avg = pd.read_csv("user_avg_scores.csv")

# 合并数据
merged = pd.merge(agent_avg, user_avg, on='comment_id', suffixes=('_agent', '_user'))

# 计算相关系数
correlations = {}
for dimension in ['relevance', 'emotional', 'discussion', 'quality', 'overall']:
    agent_col = f'{dimension}_score_agent'
    user_col = f'{dimension}_score_user'
    
    r, p = stats.pearsonr(merged[agent_col], merged[user_col])
    correlations[dimension] = {'r': r, 'p': p}
    
    print(f"{dimension}: r = {r:.3f}, p = {p:.4f}")

# 输出论文表格
print("\n论文表格（表5-8）：")
print("| 维度 | Pearson相关系数 | p值 | 显著性 |")
print("|------|----------------|------|--------|")
for dim, stats in correlations.items():
    sig = "***" if stats['p'] < 0.001 else ("**" if stats['p'] < 0.01 else "*")
    print(f"| {dim} | {stats['r']:.2f} | {stats['p']:.4f} | {sig} |")

# 绘制散点图（综合评分）
plt.figure(figsize=(8, 6))
plt.scatter(merged['overall_score_agent'], merged['overall_score_user'], alpha=0.6)
plt.xlabel('Agent平均评分')
plt.ylabel('用户平均评分')
plt.title('Agent评分 vs 用户评分')

# 拟合线
z = np.polyfit(merged['overall_score_agent'], merged['overall_score_user'], 1)
p = np.poly1d(z)
plt.plot(merged['overall_score_agent'], p(merged['overall_score_agent']), "r--")

plt.savefig('agent_vs_user_scatter.png', dpi=300)
plt.show()

# 按Agent分组
agent_stats = agent_data.groupby('agent_persona').agg({
    'overall_score': ['mean', 'std'],
    'action': lambda x: (x == 'like').sum() / len(x)  # 点赞率
}).reset_index()

print("表5-9：各Agent的平均评分和严格度")

import seaborn as sns

plt.figure(figsize=(12, 6))
sns.boxplot(data=agent_data, x='agent_persona', y='overall_score')
plt.xticks(rotation=45)
plt.title('各Agent评分分布')
plt.savefig('agent_boxplot.png', dpi=300)

plt.figure(figsize=(10, 6))
plt.bar(agent_stats['agent_persona'], agent_stats['like_rate'])
plt.xlabel('Agent')
plt.ylabel('点赞率')
plt.title('各Agent点赞率对比')
plt.xticks(rotation=45)
plt.savefig('agent_like_rate.png', dpi=300)

# 实验日志

## 实验5：多Agent评估有效性验证

**日期：** 2026年4月3日
**实验人员：** [你的姓名]

### 实验准备
- [x] 准备10个测试帖子
- [x] 生成50条评论
- [x] Agent评估完成
- [x] 用户问卷发布

### 实验执行
- 14:00 开始Agent评估，预计耗时30分钟
- 14:35 Agent评估完成，保存数据
- 15:00 用户问卷发布，分享给20位志愿者
- 次日10:00 收集到20份有效问卷

### 数据分析
- 运行correlation_analysis.py
- 生成散点图和相关系数表

### 结果
- 综合评分相关系数：0.72
- p值：<0.001
- 结论：假设验证通过！✅

### 问题记录
- 问题1：某个Agent返回格式错误，已修复
- 问题2：...

### 下一步
- 撰写论文第5.6节
- 准备答辩PPT