720402ffe7
🎉 主要更新:
后端:
- 全新华为应用市场爬虫系统
- 三表分离数据库设计 (app_info, app_metrics, app_rating)
- 完整的API接口 (搜索、分类、热门、上新等)
- 元服务自动识别和分类
- 智能Token管理和数据处理
- 修复热门应用重复显示问题
前端:
- 全新首页设计 (今日上架、热门应用)
- 应用页面 (彩色分类磁贴、智能图标匹配)
- 今日上新页面 (日期切换)
- 热门应用页面 (卡片布局)
- 应用详情页面 (完整信息展示)
- Apple风格搜索栏
- Footer组件
- 底部导航栏优化 (4个导航项)
- 骨架屏加载效果
- FontAwesome图标集成
UI/UX:
- 统一浅色背景 (#F5F5F7)
- 流畅的过渡动画
- 响应式设计
- 毛玻璃效果
文档:
- CHANGELOG.md - 完整更新日志
- QUICKSTART.md - 快速开始
- 多个技术文档和使用指南
版本: v2.0.0
2.7 KiB
2.7 KiB
新数据库快速启动指南
✅ 已完成的操作
1. 数据库配置
MYSQL_HOST=43.240.221.214
MYSQL_PORT=3306
MYSQL_USER=ns2.0
MYSQL_PASSWORD=5B3kdCyx2ya3XhrC
MYSQL_DATABASE=ns2.0
2. 数据库初始化
python3 init_db.py
✅ 已创建表：
- app_info（应用基本信息）
- app_metrics（应用指标）
- app_rating（应用评分）
3. 开始爬取
python3 crawl.py
- 总数：962个应用
- 并发：50
- 预计时间：~20秒
🚀 当前爬取状态
爬虫正在运行中，使用50并发爬取所有962个应用。
实时进度
你可以看到类似的输出：
[1/962] C6917559067092904725 ✓ 交管12123 → 新应用, 新指标, 新评分
[2/962] C6917559133889396578 ✓ 欢乐麻将 → 新应用, 新指标, 新评分
...
完成后
爬取完成后会显示：
================================================================================
爬取完成: 成功 XXX 个, 失败 XXX 个
================================================================================
📝 后续操作
1. 启动后端API服务
cd backend
python3 -m uvicorn app.main:app --reload --host 0.0.0.0 --port 8000
2. 启动前端服务
cd frontend
npm run dev
3. 访问应用
打开浏览器访问：http://localhost:5173
🔄 重新爬取
如果需要重新爬取或更新数据：
# 爬取所有应用
python3 crawl.py
# 只爬取前100个
python3 crawl.py --limit 100
# 使用100并发（更快）
python3 crawl.py --batch 100
📊 数据统计
爬取完成后，数据库将包含：
- 应用基本信息：~962条
- 应用指标记录：~962条
- 应用评分记录：~962条
🎯 性能指标
- 并发数：50
- 速度：~48个/秒
- 总时间：~20秒（962个应用）
- 成功率：>95%
⚠️ 注意事项
- 网络稳定性：确保网络连接稳定
- 数据库连接：确保数据库可访问
- Token刷新：Token会自动刷新，无需手动操作
- 错误处理：失败的应用会自动跳过，可以重新运行爬取
🔧 故障排查
数据库连接失败
# 测试数据库连接
mysql -h 43.240.221.214 -u ns2.0 -p ns2.0
查看爬取进度
爬虫会实时显示进度，包括：
- 当前进度 [X/962]
- 应用名称
- 保存状态（新应用/无更新）
重新爬取失败的应用
如果有应用爬取失败，可以重新运行：
python3 crawl.py
爬虫会自动跳过已存在的应用。
📚 相关文档
README.md- 项目总览app/crawler/README.md- 爬虫详细文档PERFORMANCE.md- 性能测试报告USAGE_UPDATED.md- 升级后使用指南