Data Cleaning Toolkit

Data Cleaning Toolkit

数据清洗一站式工具：去重、补缺、标准化、异常值检测和处理。

clawhub install data-cleaning-toolkit

核心功能

• 智能去重：精确匹配 + 模糊匹配（Levenshtein 距离）
• 缺失值补全：均值/中位数/插值/LLM 生成
• 格式标准化：日期、电话、地址、人名统一格式
• 异常值检测：IQR、Z-score、孤立森林
• 数据画像：生成数据质量报告和修复建议

Pipeline 示例

{
  "input": "messy_data.csv",
  "steps": [
    {"action": "dedup", "mode": "fuzzy", "threshold": 0.9},
    {"action": "fill_missing", "columns": {"age": "median", "name": "llm-guess"}},
    {"action": "normalize", "rules": {
      "date": "YYYY-MM-DD",
      "phone": "+86 XXX XXXX XXXX"
    }},
    {"action": "outlier", "method": "iqr", "handle": "clip"}
  ],
  "output": "clean_data.csv"
}