项目简介
TableQAKit是TableQA的统一平台（特别是在LLM时代）。其主要特点包括：
-
可扩展设计：您可以使用工具包定义的接口，扩展方法和模型，并根据自己的数据实现自己的新模型。
-
配备LLM：TableQAKit支持基于LLM的方法，包括LLM-提示方法和LLM-微调方法。
-
全面的数据集：我们设计了统一的数据接口来处理数据并将其存储在Huggingface数据集中。
-
强大的方法：使用我们的工具包，您可以重现 TableQA 任务的大多数 SOTA 方法。
-
高效的LLM基准：TableQAEval，用于评估TableQA的LLM性能的基准。它评估LLM对长表（上下文）的建模能力和理解能力（数值推理、多跳推理）。
-
综合调查：我们即将发布一个系统的TableQA调查，这个项目是一个前期工作。论文列表
⚙️安装
pip install tableqakitorgit clone [email protected]:lfy79001/TableQAKit.gitpip install -r requirements.txt
pip install ttqakit
📁 文件夹
TableQAKit 存储库的结构如下：
├── icl/ # LLM-prompting toolkit├── llama/ # LLM-finetuning toolkit├── mmqa_utils/ # EncyclopediaQA toolkit│ ├── classifier_module/ # The package for classifier│ ├── retriever_module/ # The package for encyclopedia retrieval├── structuredqa/ # Read model TaLMs│ ├── builder/│ ├── utils/├── retriever/ # TableQA's general retriever （SpreadSheet examples）├── multihop/ # Readers for encyclopediaQA│ ├── Retrieval/│ └── Read/├── numerical/ # Readers for some TableQA datasets├── TableQAEval/ # The proposed new LLM-Long-Table Benchmark│ ├── Baselines/ # Add your LLMs│ │ ├── turbo16k-table.py│ │ ├── llama2-chat-table.py│ │ └── ...│ ├── Evaluation/ # metrics│ └── TableQAEval.json ├── outputs/ # the results of some models├── loaders/ │ ├── WikiSQL.py│ └── ...├── structs/ │ ├── data.py├── static/ ├── LICENSE└── README.md
🗃️数据集
根据我们的分类法，我们将 TableQA 任务分为三类任务，如下图所示：
