每周 GitHub 探索｜ 从 PDF 转换到语言模型，本周开源亮点不容错过

本期开源亮点为您带来 7 款实用开源项目，涵盖 PDF 转换、大语言模型、IPTV 直播源、说明微调、视频媒体 CMS、React 开发利器和低代码 AI 应用程序构建。

1.Marker: 精准高效的 PDF 转换器

🏷️仓库名称： VikParuchuri/marker
🌟截止发稿星数: 18160 (近一周新增:218)
🇨🇳仓库语言: Python
🤝仓库开源协议： GNU General Public License v3.0
🔗仓库地址： https://github.com/VikParuchuri/marker

引言

本指南介绍 Marker，一款功能强大且准确的开源工具，可将 PDF 文档快速转换为 Markdown、JSON 和 HTML 格式。

项目作用

Marker 采用深度学习算法管道：

• 提取文本，必要时进行 OCR

• 检测页面布局并确定阅读顺序

• 清理和格式化每个文本块

• 组合文本块并对完整文本进行后处理 它只在必要时使用模型，从而提高了速度和准确性。

仓库描述

本存储库包含 Marker 源代码、示例和文档。

案例

Marker 已被广泛用于各种应用中，包括：

• 从科学论文中提取数据

• 将扫描的文档转换为可编辑文本

• 创建可访问的 HTML 文档

客观评测或分析

Marker 的优势包括：

• 准确和快速：深度学习算法提供高精度的文本提取。

• 全面支持：处理广泛的 PDF 文档，包括扫描件和数字文件。

• 多种输出格式：将 PDF 转换为 Markdown、JSON 和 HTML。

• 易于使用：直观的命令行界面和 Python API。

• 可扩展：允许自定义处理并添加新功能。

使用建议

使用 Marker 时，请遵循以下最佳实践：

• 确保安装了 PyTorch 和 Python 3.10+。

• 对于有问题的 PDF，启用 OCR 以确保准确性。

• 根据需要使用配置覆盖默认设置。

• 对于大批量转换，使用多进程或云托管服务。

结论

Marker 是一个功能强大的 PDF 转换器，可满足广泛的文本提取需求。其准确、高效和可扩展的特性使其成为希望从 PDF 文档中导出有价值信息的开发人员和研究人员的理想选择。

2.Qwen：阿里云开放大语言模型

🏷️仓库名称： QwenLM/Qwen
🌟截止发稿星数: 14477 (近一周新增:210)
🇨🇳仓库语言: Python
🤝仓库开源协议： Apache License 2.0
🔗仓库地址： https://github.com/QwenLM/Qwen

引言

本文介绍 Qwen，一个由阿里云开发并开源的大语言模型。它涵盖了项目的优点、技术细节和使用说明。

项目作用

Qwen 是使用先进的 Transformer 神经网络架构构建的，并在大量多语言文本数据集上进行训练。它利用了诸如负文本投影之类的技术来防止偏见并改善其与人类偏好的对齐。

仓库描述

Qwen GitHub 仓库包含源代码、预训练模型和与 Qwen 一起工作的文档。它提供了有关模型推理、微调和部署的详细说明。

案例

Qwen 已用于各种应用中，包括客户服务聊天机器人、科学写作助手和内容生成工具。

客观评测或分析

Qwen 在自然语言理解和生成任务中表现出强大的性能，在 MMLU 和 HumanEval 等基准测试上优于同类模型。

使用建议

用户可以通过 Hugging Face Transformers 库或 ModelScope 平台访问 Qwen。该存储库提供了用于模型加载、推理和微调的 Python 脚本。

结论

Qwen 是一款强大且多功能的大语言模型，为研究人员和开发者提供了推进自然语言处理应用程序的宝贵资源。其开源可用性使其易于探索和定制。

3.自定义你的IPTV直播源

🏷️仓库名称： Guovin/iptv-api
🌟截止发稿星数: 6648 (近一周新增:599)
🇨🇳仓库语言: Python
🤝仓库开源协议： MIT License
🔗仓库地址： https://github.com/Guovin/iptv-api

引言

本文旨在提供 IPTV-API 的相关信息，该 API 是一个开源科技项目，可以帮助用户创建和更新 IPTV 直播源。

项目作用

该项目利用多种获取源的方式，包括组播源、酒店源、订阅源和关键字搜索。它对接口进行测速验证，过滤无效接口，并提供偏好设置，如 IPv6、优先级和白名单。

仓库描述

仓库包含以下内容：

• 最新结果链接

• 配置参数说明

• 快速上手指南

• 详细教程

• 更新日志

• 赞赏信息

• 关注信息

• 免责声明

• 许可证

案例

IPTV-API 已成功用于生成可用于 TVBox 的 IPTV 直播源。

客观评测或分析

该项目由于其可定制性、多种获取源方式和测速验证功能而受到赞赏。它为用户提供了一个方便且可靠的方法来创建和更新他们的 IPTV 直播源。

使用建议

IPTV-API 可以通过以下方式使用：

• 工作流

• 命令行

• GUI 软件

• Docker

结论

IPTV-API 是一个有用的工具，可以让用户创建和更新他们的 IPTV 直播源。它易于使用，具有多种功能，是 IPTV 爱好者和用户不可或缺的资源。

4.训练开放式说明遵循语言模型

🏷️仓库名称： allenai/open-instruct
🌟截止发稿星数: 1921 (近一周新增:484)
🇨🇳仓库语言: Python
🤝仓库开源协议： Apache License 2.0
🔗仓库地址： https://github.com/allenai/open-instruct

引言

该仓库是一个开放的项目，用于在公开可用数据集上对流行的预训练语言模型进行说明微调。我们发布此仓库并将不断进行更新，包括：

• 使用最新技术和统一格式说明数据集对语言模型进行微调的代码。

• 在一系列基准上运行标准评估的代码，针对这些语言模型的不同功能。

• 我们在探索中构建的检查点或其他有用的工件。

项目作用

该仓库提供了一套全面的工具和资源，包括：

• 用于微调语言模型的脚本和配置。

• 用来评估微调模型的评估脚本和数据集。

• 已经过微调的语言模型的检查点。

仓库描述

该仓库包含以下目录：

• data/ : 包含用于微调和评估的数据集。

• models/ : 包含已经过微调的语言模型的检查点。

• scripts/ : 包含用于微调、评估和分析实验的脚本。

• docs/ : 包含有关使用仓库的文档。

案例

该仓库已用于训练和评估各种语言模型，包括：

• GPT-3

• BLOOM

• LaMDA

• Flamingo

客观评测或分析

该仓库提供了对语言模型说明微调研究的有价值贡献。它提供了用于执行此类研究的代码和资源，并有助于标准化评估技术。

使用建议

对说明微调感兴趣的研究人员和从业人员可以利用本仓库来：

• 尝试不同的微调方法。

• 在广泛的基准上评估微调模型。

• 跟踪说明微调领域的最新进展。

结论

“训练开放式说明遵循语言模型”仓库是说明微调研究的宝贵资源。它提供了用于微调、评估和分析语言模型的全面工具和资源，并有助于促进该领域的进一步研究。

5.MediaCMS：开源视频和媒体 CMS

🏷️仓库名称： mediacms-io/mediacms
🌟截止发稿星数: 2941 (近一周新增:76)
🇨🇳仓库语言: JavaScript
🤝仓库开源协议： GNU Affero General Public License v3.0
🔗仓库地址： https://github.com/mediacms-io/mediacms

引言

MediaCMS 是一款开源视频和媒体 CMS，采用 Python/Django 和 React 技术构建，旨在满足现代网络平台对媒体浏览和分享的需求。

项目作用

MediaCMS 采用 Django/Python/Celery、React 搭建，并包含一个 REST API。

仓库描述

• 完整的用户界面和管理界面

• 支持多种媒体格式（音频、视频、图片、PDF）

• 支持 Subtitles/CC

• 可扩展的转码

• 分块文件上传

• 翻译为多种语言

案例

学校和教育机构 组织敏感内容 构建社区门户 个人门户

客观评测或分析

现代技术栈 全面的功能 可定制和扩展 活跃的社区支持

使用建议

内容和社区管理者 媒体创作者和分享者 开发人员

结论

MediaCMS 是一个出色的开源视频和媒体 CMS，为构建现代和功能齐全的媒体门户提供了强大的基础。其灵活性和可定制性使其适用于各种用例，从教育到企业和社区门户。

6.Next.js：React 应用开发利器

🏷️仓库名称： vercel/next.js