項目簡介

掃碼加入技術(shù)交流群，備注「開發(fā)語言-城市-昵稱」

合作請注明

MinerU 是一款一站式、開源、高質(zhì)量的數(shù)據(jù)提取工具，主要包含以下功能:

• Magic-PDF PDF文檔提取

• Magic-Doc 網(wǎng)頁與電子書提取

Magic-PDF

簡介

Magic-PDF 是一款將 PDF 轉(zhuǎn)化為 markdown 格式的工具。支持轉(zhuǎn)換本地文檔或者位于支持S3協(xié)議對象存儲上的文件。

主要功能

• 支持多種前端模型輸入

• 刪除頁眉、頁腳、腳注、頁碼等元素

• 符合人類閱讀順序的排版格式

• 保留原文檔的結(jié)構(gòu)和格式，包括標(biāo)題、段落、列表等

• 提取圖像和表格并在markdown中展示

• 將公式轉(zhuǎn)換成latex

• 亂碼PDF自動識別并轉(zhuǎn)換

• 支持cpu和gpu環(huán)境

• 支持windows/linux/mac平臺

項目全景

流程圖

子模塊倉庫

• PDF-Extract-Kit

• 高質(zhì)量的PDF內(nèi)容提取工具包

上手指南

配置要求

python >= 3.9

使用說明

1. 安裝Magic-PDF

2. 通過命令行使用

直接使用

cp magic-pdf.template.json ~/magic-pdf.jsonmagic-pdf pdf-command --pdf 'pdf_path' --model 'model_json_path'

程序運行完成后，你可以在'/tmp/magic-pdf'目錄下看到生成的markdown文件

更多用法

3. 通過接口調(diào)用

本地使用

image_writer = DiskReaderWriter(local_image_dir)image_dir = str(os.path.basename(local_image_dir))jso_useful_key = {'_pdf_type': '', 'model_list': model_json}pipe = UNIPipe(pdf_bytes, jso_useful_key, image_writer)pipe.pipe_classify()pipe.pipe_parse()md_content = pipe.pipe_mk_markdown(image_dir, drop_mode='none')

在對象存儲上使用

Magic-Doc

簡介

Magic-Doc 是一款支持將網(wǎng)頁或多格式電子書轉(zhuǎn)換為 markdown 格式的工具。

主要功能

• Web網(wǎng)頁提取

• 跨模態(tài)精準(zhǔn)解析圖文、表格、公式信息

• 電子書文獻(xiàn)提取

• 支持 epub，mobi等多格式文獻(xiàn)，文本圖片全適配

• 語言類型鑒定

• 支持176種語言的準(zhǔn)確識別

 關(guān)注「GitHubStore」公眾號