来源:小蔡AI实验室
最近DeepSeek王炸不断,刚刚出了火爆全球的R1大模型,但还有大招没放!
就在刚刚,准备在多模态大模型正掀起新一轮技术革命浪潮!
DeepSeek新出的Janus-Pro-7B系列作为业界首个理解-生成一体化架构的尖端模型,实现了:
🔥 五大颠覆性优势 ✅ 视觉问答准确率超越GPT-4V ✅ 文生图质量超越DALL·E3、Stable Diffusion 3 ✅ 单卡即可运行的高效推理 ✅ 企业级数据隐私安全保障
本教程将带您完成15分钟极速部署,R1大模型只要你机器够,理论上也可以部署哦。
项目地址:https://github.com/deepseek-ai/Janus?tab=readme-ov-file#simple-inference-example-1
模型地址:https://huggingface.co/deepseek-ai/Janus-Pro-7B/discussions
环境要求
操作系统: Linux/Windows (推荐 Ubuntu 20.04+)
Python: 3.8+
CUDA: 11.7+ (需与PyTorch版本匹配)
GPU: 显存 ≥16GB (Janus-Pro-7B需≥24GB)
存储空间: ≥30GB 可用空间
快速部署
1. 克隆代码库
git clone https://github.com/deepseek-ai/Janus.gitcd Janus
2. 创建虚拟环境
conda create -n janus python=3.8 -yconda activate janus// 这一步也可以使用pycharm代替
3. 安装依赖
pip install torch==2.0.1+cu117 --index-url https://download.pytorch.org/whl/cu117pip install -r requirements.txtpip install -e .[gradio] # 安装Gradio扩展
安装完成后如下:
模型下载
方法一:使用 huggingface-cli 工具
安装下载工具
pip install huggingface_hub
下载完整模型(推荐)
# 下载7B版本到指定目录huggingface-cli download deepseek-ai/Janus-Pro-7B \ --local-dir ./models/Janus-Pro-7B \ --resume-download \ --cache-dir ./cache
下载指定文件
# 下载配置文件huggingface-cli download deepseek-ai/Janus-Pro-7B config.json --local-dir ./models# 下载核心模型文件huggingface-cli download deepseek-ai/Janus-Pro-7B pytorch_model.bin --local-dir ./models
下载参数说明
| | | | | --- | --- | --- | | 参数 | 说明 | 示例 | | --local-dir | 指定下载目录 | --local-dir ./models | | --cache-dir | 设置缓存路径 | --cache-dir ./cache | | --resume-download | 断点续传 | 自动续传中断的下载 | | --revision | 指定版本分支 | --revision main |
方法二:代码自动下载
from transformers import AutoModelForCausalLM# 自动下载到缓存目录model = AutoModelForCausalLM.from_pretrained(“deepseek-ai/Janus-Pro-7B”)# 指定本地路径(需先通过huggingface-cli下载)model = AutoModelForCausalLM.from_pretrained(“./models/Janus-Pro-7B”)
使用示例
加载本地模型
model_path = “./models/Janus-Pro-7B” # 指向下载目录processor = VLChatProcessor.from_pretrained(model_path)model = MultiModalityCausalLM.from_pretrained(model_path).to(“cuda”)
常见问题
下载速度慢
使用国内镜像源:
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download...
开启多线程下载:
huggingface-cli download ... --workers 8
文件校验失败
执行完整性校验:
huggingface-cli download ... --force-redownload
技术说明
模型文件结构:
Janus-Pro-7B/├── config.json├── pytorch_model.bin├── tokenizer_config.json└── special_tokens_map.json
缓存机制:默认缓存路径为 ~/.cache/huggingface/hub,可通过 --cache-dir 自定义
手动下载
访问HuggingFace仓库
下载Janus-Pro-7B模型文件
解压到本地目录 ./models/Janus-Pro-7B
使用示例
多模态理解
# inference_demo.pyimport torchfrom janus.models import MultiModalityCausalLM, VLChatProcessormodel_path = “./models/Janus-Pro-7B”processor = VLChatProcessor.from_pretrained(model_path)model = MultiModalityCausalLM.from_pretrained(model_path).to(“cuda”)# 构建对话conversation = [ { “role”: “<|User|>”, “content”: “\n描述这张图片的内容”, “images”: [“sample.jpg”] }, {“role”: “<|Assistant|>”, “content”: “”}]# 处理输入并生成响应inputs = processor(conversations=conversation)outputs = model.generate(**inputs)print(processor.decode(outputs[0]))
文生图功能
# generate_image.pyfrom janus.utils import generate_imageprompt = “夕阳下的雪山,山脚下有蓝色的湖泊”generate_image( model_path=“./models/Janus-Pro-7B”, prompt=prompt, output_dir=“./outputs”, num_images=4)
Gradio 本地演示
# 启动文本交互界面python demo/app_text.py --model-path ./models/Janus-Pro-7B# 启动多模态界面python demo/app_multimodal.py \ --model-path ./models/Janus-Pro-7B \ --port 7860
访问 http://localhost:7860 使用交互界面
常见问题
显存不足
尝试减小max_new_tokens参数(默认512)
使用低精度模式:model = model.half()
图像生成质量不佳
检查模型版本(推荐Janus-Pro-7B)
调整CFG权重(5-7范围)
增加并行采样数量(parallel_size=16)
依赖冲突
建议使用官方指定版本:
pip install torch==2.0.1+cu117 pip install transformers==4.33.2
责任编辑:李桐
党的二十大通过了《中国共产党章程(修正案)》 ➠,把党的十 ➧九大以来习近平新时代中国特色社会主义思想新发展写入党章,把党 ⌚的十九大以来党中央提出的治国理政新理念新思想新战略写入党章, ➣把党的十九大以来党中央推动全面从严治党向纵深发展一系列重大创 ⛷新成果和行之有效的成功经验写入党章。城市银行部党支部认真学习 ➨党的二十大报告和党章 ❡,学习习近平总书记在党的二十届一中全会上 ⚡的94白菜网重要讲话精神,强化理论武装,不断提高政治判断力、政治领悟力 ❍、政治执行力。奋进之路上,城市银行部党支部将以马克思主义中国 ❦化时代化最新成果为指导,把习近平经济思想作为新时代做好经济工 ⚡作的根本遵循和行动指南,认真学习领会习近平总书记关于经济金融 ♎工作的重要指示批示精神,立足实际贯彻落实好党的二十大作出的重 ✨大决策部署 ♋,聚焦城商行民营银行高质量发展的重点难点、政策落实 ♒的堵点断点、群众关心的热点痛点 ☽,着力将学习成果转化为提高监管 ♉效能的硬招实招。
水利部最新发布 ♐,截至11月底,全国完成水利建设投资10085亿元 ⚽,交上亮眼成绩单。94白菜网
本报记者 加藤达也 【编辑:言慧珠 】