vLLM部署

🦞 GLM-4-9B vLLM 部署指南

📌 前提条件

项目 版本
CUDA 13.1 ✅
Python 3.10+ ✅
显存 ≥6GB（INT4量化）

🚀 部署步骤

1️⃣ 创建虚拟环境

1
2
conda create -n glm4-deploy python=3.10
conda activate glm4-deploy

2️⃣ 安装 vLLM（支持GLM-4）

1
pip install vllm>=0.6.0

3️⃣ 下载模型

1
2
3
4
5
6
7
# 方法一：HuggingFace（推荐）
pip install modelscope
modelscope download --model ZhipuAI/GLM-4-9B-0414 --local_dir ./glm-4-9b-0414

# 或者使用 git lfs
git lfs install
git clone <https://huggingface.co/THUDM/GLM-4-9B-0414> ./glm-4-9b-0414
AI/大模型

阅读全文 >>

Jupyter操作文档

1. 使用须知

目前jupyter运行时长限制只能运行16个小时。16个小时之后将会自动释放所有资源，请提前将所需资源下载到本地或git push到平台中。本平台是开放的学习平台，禁止使用本平台进行商业用途和非法用途或者恶意攻击，一旦发现将依法追究。 此开发环境是使用的是Jupyter Lab 3.x，并集成了实用的插件。您可以在Jupyter Lab上灵活运行调试代码和编写文档，Jupyter Lab集成了很多编辑器，例如 Jupyter 笔记本、文本编辑器、终端和自定义组件。更多的详细介绍你可以查看 JupyterLab官网文档介绍。 接下来跟我来一起沉浸式地探索Jupyter Lab吧❗

AI/大模型

阅读全文 >>

LVGL图形库学习笔记

本文整理了LVGL图形库的学习资源和开发要点。

官方资源

开发环境

GUI编辑器

Linux Frame Buffer

1
2
3
4
5
6
7
8
# 花屏测试
cat /dev/urandom > /dev/fb0

# 画点
echo -en '\xFF\xFF\xFF\x00' > /dev/fb0

# 截屏
cp /dev/fb0 myfile

相关项目

其他GUI方案

嵌入式开发

Raspberry Pi入门指南

本文整理了Raspberry Pi的入门使用指南。

官网

局域网查找设备

Mac/Linux

1
arp -n | awk '/b8:27:eb/ {print $1}'

Windows

1
arp -a | findstr e4-5f-01

开启SSH

将SD卡连接到电脑，在根目录新建名为”SSH”的文件（无后缀）。

修改时区

1
2
3
sudo dpkg-reconfigure tzdata
# 或
sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

GPIO

1
2
3
4
5
# 查看引脚
pinout

# 查看详细状态
gpio readall

教程资源

嵌入式开发