精选文章
Qwen3 30B vs Gemma 4 26B RTX 3090 全显存实测
在 RTX 3090 全显存状态下,对 Qwen3 30B 和 Gemma 4 26B 进行头对头实测。Ollama API 真实数据 —— 生成速度、预填充速度、哪个模型在各场景胜出。
Jetson Thor vs Jetson Orin 64GB:本地 LLM 真机测试笔记
Jetson Thor 与 Jetson Orin 64GB 的本地 LLM 实测对比:Qwen 模型、SGLang、Ollama、响应耗时、tokens/s 与实际部署建议。
LocateAnything-3B 实测:RTX 3090 vs Jetson AGX Thor
在 RTX 3090 工作站和 Jetson AGX Thor 边缘设备上对 NVIDIA LocateAnything-3B 视觉语言模型进行真实硬件测试,记录推理速度、显存占用和部署结论。
最新文章
查看全部文章 →128 GB Thor 跑 120B 级模型:Qwen3.5-122B 与 Flash-Next NVFP4 实测
Jetson AGX Thor 单机部署 Qwen3.5-122B-A10B 与 Qwen3.8-Flash-Next NVFP4:64K 上下文、约 16–22 tok/s、PLE disk offload、长输入延迟,以及 FP4-Local 的 sm_110 内核兼容性问题。
Thor 上验证 vLLM:Qwen3-0.6B 的 8/9 项检查与三个 API Demo
thortest quick 档在 Jetson AGX Thor 上完成 vLLM × Qwen3-0.6B 验证:短输入单路约 142 tok/s、四路约 494 tok/s,JSON Schema 失败记录,以及流式输出、工具调用和 JSON 的可下载 Demo。
Edge AI 实验室周报:双 Thor 网络、模型可运行性与自动化测试
本周 Edge AI 实验室简报:从双 Jetson Thor 10GbE 实测、模型可运行性判断到候选模型自动发现,整理三条可以直接复用的工程方法。
双 Jetson AGX Thor 四路 10GbE 直连实测:为什么总带宽只有 12 Gbps?
两台 Jetson AGX Thor 通过 4 路 10GbE 直连,使用 iperf3 测试单链路、多流和多链路并发吞吐,并分析它对分布式 LLM 推理与 KV Cache 传输的实际影响。
边缘结构化决策实测:Thor 上的 27B 准确率 0.958 反超云端 Jev 的 0.883,校准却输了
把 TypeSafe Jev 和 Jetson AGX Thor 上的本地模型放在同一批人工标注任务上对比。边缘赢了准确率、Brier 和延迟,输了 ECE;成本上永远追不平。过程中发现约束解码有三条静默失效路径——其中一条让准确率塌了 37.5 个百分点,却不报任何错。
Qwen3.8-27B 实测:RTX 3090 跑 Q4 拿 58 tok/s,Jetson Thor 跑 BF16 只有 4.1 tok/s
同一个 27B 模型,两台机器给出 14 倍的速度差。本文用 RTX 3090(Ollama Q4_K_M)和 Jetson AGX Thor(vLLM BF16)的实测数据,拆解这个差距里有多少来自量化、多少来自内存带宽,以及 Thor 在并发下扳回了什么。
2×Jetson Thor 跑 DeepSeek-V4-Flash-NVFP4:QSFP28 互联前置测试与真实阻塞点
尝试评估 nvidia/DeepSeek-V4-Flash-NVFP4 是否能在两台 Jetson Thor 上运行。本文记录 QSFP28 链路、SGLang/vLLM 容器、权重访问方式、磁盘空间和多节点启动前置条件,结论是当前环境尚未达到下载和启动 V4-Flash 的最低条件。
DeepSeek 最近开源的 V4-Flash-0731,Jetson Thor 能跑吗?284B MoE 的边缘部署边界
DeepSeek 最近开放权重的 DeepSeek-V4-Flash-0731 是 284B 参数、13B 激活、1M 上下文的 MoE 模型,MIT License。本文基于官方模型卡和 Thor 真机环境,分析它为什么不是 Jetson Thor 单机本地模型,并给出可测替代方案。
DeepSeek V4 Flash NVFP4 在 2×Jetson Thor 上的调试记录 1:SGLang 走到 DeepGEMM 前
记录 nvidia/DeepSeek-V4-Flash-NVFP4 在两台 Jetson Thor 上的第一轮真实调试:QSFP28、模型下载、SGLang nightly、KV cache 补丁、Docker runtime 修复,以及最终卡在 DeepGEMM HyperConnection 不支持 Thor sm110。
应用场景
工业质检
使用热成像相机与 RGB 相机融合检测焊接缺陷、布料瑕疵与产品表面问题。
机器人感知
基于立体深度估计与点云的实时三维环境感知,支持移动机器人导航。
热成像融合
将热红外与可见光图像融合用于夜间目标检测与温度异常预警。
边缘 AI 部署
在 Jetson AGX Thor、Jetson Orin 等边缘设备上部署 TensorRT 优化的推理流水线。
实时点云可视化
使用 Three.js 与 WebGL 将深度传感器数据以三维点云形式实时呈现。
本地 GPU 推理
在消费级 GPU(RTX 3090 等)上以 Ollama 或 llama.cpp 运行大型语言模型。