传统请求
每次重新计算。
每个请求都经过完整的模型计算路径，因此延迟和成本更高。
平台与技术
从您的代码到裸金属之间的一切。
一次连接，企业即可接入所有模型，底层的网关、缓存、路由、计量和 GPU 等复杂性由 Indosat 负责管理。
架构分层
完整的 AI 技术栈，从电力到应用
不同组合决定成本。Indosat 运营本地模型的技术栈，并将您连接到全球模型。
- 06应用您的应用与智能体，以及面向学习、客户服务和反欺诈情报的现成行业解决方案。
- 05优化运营与管控编排、访问控制、速率限制、支出控制、token 计量与用量报告。
- 04模型开源与闭源模型、西方与东方模型，以及 Sahabat-AI 大模型。
- 03推理平台大规模模型服务、Model-as-a-Service，以及通过同一 API 提供的多模型、多模态能力。
- 02算力（GPU）基础设施GPU 和 TPU，配备高速网络与存储。
- 01数据中心、电力与网络混合式、模块化数据中心，配套土地、水、电力及 Indosat 全国网络。
优化
重复请求，毫秒级返回。
缓存请求
复用已有结果。
完全匹配的缓存命中直接从网关返回已保存的响应。无需调用模型，也不产生模型 API 费用。
< 10 ms
从网关返回完全匹配的缓存结果，无需调用模型
性能
让每块 GPU 的每秒 token 数达到最大。
- 更智能的模型切分
- 大模型被拆分为多个专家部分，通过 NVLink 分布在多块 GPU 上，每块 GPU 只保存所需的部分。预填充与解码在不同的 GPU 池上运行，首个 token 生成更快。
- 量化（AWQ / FP8）
- FP16 → FP8 或 INT4，显存占用降低 2–4 倍，对推理精度影响极小。
- 连续批处理、PagedAttention、推测解码
- 吞吐量最高提升 300%，批大小增至 4 倍，输出速度约提升 2 倍。
Indosat 本地托管模型
满足各类需求的合适模型。可扩展。安全。自主可控。
纳米 / 边缘
1B
轻量级与端侧部署
低延迟的快速 AI，适用于实时和简单任务。
小型 / 高效
7B+
高效且经济
日常企业任务与自动化。
企业级
30B
企业级智能
复杂工作流与行业场景。
近前沿
70B
高性能 AI
面向专业场景的高级推理。
前沿
100B+
同类最佳智能
研究、创新与关键场景。