Permintaan tradisional
Diproses ulang setiap kali.
Setiap permintaan melewati seluruh proses komputasi model sehingga meningkatkan latensi dan biaya.
Platform & Teknologi
Semua yang ada di antara kode Anda dan bare metal.
Satu koneksi memberi perusahaan Anda akses ke semua model, sementara Indosat mengelola kompleksitas di baliknya: gateway, cache, router, meter, dan GPU.
Lapisan arsitektur
Stack AI lengkap, dari daya hingga aplikasi
Kombinasinya menentukan biaya. Indosat menjalankan stack untuk model lokal dan menghubungkan Anda ke model global.
- 06AplikasiAplikasi dan agen Anda, ditambah solusi industri siap pakai untuk pembelajaran, layanan pelanggan, dan intelijen penipuan.
- 05Operasional & tata kelola yang optimalOrkestrasi, kontrol akses, rate limit, kontrol pengeluaran, pengukuran token, dan pelaporan penggunaan.
- 04ModelModel open-source dan closed-source, model Barat dan Timur, serta LLM Sahabat-AI.
- 03Platform inferensiPenyajian model dalam skala besar, Model-as-a-Service, serta layanan multi-model dan multimodal melalui satu API.
- 02Infrastruktur komputasi (GPU)GPU dan TPU dengan jaringan dan penyimpanan berkecepatan tinggi.
- 01Pusat data, daya & jaringanPusat data hibrida dan modular, dengan lahan, air, listrik, dan jaringan nasional Indosat.
Optimasi
Permintaan berulang, kembali dalam milidetik.
Permintaan dengan cache
Gunakan hasil yang tersedia.
Cache hit yang sama persis mengembalikan respons tersimpan langsung dari gateway. Tanpa panggilan model atau biaya API model.
< 10 ms
untuk mengembalikan cache hit yang sama persis dari gateway, tanpa panggilan model
Performa
Token per detik maksimal dari setiap GPU.
- Partisi model yang lebih cerdas
- Model besar dibagi menjadi bagian-bagian expert yang tersebar di beberapa GPU melalui NVLink, sehingga setiap GPU hanya menyimpan yang dibutuhkannya. Prefill dan decode berjalan di pool GPU terpisah agar token pertama keluar lebih cepat.
- Kuantisasi (AWQ / FP8)
- FP16 → FP8 atau INT4 memangkas kebutuhan vRAM 2–4× dengan dampak minimal pada akurasi penalaran.
- Continuous batching, PagedAttention, speculative decoding
- Throughput hingga 300% lebih tinggi, batch 4× lebih besar, dan kecepatan output sekitar 2×.
Model yang Di-hosting Indosat Secara Lokal
Model yang tepat untuk setiap kebutuhan. Skalabel. Aman. Sovereign.
Nano / Edge
1B
Ringan & on-device
AI cepat berlatensi rendah untuk tugas real-time dan sederhana.
Small / Efisien
7B+
Efisien & hemat biaya
Tugas dan otomasi perusahaan sehari-hari.
Enterprise
30B
Kecerdasan kelas enterprise
Alur kerja kompleks dan use case domain.
Mendekati frontier
70B
AI berperforma tinggi
Penalaran tingkat lanjut untuk use case spesialis.
Frontier
100B+
Kecerdasan terbaik di kelasnya
Riset, inovasi, dan skenario kritis.
Coba platform ini langsung pada kebutuhan bisnis Anda.
Satu API masuk. AI yang terkendali keluar. Tanpa perlu repot mengelola di antaranya.