Nemotron 3.5 Lightning (free) API
NVIDIA Nemotron 3.5 Lightning ialah model campuran pakar berwajaran terbuka 30 bilion parameter yang dibina untuk pelaksanaan beban kerja agen AI jangka panjang, dengan konteks sehingga 1 juta token.
NVIDIA Nemotron 3.5 Lightning ialah model campuran pakar berwajaran terbuka yang hanya menerima teks, dengan 30 bilion parameter total dan kira-kira 3 bilion parameter aktif setiap token. Seni bina campuran pakar hibrinnya menyelang-seli lapisan Mamba-2 dengan lapisan MoE dan lapisan perhatian terpilih, dan model ini disuling daripada Nemotron 3 Ultra serta menggunakan penyahkodan spekulatif DFlash untuk mengurangkan kependaman setiap token. Ia dikeluarkan di bawah lesen OpenMDW-1.1 dengan pemberat, data latihan dan resipi yang boleh dimuat turun, dan boleh dijalankan pada satu GPU yang disokong.
Model ini dilatih untuk penggunaan alat agen merentas harness agen popular seperti OpenClaw dan Hermes Agent, dan boleh dilatih semula dengan NVIDIA NeMo untuk alat, aliran kerja dan dasar khusus domain. Ia sesuai untuk tugas pelaksanaan berjumlah besar seperti agen peribadi yang mengurus e-mel, kalendar, projek dan tempahan; pengekstrakan data dokumen, pemeriksaan peraturan dasar dan pemantauan isyarat risiko dalam perkhidmatan kewangan; pengayaan makluman, pengelasan insiden dan penyediaan penemuan dalam operasi keselamatan siber; triaj penggera dan pengoptimuman konfigurasi rangkaian dalam telekomunikasi; pengayaan katalog produk dan penyelesaian pengecualian inventori dalam runcit; pembantu pengekodan yang menyemak permintaan tarik atau menjana pembetulan; serta agen sokongan pelanggan dan bil.
Dari segi prestasi, ia menyampaikan daya pemprosesan sehingga 4x lebih tinggi dan penyelesaian tugas sehingga 30% lebih pantas pada beban kerja agen berjumlah besar berbanding model terbuka terkemuka lain yang setanding, dan ia menyamai atau menghampiri prestasi model padat yang jauh lebih besar pada kira-kira satu perempat jumlah parameter. Satu ujian bebas mendapati kelebihan daya pemprosesan 4.9x dan kelebihan masa-ke-token-pertama 4.9x merentas tiga profil, daripada konteks pendek hingga konteks panjang. Satu-satunya batasan yang dinyatakan ialah model ini hanya untuk teks. Ia dikeluarkan bersamaan dengan NeMo Switchyard, pustaka penghalaan model sumber terbuka, dan tersedia melalui saluran termasuk Amazon SageMaker JumpStart, GMI Cloud, DeepInfra dan OpenRouter.
Dikemas kini:
ID MODEL
nemotron-3.5-lightning:free- Konteks
- 1M
- Output maks
- 65.536K
- API yang disyorkan
- messages
- Input
- text
- Output
- text
Sorotan
- Berwajaran terbuka, hanya teks
- 30B parameter total, ~3B aktif
- Seni bina MoE hibrid Mamba-2
- Disuling daripada Nemotron 3 Ultra
- Penyahkodan spekulatif DFlash
- Lesen OpenMDW-1.1
Penyedia
Bandingkan harga API merentas penyedia. Pilih penyedia untuk melihat semua caj dan syarat.
| Ketersediaan | |||
|---|---|---|---|
| $0 | $0 |
Statistik sejarah bukan pemeriksaan langsung. Ketiadaan data tidak bermaksud gangguan.
Penanda aras
- 64.3%
AA-Omniscience Non-Hallucination Rate
Artificial Analysis
- 66.4%
Overused patterns eliminated
peratusan, ujian penyesuaian domain
- 98.4%
Vocabulary richness
peratusan berbanding garis dasar, ujian penyesuaian domain
- 20%
Vision fine-tuning validation accuracy
sebelum penalaan halus, kajian kes syarikat
- 58%
Vision fine-tuning validation accuracy
selepas penalaan halus, kajian kes syarikat
Skor seperti yang diterbitkan oleh penyedia model.
Penaakulan
- Sentiasa diaktifkan
- Tidak
Mula pantas
Kod sedia guna untuk memanggil model ini dengan API serasi Felo API Platform. Mulakan di Playground apabila anda ingin menguji prompt sebelum menulis kod.
Tetapkan kunci API
Cipta kunci daripada akaun Felo API Platform anda dan tetapkan sebagai pemboleh ubah persekitaran.
export FELO_API_KEY="YOUR_API_KEY"Hantar permintaan pertama
Gunakan ID model ini dengan endpoint Felo API Platform. Pengepala permintaan pilihan seperti X-Request-Id boleh membantu penyelesaian masalah.
nemotron-3.5-lightning:freeModel ini mampu membuat penaakulan. Jika protokol dan laluan model yang anda pilih menyediakan kawalan penaakulan, kekalkan metadata penaakulan yang dipulangkan apabila meneruskan perbualan.
const response = await fetch("https://openapi.felo.ai/api/v1/messages", {
method: 'POST',
headers: {
Authorization: `Bearer ${process.env.FELO_API_KEY}`,
'Content-Type': 'application/json',
},
body: JSON.stringify({
"model": "nemotron-3.5-lightning:free",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": "Hello"
}
]
}),
});
if (!response.ok) throw new Error(await response.text());
console.log(await response.json());Menggunakan SDK pihak ketiga
Dalam SDK yang serasi, tetapkan baseURL kepada https://openapi.felo.ai/api/v1. Untuk klien gaya Claude, gunakan base URL yang serasi dengan Anthropic. https://openapi.felo.ai/api.
Dayakan penstriman
Tambah stream: true untuk menerima respons sebagai server-sent events.
curl -N https://openapi.felo.ai/api/v1/messages \
-H "Authorization: Bearer $FELO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "nemotron-3.5-lightning:free",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": "Hello"
}
],
"stream": true
}'Endpoint
Felo API Platform menyediakan antara muka panggilan model yang serasi. Pilih antara muka yang sudah disokong oleh aplikasi atau klien ejen anda.
Messages
Mesej serasi Anthropic untuk klien gaya Claude.
POST
https://openapi.felo.ai/api/v1/messagesParameter
modelstringnemotron-3.5-lightning:freeID model awam untuk dipanggil.max_tokensinteger—Bilangan maksimum token yang dijana.messagesarray—Mesej perbualan untuk Chat Completions.seed———toolsarray—Definisi tool calling mengikut skema serasi.top_p———reasoning———temperaturenumber—Mengawal kepelbagaian respons apabila disokong.tool_choicestring or object—Mengawal sama ada alat perlu dipanggil.include_reasoning———Soalan lazim
Mengenali Nemotron 3.5 Lightning (free)?
NVIDIA Nemotron 3.5 Lightning ialah model campuran pakar berwajaran terbuka yang hanya menerima teks, dengan 30 bilion parameter total dan kira-kira 3 bilion parameter aktif setiap token. Seni bina campuran pakar hibrinnya menyelang-seli lapisan Mamba-2 dengan lapisan MoE dan lapisan perhatian terpilih, dan model ini disuling daripada Nemotron 3 Ultra serta menggunakan penyahkodan spekulatif DFlash untuk mengurangkan kependaman setiap token. Ia dikeluarkan di bawah lesen OpenMDW-1.1 dengan pemberat, data latihan dan resipi yang boleh dimuat turun, dan boleh dijalankan pada satu GPU yang disokong. Model ini dilatih untuk penggunaan alat agen merentas harness agen popular seperti OpenClaw dan Hermes Agent, dan boleh dilatih semula dengan NVIDIA NeMo untuk alat, aliran kerja dan dasar khusus domain. Ia sesuai untuk tugas pelaksanaan berjumlah besar seperti agen peribadi yang mengurus e-mel, kalendar, projek dan tempahan; pengekstrakan data dokumen, pemeriksaan peraturan dasar dan pemantauan isyarat risiko dalam perkhidmatan kewangan; pengayaan makluman, pengelasan insiden dan penyediaan penemuan dalam operasi keselamatan siber; triaj penggera dan pengoptimuman konfigurasi rangkaian dalam telekomunikasi; pengayaan katalog produk dan penyelesaian pengecualian inventori dalam runcit; pembantu pengekodan yang menyemak permintaan tarik atau menjana pembetulan; serta agen sokongan pelanggan dan bil. Dari segi prestasi, ia menyampaikan daya pemprosesan sehingga 4x lebih tinggi dan penyelesaian tugas sehingga 30% lebih pantas pada beban kerja agen berjumlah besar berbanding model terbuka terkemuka lain yang setanding, dan ia menyamai atau menghampiri prestasi model padat yang jauh lebih besar pada kira-kira satu perempat jumlah parameter. Satu ujian bebas mendapati kelebihan daya pemprosesan 4.9x dan kelebihan masa-ke-token-pertama 4.9x merentas tiga profil, daripada konteks pendek hingga konteks panjang. Satu-satunya batasan yang dinyatakan ialah model ini hanya untuk teks. Ia dikeluarkan bersamaan dengan NeMo Switchyard, pustaka penghalaan model sumber terbuka, dan tersedia melalui saluran termasuk Amazon SageMaker JumpStart, GMI Cloud, DeepInfra dan OpenRouter.
Bagaimana penggunaan dicaj?
Bil anda bergantung pada penyedia yang anda gunakan, harganya dan penggunaan anda. Input yang lebih panjang atau syarat lain mungkin dikenakan harga berbeza.
Apakah jenis input yang disokong oleh Nemotron 3.5 Lightning?
Model ini hanya menerima input teks dan menghasilkan output teks. Ia bukan model multimodal.
Berapakah panjang konteks Nemotron 3.5 Lightning?
Ia menyokong konteks sehingga 1 juta token. Had panjang output tidak dinyatakan dalam maklumat yang tersedia.
Apakah tugas yang paling sesuai untuk model ini?
Ia dibina untuk pelaksanaan beban kerja agen AI jangka panjang, termasuk agen peribadi, pengekstrakan data kewangan, operasi keselamatan siber, triaj rangkaian telekomunikasi, pengayaan katalog runcit, pembantu pengekodan dan agen sokongan pelanggan.
Apakah perbezaan antara Nemotron 3.5 Lightning dan Nemotron 3 Ultra?
Nemotron 3.5 Lightning disuling daripada Nemotron 3 Ultra, iaitu model frontier NVIDIA. Lightning lebih kecil dengan 30 bilion parameter total dan kira-kira 3 bilion parameter aktif setiap token, serta dioptimumkan untuk pelaksanaan tugas berjumlah besar.
Bolehkah model ini disesuaikan untuk domain tertentu?
Ya. Ia boleh dilatih semula dengan NVIDIA NeMo untuk alat, aliran kerja dan dasar khusus domain, dan organisasi mengekalkan kawalan ke atas pemberat selepas latihan semula.
Apakah lesen dan bentuk pengeluaran model ini?
Ia dikeluarkan di bawah lesen OpenMDW-1.1 dengan pemberat, data latihan dan resipi yang boleh dimuat turun. Ia juga boleh dijalankan pada satu GPU yang disokong.
Model berkaitan
Nemotron 3.5 Super VL (free)
NVIDIAnemotron-3.5-super-vl:freeModel multimodal NVIDIA yang menggabungkan pemahaman visual, penalaran dan penggunaan alat, dengan tetingkap konteks 1,000,000 token serta sokongan input teks, imej, dokumen dan video.
Konteks
1M
Output maks
131.072K
Token input
$0 / 1M token
Token output
$0 / 1M token
Nemotron 3 Ultra (free)
NVIDIAnemotron-3-ultra-550b-a55b:freeModel penalaran dan orkestrasi sumber terbuka daripada NVIDIA dengan 550 bilion parameter, konteks 1 juta token, dan seni bina Transformer-Mamba campuran pakar untuk aliran kerja agen autonomi.
Konteks
1M
Output maks
65.536K
Token input
$0 / 1M token
Token output
$0 / 1M token