Felo API PlatformFelo API Platform
Wróć do modeli
NVIDIAmessages

Nemotron 3.5 Lightning (free) API

NVIDIA Nemotron 3.5 Lightning to otwarty model tekstowy typu mixture-of-experts o 30 miliardach parametrów, stworzony do szybkiego wykonywania zadań w długotrwałych obciążeniach agentowych.

NVIDIA Nemotron 3.5 Lightning to otwarty model tekstowy oparty na architekturze hybrydowej mixture-of-experts, łączącej warstwy Mamba-2 z warstwami MoE i wybranymi warstwami uwagi. Model liczy 30 miliardów parametrów ogółem, z około 3 miliardami aktywnych na token, i obsługuje kontekst do 1 miliona tokenów. Został poddany destylacji z modelu Nemotron 3 Ultra i wykorzystuje spekulatywne dekodowanie DFlash, aby skrócić opóźnienie na token. Wydano go na licencji OpenMDW-1.1 wraz z wagami, danymi treningowymi i przepisami, a uruchamia się go na jednym obsługiwanym GPU.

Model zaprojektowano jako warstwę wykonawczą dla długotrwałych obciążeń agentowych. Trenowano go pod kątem użycia narzędzi w popularnych środowiskach agentowych, takich jak OpenClaw i Hermes Agent. Sprawdza się w zadaniach takich jak obsługa poczty i kalendarza przez osobistych asystentów, ekstrakcja danych z dokumentów finansowych, wzbogacanie alertów w cyberbezpieczeństwie, triage alarmów sieci telekomunikacyjnych, wzbogacanie katalogów produktów w handlu detalicznym, przegląd pull requestów i generowanie poprawek w asystentach kodowania oraz obsługa rutynowych zgłoszeń klientów.

Według danych NVIDIA model osiąga do 4x wyższą przepustowość i do 30% szybsze ukończenie zadań w obciążeniach agentowych o dużej skali w porównaniu z innymi wiodącymi otwartymi modelami o zbliżonym rozmiarze. Dopasowuje się do wyników znacznie większych modeli gęstych przy około jednej czwartej ich całkowitej liczby parametrów. Niezależny test wykazał 4,9x przewagę przepustowości i 4,9x przewagę czasu do pierwszego tokena w trzech profilach, od krótkiego do długiego kontekstu. Model można dostrajać po treningu za pomocą NVIDIA NeMo pod narzędzia, przepływy pracy i zasady specyficzne dla danej dziedziny, zachowując kontrolę nad wagami.

Zaktualizowano:

MODEL ID

nemotron-3.5-lightning:free
Kontekst
1M
Maks. wyjście
65.536K
Polecane API
messages
Wejście
text
Wyjście
text

Najważniejsze informacje

  • Otwarte wagi na licencji OpenMDW-1.1
  • 30 mld parametrów, ok. 3 mld aktywnych na token
  • Kontekst do 1 miliona tokenów
  • Hybrydowa architektura Mamba-2 i MoE
  • Spekulatywne dekodowanie DFlash
  • Uruchamiany na jednym obsługiwanym GPU

Dostawcy

1 dostawców

Porównaj ceny API u różnych dostawców. Wybierz dostawcę, aby zobaczyć wszystkie opłaty i warunki.

Dostawca · Szczegóły cen
Dostępność
$0$0

Benchmarki

  • AA-Omniscience Non-Hallucination Rate

    według Artificial Analysis

    64.3%
  • Overused patterns eliminated

    odsetek w testach adaptacji dziedzinowej

    66.4%
  • Vocabulary richness

    odsetek wartości bazowej w testach adaptacji dziedzinowej

    98.4%
  • Vision fine-tuning validation accuracy

    przed dostrajaniem, studium przypadku firmy

    20%
  • Vision fine-tuning validation accuracy

    po dostrajaniu, studium przypadku firmy

    58%

Wyniki zgodnie z publikacją dostawcy modelu.

Rozumowanie

Zawsze włączone
Nie

Szybki start

Gotowy kod do wywołania tego modelu przez zgodne API Felo API Platform. Zacznij w Playground, gdy chcesz przetestować prompty przed pisaniem kodu.

1

Pobierz klucz API

Utwórz klucz w swoim koncie Felo API Platform i ustaw go jako zmienną środowiskową.

export FELO_API_KEY="YOUR_API_KEY"
2

Wyślij pierwsze żądanie

Użyj tego identyfikatora modelu z endpointem Felo API Platform. Opcjonalne nagłówki żądania, takie jak X-Request-Id, mogą pomóc w diagnostyce.

nemotron-3.5-lightning:free

Ten model obsługuje rozumowanie. Jeśli wybrany protokół i trasa modelu udostępniają elementy sterujące rozumowaniem, zachowaj zwrócone metadane rozumowania podczas kontynuowania rozmowy.

const response = await fetch("https://openapi.felo.ai/api/v1/messages", {
  method: 'POST',
  headers: {
    Authorization: `Bearer ${process.env.FELO_API_KEY}`,
    'Content-Type': 'application/json',
  },
  body: JSON.stringify({
  "model": "nemotron-3.5-lightning:free",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ]
}),
});
if (!response.ok) throw new Error(await response.text());
console.log(await response.json());

Korzystanie z zewnętrznych SDK

Używaj zgodnych SDK, ustawiając baseURL na https://openapi.felo.ai/api/v1. Użyj bazowego adresu URL zgodnego z Anthropic dla klientów w stylu Claude. https://openapi.felo.ai/api.

3

Włącz strumieniowanie

Dodaj stream: true, aby otrzymywać odpowiedzi jako server-sent events.

curl -N https://openapi.felo.ai/api/v1/messages \
  -H "Authorization: Bearer $FELO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "nemotron-3.5-lightning:free",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ],
  "stream": true
}'

Endpoint

Felo API Platform udostępnia zgodne interfejsy wywoływania modeli. Wybierz ten, który Twoja aplikacja lub klient agenta już obsługuje.

InterfejsMetodaURL

Messages

Komunikaty zgodne z Anthropic dla klientów w stylu Claude.

POST

https://openapi.felo.ai/api/v1/messages

Parametry

NazwaTypDomyślnieOpis
modelstringnemotron-3.5-lightning:freePubliczny identyfikator modelu do wywołania.
max_tokensinteger—Maksymalna liczba generowanych tokenów.
messagesarray—Komunikaty rozmowy dla Chat Completions.
seed———
toolsarray—Definicje wywoływania narzędzi zgodne z obsługiwanym schematem.
top_p———
reasoning———
temperaturenumber—Steruje różnorodnością odpowiedzi, gdy jest obsługiwane.
tool_choicestring or object—Steruje tym, czy narzędzie powinno zostać wywołane.
include_reasoning———

Często zadawane pytania

Co to jest Nemotron 3.5 Lightning (free)?

NVIDIA Nemotron 3.5 Lightning to otwarty model tekstowy oparty na architekturze hybrydowej mixture-of-experts, łączącej warstwy Mamba-2 z warstwami MoE i wybranymi warstwami uwagi. Model liczy 30 miliardów parametrów ogółem, z około 3 miliardami aktywnych na token, i obsługuje kontekst do 1 miliona tokenów. Został poddany destylacji z modelu Nemotron 3 Ultra i wykorzystuje spekulatywne dekodowanie DFlash, aby skrócić opóźnienie na token. Wydano go na licencji OpenMDW-1.1 wraz z wagami, danymi treningowymi i przepisami, a uruchamia się go na jednym obsługiwanym GPU. Model zaprojektowano jako warstwę wykonawczą dla długotrwałych obciążeń agentowych. Trenowano go pod kątem użycia narzędzi w popularnych środowiskach agentowych, takich jak OpenClaw i Hermes Agent. Sprawdza się w zadaniach takich jak obsługa poczty i kalendarza przez osobistych asystentów, ekstrakcja danych z dokumentów finansowych, wzbogacanie alertów w cyberbezpieczeństwie, triage alarmów sieci telekomunikacyjnych, wzbogacanie katalogów produktów w handlu detalicznym, przegląd pull requestów i generowanie poprawek w asystentach kodowania oraz obsługa rutynowych zgłoszeń klientów. Według danych NVIDIA model osiąga do 4x wyższą przepustowość i do 30% szybsze ukończenie zadań w obciążeniach agentowych o dużej skali w porównaniu z innymi wiodącymi otwartymi modelami o zbliżonym rozmiarze. Dopasowuje się do wyników znacznie większych modeli gęstych przy około jednej czwartej ich całkowitej liczby parametrów. Niezależny test wykazał 4,9x przewagę przepustowości i 4,9x przewagę czasu do pierwszego tokena w trzech profilach, od krótkiego do długiego kontekstu. Model można dostrajać po treningu za pomocą NVIDIA NeMo pod narzędzia, przepływy pracy i zasady specyficzne dla danej dziedziny, zachowując kontrolę nad wagami.

Jak rozliczane jest użycie?

Rachunek zależy od wybranego dostawcy, jego cen i faktycznego zużycia. Dłuższe dane wejściowe lub inne warunki mogą mieć inne ceny.

Jakie dane wejściowe i wyjściowe obsługuje Nemotron 3.5 Lightning?

Model przyjmuje tekst i zwraca tekst. Jest to model wyłącznie tekstowy.

Jak długi kontekst obsługuje ten model?

Nemotron 3.5 Lightning obsługuje kontekst do 1 miliona tokenów.

Do jakich zadań najlepiej nadaje się ten model?

Sprawdza się jako warstwa wykonawcza w długotrwałych obciążeniach agentowych, m.in. w asystentach osobistych, ekstrakcji danych z dokumentów finansowych, cyberbezpieczeństwie, telekomunikacji, handlu detalicznym i asystentach kodowania.

Czym Nemotron 3.5 Lightning różni się od Nemotron 3 Ultra?

Nemotron 3.5 Lightning został poddany destylacji z modelu Nemotron 3 Ultra i jest pozycjonowany jako wyspecjalizowany silnik wykonawczy do obciążeń o dużej skali, a nie jako model graniczny.

Czy model można dostroić do własnych potrzeb?

Tak. Model można dostrajać po treningu za pomocą NVIDIA NeMo pod narzędzia, przepływy pracy i zasady specyficzne dla danej dziedziny, a organizacje zachowują kontrolę nad wagami.

Na jakiej licencji wydano model?

Model wydano na licencji OpenMDW-1.1 wraz z pobieralnymi wagami, danymi treningowymi i przepisami.

Powiązane modele