Hermes API: Zmień klienta w trzech liniach

Zainstaluj SDK OpenAI

Ponieważ nasz endpoint jest kompatybilny z OpenAI, możesz użyć znanych Ci oficjalnych SDK. To podejście pozwala na przejście od innych dostawców bez przepisania logiki aplikacji. Obsługujemy standardowy pakiet openai dla środowisk Python i Node.js.

Upewnij się, że używasz najnowszej wersji SDK, aby zagwarantować kompatybilność ze strumieniowaniem i wywoływaniem funkcji. Biblioteka klienta obsługuje serializację JSON i transport HTTP automatycznie, więc możesz skupić się na parametrach modelu, a nie szczegółach sieciowych.

Skonfiguruj Base URL i klucz

Uwierzytelnianie odbywa się przez token Bearer w nagłówku Authorization. Klucz uzyskujesz, logując się e-mailem i hasłem na panelu. Nie potrzebujesz karty do próby, a klucz możesz wygenerować ponownie, aby unieważnić dostęp.

Ustaw base URL na nasz dedykowany endpoint. Zapewnia to, że zapytania trafiają do infrastruktury bezcenzurowego modelu, a nie do domyślnej chmury OpenAI. Klucz znajdziesz na stronie 'Pobierz klucz API' po rejestracji.

Wyślij pierwsze żądanie

Wyślij standardowe żądanie uzupełnienia czatu, aby przetestować łączność. ID modelu to zawsze uncensored. Model jest dostrojony do odpowiadania bez odrzucania treści dla legalnego użytku dorosłych, co czyni go idealnym do pisania kreatywnego, roleplay lub nieograniczonych badań.

• Użyj POST /v1/chat/completions do generowania tekstu.
• Okno kontekstu obsługuje do 100 000 tokenów dla promptu plus completion.
• Żądania są rozliczane na podstawie liczby tokenów wejściowych i wyjściowych.

Copycurl https://api.hermesllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Włącz strumieniowanie (SSE)

Dla lepszego doświadczenia użytkownika włącz strumieniowanie, aby otrzymywać tokeny w miarę ich generowania. Zmniejsza to postrzeganą latencję, szczególnie przy dłuższych odpowiedziach. Serwer zwraca zdarzenia wysyłane przez serwer (SSE), które klient może parsować w czasie rzeczywistym.

Ustaw parametr stream na true w ciele żądania. SDK zwraca fragmenty w miarę ich przybywania. Jest to przydatne w interfejsach czatu, gdzie chcesz wyświetlać tekst stopniowo, a nie czekać na zakończenie odpowiedzi.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Użyj wywoływania funkcji

Nasz API obsługuje wywoływanie funkcji, pozwalając modelowi na zwracanie strukturalnego JSON do wykonania zewnętrznych narzędzi. Zdefiniuj swoje funkcje w parametrze tools, a model zwróci tool_calls w odpowiedzi, jeśli będzie to odpowiednie.

Ta funkcja działa dokładnie tak, jak opisano w specyfikacji OpenAI. Możesz sparsować nazwę funkcji i argumenty, wykonać logikę backendu i przekazać wyniki z powrotem do rozmowy. Jest w pełni kompatybilna ze standardowymi przepływami pracy wywoływania funkcji w SDK OpenAI.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.hermesllmapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Sprawdź dostępne modele

Zapytaj endpoint modeli, aby sprawdzić łączność i zobaczyć dostępne opcje. Obecnie oferujemy jeden dedykowany model: uncensored. Ta prostota eliminuje złożoność routingu modeli lub ogólnej infrastruktury, zapewniając przewidywalne zachowanie.

Możesz również użyć tego endpointu do debugowania problemów z uwierzytelnianiem. Jeśli żądanie się nie powiedzie, sprawdź ważność klucza API i łączność sieciową. Odpowiedź wylistuje szczegóły modelu, w tym rozmiar okna kontekstu i limity tokenów.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.hermesllmapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Obsługa limitów i błędów

Nasz API wymusza limit 300 żądań na minutę na klucz. Jeśli go przekroczysz, otrzymasz błąd 429. Obsługujemy również limit ciała żądania 8 MB dla złożonych promptów lub dużych okien kontekstu.

Typowe błędy to 401 (nieprawidłowy klucz) i 402 (niewystarczający kredyt). Przedpłacony kredyt nigdy nie wygasa, więc możesz go doładować, gdy chcesz. Bonusy kredytowe są naliczane automatycznie dla większych zakupów: +5% od $50 i +10% od $100.