Hermes API: เปลี่ยนไคลเอนต์ของคุณในสามบรรทัด

ติดตั้ง OpenAI SDK

เนื่องจากเอนด์พอยต์ของเราเข้ากันได้กับ OpenAI คุณจึงสามารถใช้ SDK ทางการที่คุณคุ้นเคยอยู่แล้วได้ วิธีนี้ช่วยให้คุณเปลี่ยนจากผู้ให้บริการรายอื่นได้โดยไม่ต้องเขียนตรรกะแอปพลิเคชันใหม่ เราสนับสนุนแพ็กเกจ openai มาตรฐานสำหรับสภาพแวดล้อม Python และ Node.js

ตรวจสอบว่าคุณใช้เวอร์ชันล่าสุดของ SDK เพื่อให้แน่ใจว่าเข้ากันได้กับฟีเจอร์สตรีมมิงและการเรียกใช้ฟังก์ชัน ไลบรารีไคลเอนต์จัดการการแปลงข้อมูล JSON และการขนส่ง HTTP โดยอัตโนมัติ ดังนั้นคุณสามารถมุ่งเน้นไปที่พารามิเตอร์โมเดลแทนรายละเอียดเครือข่าย

กำหนดค่า Base URL และคีย์

การตรวจสอบสิทธิ์ดำเนินการผ่านโทเคน Bearer ในส่วนหัว Authorization คุณได้รับคีย์ของคุณโดยการสมัครสมาชิกด้วยอีเมลและรหัสผ่านบนแดชบอร์ดของเรา ไม่จำเป็นต้องใช้บัตรเครดิตสำหรับการทดลองใช้ และคุณสามารถสร้างคีย์ใหม่ได้ทุกเมื่อเพื่อยกเลิกการเข้าถึง

ตั้งค่า URL พื้นฐานเป็นเอนด์พอยต์เฉพาะของเรา สิ่งนี้ทำให้แน่ใจว่าคำขอทั้งหมดไปยังโครงสร้างพื้นฐานโมเดลที่ไม่เซ็นเซอร์ของเราแทนที่จะเป็นคลาวด์ OpenAI มาตรฐาน คุณสามารถพบคีย์ API ของคุณบนหน้า 'รับคีย์ API' ทันทีหลังจากสมัครสมาชิก

ส่งคำขอแรกของคุณ

ส่งคำขอ chat completion มาตรฐานเพื่อทดสอบการเชื่อมต่อ รหัสโมเดลคือ uncensored เสมอ โมเดลนี้ได้รับการปรับแต่งเพื่อตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ตามกฎหมาย ทำให้เหมาะสำหรับการเขียนเชิงสร้างสรรค์ การสวมบทบาท หรือการวิจัยแบบไม่มีข้อจำกัด

• ใช้ POST /v1/chat/completions สำหรับการสร้างข้อความ
• หน้าต่างบริบทรองรับโทเคนได้สูงสุด 100,000 โทเคนสำหรับพรอมต์และการสร้างคำตอบ
• คำขอจะถูกเรียกเก็บตามจำนวนโทเคนอินพุตและเอาต์พุต

Copycurl https://api.hermesllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

เปิดใช้สตรีมมิง (SSE)

เพื่อประสบการณ์ผู้ใช้ที่ดีขึ้น ให้เปิดใช้สตรีมมิงเพื่อรับโทเคนเมื่อถูกสร้าง ซึ่งช่วยลดความล่าช้าที่ผู้ใช้รู้สึก โดยเฉพาะกับคำตอบที่ยาว เซิร์ฟเวอร์จะส่งเหตุการณ์ที่ส่งโดยเซิร์ฟเวอร์ (SSE) ที่ไคลเอนต์ของคุณสามารถแยกวิเคราะห์แบบเรียลไทม์

ตั้งค่าพารามิเตอร์ stream เป็น true ในบอดี้คำขอของคุณ SDK จะส่งข้อมูลแบบชิ้นส่วนเมื่อมาถึง ซึ่งจะมีประโยชน์มากสำหรับอินเทอร์เฟซแชทที่คุณต้องการแสดงข้อความแบบเพิ่มทีละส่วนแทนที่จะรอให้คำตอบทั้งหมดเสร็จสิ้น

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

ใช้การเรียกใช้เครื่องมือ/ฟังก์ชัน

API ของเรารองรับการเรียกใช้ฟังก์ชัน ทำให้โมเดลสามารถส่งออก JSON ที่มีโครงสร้างสำหรับการดำเนินการเครื่องมือภายนอก กำหนดฟังก์ชันของคุณในพารามิเตอร์ tools และโมเดลจะส่งคืน tool_calls ในการตอบกลับหากเหมาะสม

คุณลักษณะนี้ทำงานเหมือนกับที่ระบุไว้ในสเปคของ OpenAI คุณสามารถแยกวิเคราะห์ชื่อฟังก์ชันและอาร์กิวเมนต์ ดำเนินตรรกะแบ็กเอนด์ของคุณ และป้อนผลลัพธ์กลับเข้าสู่การสนทนา มันเข้ากันได้กับเวิร์กโฟลว์การเรียกใช้ฟังก์ชันของ SDK OpenAI มาตรฐาน

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.hermesllmapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

ตรวจสอบโมเดลที่มีอยู่

เรียกใช้เอนด์พอยต์โมเดลเพื่อตรวจสอบการเชื่อมต่อและดูตัวเลือกที่มีอยู่ ปัจจุบันเราเสนอโมเดลเฉพาะเพียงรุ่นเดียว: uncensored ความเรียบง่ายนี้หลีกเลี่ยงความซับซ้อนของการจัดเส้นทางโมเดลหรือโครงสร้างพื้นฐานทั่วไป ซึ่งช่วยให้มั่นใจในพฤติกรรมที่คาดการณ์ได้

คุณยังสามารถใช้เอนด์พอยต์นี้เพื่อแก้ไขปัญหาการตรวจสอบสิทธิ์ได้ หากคำขอล้มเหลว ให้ตรวจสอบความถูกต้องของคีย์ API และการเชื่อมต่อเครือข่าย การตอบกลับจะแสดงรายละเอียดโมเดล รวมถึงขนาดหน้าต่างบริบทและขีดจำกัดโทเคน

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.hermesllmapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

จัดการขีดจำกัดอัตราและข้อผิดพลาด

API ของเราจำกัดคำขอ 300 คำขอต่อนาทีต่อคีย์ หากเกินจะรับข้อผิดพลาด 429 รองรับบอดี้คำขอสูงสุด 8 MB สำหรับพรอมต์หรือหน้าต่างบริบทขนาดใหญ่

ข้อผิดพลาดทั่วไปรวมถึง 401 (คีย์ไม่ถูกต้อง) และ 402 (เครดิตไม่เพียงพอ) เครดิตแบบเติมเงินล่วงหน้าไม่หมดอายุ ดังนั้นคุณสามารถเติมเงินได้ตามความสะดวก โบนัสเครดิตจะถูกนำไปใช้โดยอัตโนมัติสำหรับการซื้อขนาดใหญ่: +5% จาก $50 และ +10% จาก $100