Cursor विकल्प के रूप में Kimicode: कस्टम एंडपॉइंट सेटअप

क्या काम करता है और आप क्या उम्मीद कर सकते हैं

बिल्ट-इन चैट वाले कई कोड संपादक आपको OpenAI एंडपॉइंट को अपने खुद के एंडपॉइंट से बदलने की अनुमति देते हैं। वह एक सेटिंग ही इसे संभव बनाती है। आप संपादक को तीन चीज़ें देते हैं: एक बेस URL, एक API कुंजी और एक मॉडल नाम। बाकी सब कुछ संपादक का अपना व्यवहार है।

यहाँ API एक होस्टेड, OpenAI-कम्पैटिबल सेवा है जिसका संचालन एक स्वतंत्र प्रदाता करता है और जिसमें एक ओपन-वेट मॉडल है, जिसे कानूनी वयस्कों के उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून किया गया है। यह Kimi की अपनी सेवा नहीं है और न ही यह विभिन्न विक्रेताओं के बीच एक रूटर है, इसलिए कोई मॉडल पिकर नहीं है। आपको uncensored मिलता है, और वही एकमात्र मॉडल ID है।

मेल के बारे में यथार्थवादी रहें। मैं यह दावा नहीं कर रहा हूँ कि यह मॉडल कोड लिखने में आपके एडिटर द्वारा डिफ़ॉल्ट रूप से शिप किए गए किसी भी चीज़ से बेहतर है, और आपके दिखाने के लिए मेरे पास कोई बेंचमार्क नहीं है। आपको जो मिलता है वह नियंत्रण है: आपका अपना एंडपॉइंट, प्रति-टोकन बिलिंग $0.15 प्रति 1M इनपुट और $0.50 प्रति 1M आउटपुट के लिए, और एक मॉडल जो अपने विषय के कारण एक अनुरोध अस्वीकार नहीं करता है। आप जो त्यागते हैं वह वह सुविधाएँ हैं जो एडिटर केवल अपने मॉडल्स के लिए सक्षम करता है।

चरण-दर-चरण: बेस URL ओवरराइड

1. साइन इन करें और API कुंजी पेज खोलें। एक कुंजी बनाएं। नए उपयोगकर्ता एक क्लिक के साथ $0.50 का ट्रायल दावा कर सकते हैं, बिना कार्ड की आवश्यकता के, 7 दिनों के लिए मान्य।
2. अपने संपादक में, मॉडल या API सेटिंग्स खोलें। उदाहरण के लिए, Cursor के पास मॉडल सेटिंग्स में OpenAI बेस URL को ओवरराइड करने का विकल्प रहा है। उस विकल्प का नाम और स्थान रिलीज़ के बीच बदल जाता है, इसलिए यदि आप उसे नहीं पा पाते हैं तो संपादक की अपनी दस्तावेज़ीकरण जांचें।
3. बेस URL दर्ज करें: https://api.kimicode.cc/v1। /chat/completions न जोड़ें।
4. अपनी कुंजी को OpenAI कुंजी फ़ील्ड में पेस्ट करें।
5. uncensored नाम का एक कस्टम मॉडल जोड़ें और चैट पैनल में इसे चुनें।
6. एक छोटा परीक्षण प्रश्न चलाएं। यदि संपादक एक त्रुटि दिखाता है, तो डेव कंसोल या लॉग खोलें और HTTP स्टेटस देखें। एक 401 कुंजी की समस्या है, एक 404 URL की समस्या है, और एक 429 रेट लिमिट है।

कुछ एडिटर एक होस्टेड मॉडल नाम को कॉल करके एक कुंजी की सत्यापन करते हैं जो यहाँ मौजूद नहीं है। यदि सत्यापन विफल हो जाता है लेकिन चैट काम करती है, तो सत्यापन चरण को अनदेखा करें। यदि एडिटर बिना इसके बचाने से इनकार करता है, तो अगले खंड से एक अन्य टूल का उपयोग करें।

परीक्षण के दौरान अपनी ट्रायल सीमाओं को ध्यान में रखें: 2 समानांतर अनुरोध और प्रति मिनट 60। एक संपादक जो एक साथ कई बैकग्राउंड अनुरोध भेजता है, जैसे कि ऑटोकम्प्लीट प्लस चैट, कन्करेंसी कैप को छू सकता है। एक फुल कुंजी 8 समानांतर और प्रति मिनट 300 की अनुमति देती है।

अन्य संपादक और टूल जो कस्टम एंडपॉइंट लेते हैं

यदि आपका संपादक कस्टम बेस URL स्वीकार नहीं करता है, तो कई ओपन-सोर्स टूल करेंगे। प्रत्येक उसी तीन मानों को लेता है। वर्तमान विकल्प नामों के लिए उनकी दस्तावेज़ीकरण जांचें, क्योंकि ये बदल जाते हैं।

Aider मानक OpenAI एनवायरनमेंट वेरिएबल्स पढ़ता है और एक openai/ प्रीफ़िक्स के साथ एक OpenAI-संगत मॉडल लेता है:

Copyexport OPENAI_API_BASE="https://api.kimicode.cc/v1"
export OPENAI_API_KEY="YOUR_KEY"
aider --model openai/uncensored

Continue, VS Code और JetBrains के लिए एक एक्सटेंशन, एक मॉडल एंट्री स्वीकार करता है जिसमें प्रोवाइडर को openai सेट किया गया हो और एक API बेस हो। फ़ाइल फॉर्मेट वर्जन के अनुसार अलग-अलग होता है, इसलिए यह वह शैली है जिसकी आपको तलाश करनी चाहिए:

Copy{
  "models": [
    {
      "title": "Kimicode API",
      "provider": "openai",
      "model": "uncensored",
      "apiBase": "https://api.kimicode.cc/v1",
      "apiKey": "YOUR_KEY"
    }
  ]
}

Cline अपनी सेटिंग्स में एक OpenAI-संगत प्रदाता प्रदान करता है, जहाँ आप समान बेस URL, कुंजी और मॉडल ID दर्ज करते हैं। सभी मामलों में पैटर्न समान है: OpenAI-संगत प्रदाता चुनें, न कि किसी वेंडर के नाम पर नामित एक।

कोड वर्क के लिए उपयुक्त सिस्टम प्रॉम्प्ट

संपादक आमतौर पर अपने निर्देश जोड़ते हैं, लेकिन कई आपको कस्टम नियम या सिस्टम प्रॉम्प्ट जोड़ने की अनुमति देते हैं। एक छोटा, विशिष्ट प्रॉम्प्ट एक लंबे से बेहतर है। यहाँ एक शुरुआती बिंदु है जिसे आप समायोजित कर सकते हैं:

आप एक कोड असिस्टेंट हैं जो उपयोगकर्ता के प्रोजेक्ट में काम कर रहे हैं। समस्या को हल करने वाले सबसे छोटे बदलाव के साथ जवाब दें। पूरे फ़ाइल के बजाय डिफ्स या बदले गए फ़ंक्शन दिखाएं। यदि कोई आवश्यकता अस्पष्ट है, तो कोड लिखने से पहले एक प्रश्न पूछें। संस्करणों या फ्रेमवर्क्स के बारे में आपकी द्वारा की गई किसी भी धारणा को बताएं।

ये पंक्तियाँ क्यों? "सबसे छोटा परिवर्तन" आउटपुट टोकन कम करता है, जो $0.50 प्रति 1M पर महंगे पक्ष हैं। "डिफ्स दिखाएं" वही करता है और समीक्षा को आसान बनाता है। "एक प्रश्न पूछें" एक लंबे गलत उत्तर को रोकता है। "धारणाएँ निर्दिष्ट करें" आपको एक जगह देता है एक त्रुटि को पकड़ने के लिए, इससे पहले कि वह आपके कोड तक पहुँचे।

कोड के लिए तापमान कम रखें। 0.2 से 0.4 के आसपास मान स्थिर आउटपुट देते हैं, और यदि आप प्रॉम्प्ट डिबग करते समय दोहराने योग्य परिणाम चाहते हैं तो आप seed पास कर सकते हैं। दोनों मान मॉडल को पास किए जाते हैं।

जब एडिटर कम पड़ जाए, तो एक स्क्रिप्ट

जब एडिटर की कोई सुविधा किसी कस्टम एंडपॉइंट के लिए उपयुक्त न हो, तो एक बीस-लाइन वाली स्क्रिप्ट उस अंतर को पाट देती है और आपको यह नियंत्रण देती है कि क्या भेजा जा रहा है। यह स्क्रिप्ट एक फ़ाइल पढ़ती है, आपके सिस्टम प्रॉम्प्ट के साथ एक समीक्षा के लिए अनुरोध करती है, और स्ट्रीमिंग के दौरान उत्तर को प्रिंट करती है।

Copyimport os, sys
from openai import OpenAI

client = OpenAI(base_url="https://api.kimicode.cc/v1", api_key=os.environ["KIMICODE_KEY"])

SYSTEM = (
    "You are a careful code reviewer. List real bugs first, then risky spots. "
    "Quote the line you mean. Skip style comments."
)

path = sys.argv[1]
code = open(path, encoding="utf-8").read()

stream = client.chat.completions.create(
    model="uncensored",
    stream=True,
    temperature=0.3,
    messages=[
        {"role": "system", "content": SYSTEM},
        {"role": "user", "content": f"Review {path}:\n\n{code}"},
    ],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

इसे python review.py app/server.py के रूप में चलाएं। 1,000 टोकन की एक फ़ाइल और 600 टोकन की समीक्षा की लागत $0.00015 + $0.0003 = $0.00045 है। आप कुछ हज़ार फ़ाइलों की समीक्षा $2 से कम में कर सकते हैं।

यही पैटर्न कॉमिट संदेशों, टेस्ट जनरेशन और डॉकस्ट्रिंग्स के लिए काम करता है। स्क्रिप्ट को अपने एडिटर में एक कुंजी से बांड करें और आपके पास कोई प्लगइन नहीं होने के बावजूद एक कस्टम कमांड मिल जाएगा।

यह कहाँ फिट बैठता है और कहाँ नहीं

यह सेटअप तब अच्छा फिट है यदि आप अपना खुद का एंडपॉइंट चाहते हैं, पे-पर-टोकन बिलिंग चाहते हैं और एक ऐसा मॉडल चाहते हैं जो विषय के कारण किसी कार्य को अस्वीकार न करे। यह अकेले डेवलपर्स, छोटी टीमों और उन लोगों के लिए उपयुक्त है जो एक क्लाइंट लाइब्रेरी के माध्यम से कई प्रदाताओं से बात करने वाले टूल बनाते हैं।

यह एक कमजोर फिट है यदि आप उन सुविधाओं पर निर्भर हैं जो केवल एक एडिटर के अपने होस्टेड मॉडल्स के साथ काम करती हैं, जैसे कि एक विशिष्ट मॉडल के लिए ट्यून किया गया टाइट इन्लाइन ऑटोकम्प्लीट, या इमेज-आधारित सुविधाएँ। यदि वे आपके काम के तरीके के केंद्र में हैं, तो डिफ़ॉल्ट रखें और चैट पैनल और स्क्रिप्ट्स के लिए इस API का उपयोग करें। दोनों को मिलाकर उपयोग करना आम है और इसमें कोई अतिरिक्त लागत नहीं आती।

यदि आप केवल यह देखना चाहते हैं कि यह कैसा लगता है, तो API कुंजी पेज पर ट्रायल क्रेडिट क्लेम करें और अपने वर्तमान कार्य से अपने एडिटर से तीन प्रश्न पूछें। अपने वर्तमान में जो उत्तर मिलते हैं, उनकी तुलना उन उत्तरों से करें। यह परीक्षण दस मिनट का है और एक सेंट के अंश का उपयोग करता है।

केवल-टेक्स्ट मॉडल की ईमानदार सीमाएं

स्विच करने से पहले जानने योग्य तीन सीमाएं।

केवल टेक्स्ट। कोई इमेज इनपुट नहीं हैं और न ही एम्बेडिंग्स एंडपॉइंट है। यदि आपका एडिटर एम्बेडिंग्स के साथ कोडबेस को इंडेक्स करता है, तो उस इंडेक्स को एक अन्य स्रोत की आवश्यकता होगी या वह सुविधा बंद रहेगी। एक त्रुटि की स्क्रीनशॉट पेस्ट करना भी काम नहीं करेगा; त्रुटि टेक्स्ट पेस्ट करें।

100,000-टोकन विंडो। यह प्रॉम्प्ट और कंप्लीशन का योग है। एक अनुमानित नियम के रूप में, कोड लगभग तीन से चार वर्ण प्रति टोकन चलाता है, इसलिए 40 KB की एक बड़ी फ़ाइल लगभग 10,000 से 13,000 टोकन की होती है। एडिटर जो कई फ़ाइलें जोड़ते हैं, वे जल्दी ही छत तक पहुंच सकते हैं। जब आप कॉन्टेक्स्ट त्रुटि देखें, तो अधिक फ़ाइलें न जोड़ें, बल्कि कम फ़ाइलें जोड़ें।

कोई छिपाया हुआ रूटिंग नहीं। आपको एक मॉडल मिलता है। यदि यह किसी कार्य में चूक जाता है, तो पृष्ठभूमि में कोई फॉलबैक मॉडल नहीं होता है, इसलिए पुनः लिखें, एक उदाहरण जोड़ें या प्रश्न को संकीर्ण करें।

लागत पर, 20,000 इनपुट टोकन और 1,000 आउटपुट टोकन के साथ एक सामान्य कोडिंग प्रश्न $0.003 + $0.0005 = $0.0035 है। एक दिन में पचास ऐसे $0.175 हैं। मूल्य निर्धारण पृष्ठ $20 से $500 तक टॉप-अप और $50 से बोनस सूचीबद्ध करता है, और क्रेडिट कभी समाप्त नहीं होता। प्रॉम्प्ट प्रशिक्षण के लिए उपयोग नहीं किए जाते हैं।

कमिट करने से पहले चेकलिस्ट

• अपने प्रोजेक्ट से एक वास्तविक कार्य पर ट्रायल क्रेडिट का उपयोग करके परीक्षण करें, न कि किसी टॉय प्रॉम्प्ट पर।
• सुनिश्चित करें कि स्ट्रीमिंग आपके एडिटर में काम कर रहा है। यदि उत्तर केवल अंत में दिखाई देते हैं, तो एडिटर बफरिंग कर रहा हो सकता है।
• यदि आप एजेंट सुविधाएँ का उपयोग करते हैं तो सुनिश्चित करें कि टूल कॉलिंग वायरअप है। यह API tools और स्ट्रीम्ड tool_calls का समर्थन करता है, लेकिन एडिटर तय करता है कि उन्हें भेजना है या नहीं।
• दस्तावेज़ क्विकस्टार्ट को एक बार पढ़ें, जिसमें एरर कोड्स पर अनुभाग भी शामिल है।
• मासिक टॉप-अप कैप तय करें। चूंकि बिलिंग प्रीपेड है, आप जो अधिकतम खर्च कर सकते हैं वह वह है जो आपने जोड़ा है।

प्रीपेड डिज़ाइन एडिटर के लिए एक सुरक्षा जाल है जो एजेंट लूप चलाते हैं। यदि कोई लूप गलत हो जाता है, तो यह तब तक रुक जाता है जब क्रेडिट समाप्त हो जाता है, न कि एक आश्चर्यजनक इन्वॉइस उत्पन्न करता है।

अधिक गाइड

• Kimi Code API मूल्य निर्धारण बनाम पे-एज़-यू-गो टोकन
• Kimi Code API URL: OpenAI क्लाइंट्स के लिए Base URL सेटअप
• Groq API: बिना सेंसर LLMs के लिए मिथक बनाम तथ्य