Kimicode thay thế Cursor: Cấu hình Endpoint tùy chỉnh

Những gì hoạt động và những gì bạn có thể mong đợi

Nhiều trình soạn thảo mã có tích hợp chat cho phép bạn thay thế endpoint OpenAI bằng endpoint của riêng bạn. Chỉ một cài đặt duy nhất này là điều làm nên sự khác biệt. Bạn cung cấp cho trình soạn thảo ba thứ: URL cơ sở, khóa API và tên mô hình. Mọi thứ khác là hành vi riêng của trình soạn thảo.

API ở đây là một dịch vụ được lưu trữ, tương thích OpenAI với một mô hình trọng số mở, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho việc sử dụng hợp pháp của người trưởng thành. Đây không phải là dịch vụ của riêng Kimi và không phải là bộ định tuyến giữa các nhà cung cấp, nên không có trình chọn mô hình. Bạn nhận được uncensored, và đó là ID mô hình duy nhất.

Hãy thực tế về sự phù hợp. Tôi không tuyên bố mô hình này đánh bại bất kỳ mô hình nào mà trình soạn thảo của bạn cung cấp theo mặc định khi viết mã, và tôi không có benchmark nào để cho bạn xem. Những gì bạn có được là quyền kiểm soát: endpoint của riêng bạn, tính phí theo token với giá $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra, và một mô hình không từ chối yêu cầu vì chủ đề của nó. Những gì bạn đánh đổi là bất kỳ tính năng nào mà trình soạn thảo chỉ kích hoạt cho các mô hình của riêng nó.

Hướng dẫn từng bước: ghi đè URL cơ sở

1. Đăng nhập và mở trang khóa API. Tạo một khóa. Người dùng mới có thể nhận tín dụng dùng thử $0,50 ở đó chỉ với một cú nhấp chuột, không cần thẻ, có hiệu lực trong 7 ngày.
2. Trong trình soạn thảo của bạn, hãy mở cài đặt mô hình hoặc API. Ví dụ, Cursor có tùy chọn để ghi đè URL cơ sở OpenAI trong cài đặt mô hình. Tên và vị trí của tùy chọn này thay đổi giữa các bản phát hành, nên hãy kiểm tra tài liệu chính thức của trình soạn thảo nếu bạn không thể tìm thấy nó.
3. Nhập URL cơ sở: https://api.kimicode.cc/v1. Đừng thêm /chat/completions.
4. Dán khóa của bạn vào trường khóa OpenAI.
5. Thêm một mô hình tùy chỉnh tên là uncensored và chọn nó trong bảng trò chuyện.
6. Chạy một câu hỏi kiểm tra nhỏ. Nếu trình soạn thảo hiển thị lỗi, hãy mở bảng điều khiển nhà phát triển hoặc nhật ký và tìm trạng thái HTTP. Lỗi 401 là vấn đề về khóa, lỗi 404 là vấn đề về URL và lỗi 429 là giới hạn tốc độ.

Một số trình soạn thảo xác minh khóa bằng cách gọi tên một mô hình được lưu trữ không tồn tại ở đây. Nếu xác minh thất bại nhưng chat hoạt động, hãy bỏ qua bước xác minh. Nếu trình soạn thảo không lưu mà không có bước này, hãy sử dụng một công cụ khác từ phần tiếp theo.

Hãy nhớ các giới hạn dùng thử của bạn trong khi kiểm tra: 2 yêu cầu đồng thời và 60 mỗi phút. Một trình soạn thảo gửi nhiều yêu cầu nền cùng một lúc, chẳng hạn như tự động hoàn thành cộng với trò chuyện, có thể đạt giới hạn đồng thời. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút.

Các trình soạn thảo và công cụ khác chấp nhận endpoint tùy chỉnh

Nếu trình soạn thảo của bạn không chấp nhận URL cơ sở tùy chỉnh, một số công cụ mã nguồn mở sẽ làm được. Mỗi công cụ đều yêu cầu ba giá trị giống nhau. Hãy kiểm tra tài liệu của chúng để biết tên tùy chọn hiện tại, vì những tên này có thể thay đổi.

Aider đọc các biến môi trường OpenAI tiêu chuẩn và nhận một mô hình tương thích OpenAI với tiền tố openai/:

Copyexport OPENAI_API_BASE="https://api.kimicode.cc/v1"
export OPENAI_API_KEY="YOUR_KEY"
aider --model openai/uncensored

Continue, một tiện ích mở rộng cho VS Code và JetBrains, chấp nhận một mục mô hình với nhà cung cấp được đặt thành openai và URL cơ sở API. Định dạng tệp khác nhau theo phiên bản, vì vậy đây là hình dạng cần tìm:

Copy{
  "models": [
    {
      "title": "Kimicode API",
      "provider": "openai",
      "model": "uncensored",
      "apiBase": "https://api.kimicode.cc/v1",
      "apiKey": "YOUR_KEY"
    }
  ]
}

Cline cung cấp một nhà cung cấp tương thích OpenAI trong cài đặt của nó, nơi bạn nhập cùng URL cơ sở, khóa và ID mô hình. Trong mọi trường hợp, mẫu chung là giống nhau: hãy chọn nhà cung cấp tương thích OpenAI, không phải nhà cung cấp có tên theo một nhà cung cấp cụ thể.

Một system prompt phù hợp cho công việc lập trình

Các trình soạn thảo thường thêm hướng dẫn của riêng chúng, nhưng nhiều trình cho phép bạn thêm quy tắc tùy chỉnh hoặc system prompt. Một prompt ngắn, cụ thể sẽ hiệu quả hơn một prompt dài. Đây là điểm khởi đầu bạn có thể điều chỉnh:

Bạn là một trợ lý lập trình làm việc trong dự án của người dùng. Hãy trả lời bằng thay đổi nhỏ nhất giải quyết vấn đề. Hãy hiển thị diff hoặc hàm đã sửa đổi, không phải toàn bộ tệp. Nếu yêu cầu không rõ ràng, hãy hỏi một câu trước khi viết mã. Hãy nêu rõ bất kỳ giả định nào về phiên bản hoặc khung làm việc.

Tại sao các dòng này? "Thay đổi nhỏ nhất" cắt giảm token đầu ra, đây là phía đắt tiền hơn với giá $0,50 cho mỗi 1M. "Hiển thị diff" làm tương tự và giúp việc xem xét dễ dàng hơn. "Hỏi một câu hỏi" ngăn chặn một câu trả lời dài sai lầm. "Trình bày giả định" cho bạn một nơi để bắt lỗi trước khi nó đạt đến mã của bạn.

Giữ nhiệt độ thấp cho mã. Các giá trị khoảng 0,2 đến 0,4 cho đầu ra ổn định hơn, và bạn có thể truyền seed nếu bạn muốn kết quả có thể lặp lại trong khi gỡ lỗi prompt. Cả hai đều được chuyển tiếp đến mô hình.

Script khi trình soạn thảo không đáp ứng đủ

Khi một tính năng của trình soạn thảo không phù hợp với endpoint tùy chỉnh, một script khoảng hai mươi dòng sẽ lấp đầy khoảng trống đó và mang lại cho bạn quyền kiểm soát đầy đủ về những gì được gửi. Script này đọc một tệp, yêu cầu xem xét với system prompt của riêng bạn và in câu trả lời khi nó được truyền phát.

Copyimport os, sys
from openai import OpenAI

client = OpenAI(base_url="https://api.kimicode.cc/v1", api_key=os.environ["KIMICODE_KEY"])

SYSTEM = (
    "You are a careful code reviewer. List real bugs first, then risky spots. "
    "Quote the line you mean. Skip style comments."
)

path = sys.argv[1]
code = open(path, encoding="utf-8").read()

stream = client.chat.completions.create(
    model="uncensored",
    stream=True,
    temperature=0.3,
    messages=[
        {"role": "system", "content": SYSTEM},
        {"role": "user", "content": f"Review {path}:\n\n{code}"},
    ],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
print()

Chạy nó dưới dạng python review.py app/server.py. Một tệp 1.000 token với bản xem xét 600 token tốn $0.00015 + $0.0003 = $0.00045. Bạn có thể xem xét vài nghìn tệp với giá dưới $2.

Mẫu tương tự cũng hoạt động cho thông báo commit, tạo bài kiểm tra và docstrings. Hãy gắn script với một phím trong trình soạn thảo của bạn và bạn sẽ có một lệnh tùy chỉnh mà không cần plugin nào.

Nơi phù hợp và nơi không phù hợp

Cấu hình này phù hợp nếu bạn muốn endpoint của riêng mình, thanh toán theo token và một mô hình không từ chối nhiệm vụ dựa trên chủ đề. Nó phù hợp với các nhà phát triển độc lập, nhóm nhỏ và những người xây dựng công cụ giao tiếp với nhiều nhà cung cấp thông qua một thư viện khách hàng chung.

Nó không phù hợp lắm nếu bạn phụ thuộc vào các tính năng chỉ hoạt động với các mô hình được lưu trữ bởi trình soạn thảo, chẳng hạn như tự động hoàn thành nội tuyến được tinh chỉnh cho một mô hình cụ thể hoặc các tính năng dựa trên hình ảnh. Nếu những tính năng đó là trọng tâm trong quy trình làm việc của bạn, hãy giữ cài đặt mặc định và sử dụng API này cho bảng chat và các script. Việc kết hợp cả hai là phổ biến và không tốn thêm chi phí.

Nếu bạn chỉ muốn xem nó hoạt động như thế nào, hãy nhận dùng thử trên trang khóa API và hỏi trình soạn thảo của bạn ba câu hỏi từ nhiệm vụ hiện tại của bạn. So sánh các câu trả lời với những gì bạn nhận được hiện nay. Bài kiểm tra này mất mười phút và sử dụng một phần nhỏ của một xu.

Các giới hạn minh bạch của mô hình chỉ văn bản

Có ba giới hạn đáng biết trước khi bạn chuyển đổi.

Chỉ văn bản. Không có đầu vào hình ảnh và không có endpoint embedding. Nếu trình soạn thảo của bạn lập chỉ mục một codebase với embedding, chỉ mục đó cần một nguồn khác hoặc tính năng sẽ bị tắt. Dán ảnh chụp màn hình của lỗi cũng sẽ không hoạt động; hãy dán văn bản lỗi.

Cửa sổ 100.000 token. Đó là prompt cộng với kết quả hoàn thành. Theo quy tắc thô, mã chạy khoảng ba đến bốn ký tự mỗi token, vì vậy một tệp lớn 40 KB có kích thước khoảng 10.000 đến 13.000 token. Các trình soạn thảo đính kèm nhiều tệp có thể đạt giới hạn nhanh chóng. Khi bạn thấy lỗi ngữ cảnh, hãy đính kèm ít tệp hơn, không phải nhiều hơn.

Không định tuyến ẩn. Bạn nhận được một mô hình. Nếu nó bỏ lỡ một nhiệm vụ, không có mô hình dự phòng ở chế độ nền, vì vậy hãy diễn giải lại, thêm ví dụ hoặc thu hẹp câu hỏi.

Về chi phí, một câu hỏi lập trình điển hình với 20.000 token đầu vào và 1.000 token đầu ra là $0,003 + $0,0005 = $0,0035. Năm mươi yêu cầu như vậy trong một ngày là $0,175. Trang giá cả liệt kê các khoản nạp tiền từ $20 đến $500 kèm tiền thưởng từ $50, và tín dụng trả trước không bao giờ hết hạn. Các prompt không được dùng để huấn luyện.

Danh sách kiểm tra trước khi cam kết

• Hãy kiểm tra với tín dụng dùng thử trên một nhiệm vụ thực tế từ dự án của riêng bạn, không phải một prompt giả định.
• Hãy kiểm tra xem truyền phát có hoạt động trong trình soạn thảo của bạn không. Nếu các câu trả lời chỉ xuất hiện ở cuối, trình soạn thảo có thể đang đệm dữ liệu.
• Xác nhận rằng gọi hàm đã được kết nối nếu bạn sử dụng các tính năng agent. API này hỗ trợ tools và tool_calls được truyền phát, nhưng trình soạn thảo quyết định có gửi chúng hay không.
• Đọc hướng dẫn bắt đầu nhanh một lần, bao gồm phần về mã lỗi.
• Quy định mức nạp tiền tối đa hàng tháng. Vì thanh toán trả trước, số tiền bạn chi tối đa chính là số tiền bạn đã nạp.

Thiết kế trả trước là mạng an toàn cho các editor chạy vòng lặp agent. Một vòng lặp bị lỗi sẽ dừng lại khi hết tín dụng, thay vì tạo ra một hóa đơn bất ngờ.

Hướng dẫn khác

• Bảng giá API Kimi Code so với Token trả theo mức tiêu thụ
• URL API Kimi Code: Thiết lập Base URL cho các khách hàng OpenAI
• API Groq: Những hiểu lầm và Sự thật về các LLM không kiểm duyệt