nsmcp::ChatCompletionsRun method request (protected)

 <instance of nsmcp::ChatCompletionsRun> request body apiKey

Defined in /usr/local/ns/tcl/nsmcp/question-chat-completions.tcl

Parameters:

body (required)

apiKey (required)

Testcases:

No testcase defined.

Source code:

:check
if {[string bytelength $body] > 2*[${:backend} cget -maxHistoryBytes]} {error "API request size limit reached; start a new conversation"}
incr :requestsStarted
set :requestUsage {}
# Publish incomplete coverage before each request, retaining any usage
# from earlier rounds if this request fails or times out.
:emit [dict create type usage usage [dict merge ${:usageTotals}  [dict create scope turn source chat-completions apiRequests ${:requestsStarted}  requestsWithUsage ${:requestsWithUsage} complete false]]]
set :lineBuffer {}; set :eventData {}; set :firstLine true
set :done false; set :finish {}; set :content {}; set :reasoning {}
set :hasReasoning false; set :calls {}
set key [${:backend} streamOpen]
set request {}
set response {}
set headers [ns_set create Content-Type application/json Accept text/event-stream Authorization "Bearer $apiKey"]
try {
    set remaining [expr {max(0.001, (${:deadline}-[clock milliseconds])/1000.0)}]
    # Consume through the callback without retaining a second body.
    set discard [expr {$::tcl_platform(platform) eq "windows" ? "NUL" : "/dev/null"}]
    set request [ns_http queue -method POST -headers $headers -body $body  -outputfile $discard -spoolsize 0  -timeout $remaining -expire $remaining  -response_header_callback [list ${:backend} streamHeaders $key]  -response_data_callback [list ${:backend} streamData $key]  [${:backend} cget -apiUrl]]
    while {1} {
        :check
        :drain $key
        if {${:done}} {break}
        if {[lindex [ns_http list $request] end] ne "running"} {
            set code [catch {ns_http wait $request} reply]
            set request {}
            if {$code} {error "API request failed during HTTP transport"}
            set response $reply
            :drain $key
            break
        }
        ns_sleep 0.05
    }
    if {!${:done}} {error "API stream ended without its completion marker"}
    if {${:finish} ni {stop tool_calls}} {error "API completion is incomplete (finish reason: ${:finish})"}
    if {${:finish} eq "tool_calls" && ${:calls} eq ""} {error "API requested tool execution without any calls"}
    if {${:finish} eq "stop" && ${:calls} ne ""} {error "API tool calls lack a tool_calls finish reason"}
} finally {
    if {$request ne ""} {catch {ns_http cancel $request}}
    ${:backend} streamClose $key
    ns_set free $headers
    if {[dict exists $response headers]} {ns_set free [dict get $response headers]}
}

XQL Not present:

Generic, PostgreSQL, Oracle