Hermes Agent 가 vLLM 에 연결된 후 도구가 작동하지 않습니까?

Her mes Agent 가 v LL M 에 연결 된 후 모델 이 텍스트 출 력 으로 만 도구 호출 을 수행 하면 일반적으로 Her mes 가 연결 되지 않은 것이 아니라 v LL M 서비스가 시작 될 때 도구 호출 매 개 변 수가 부족 합니다 . Her mes 는 기본적으로 __ CO DE _ IN L INE _ 1 __ 을 사용 하며 v LL M 측 도 명시 적으로 켜 집니다 . 먼저 시작 명령

__ CO DE _ B LO CK _ 0 __

서로 다른 모델 에 해당 하는 파 서를 선택 합니다 .

Her mes / Q wen 클래 스 모델 은 일반적으로 __ CO DE _ IN L INE _ 2 __ , Lama 3. x 는 __ CO DE _ IN L INE _ 3 __ , Deep Se ek , M istr al 등 은 v LL M 에서 지원 하는 파 서 로 사용됩니다 .

@ __ CO DE _ IN L INE _ 5 __ 그래 픽 메모 리를 초 과 했는지 여 부 , 서비스가 시작 되지 않았 는지 여 부 .

API 계 층 이 일반 텍스트 만 반환 하는 경우 , 문제는 v LL M 파 서 또는 모델 기능 에 있습니다 ; API 계 층 이 정상 이고 Her mes 에서 예외 가 있는 경우 , Her mes 의 사용자 정의 엔 드 포 인트 , 모델 이름 , 컨 텍 스트 길이 및 로 그 를 확인 합니다 .
• 공식 오픈 소 스 주소 : __ CO DE _ IN L INE _ 7 __ ; 공식 문서 포 털 : __ CO DE _ IN L INE _ 8 __ .