実現したいこと

chatgptとvoiceBOXを利用して画像を切り替える処理に以下要素を追加する。
chatgptからもらう返答に感情パラメータ（喜び3,悲しみ2,怒り4,驚き0のようなもの）を付与してもらい、その数字に合わせて表示する画像を変更する。

発生している問題

具体的に手をつけていい箇所がわからない。

ソースコード

// ずんだもん表示
const Character = ({ character }: { character: CharacterType }) => {
const [imageIndex, setImageIndex] = useState<number>(0)
const imageRef = useRef<HTMLImageElement>(null)

// 画像リスト
const images = ['/zundamon1.png', '/zundamon2.png', '/zundamon3.png']

// 画像を切り替える関数
const changeImage = () => {
setImageIndex((imageIndex + 1) % images.length)
}

// システムメッセージを配列の先頭に追加
newMessages.unshift({
  role: ChatCompletionRequestMessageRoleEnum.System,
  content: 'あなたはAIアシスタントです。簡潔に答えてください。',
})

自分で試したこと

色々なサイトを参考にしたのですが感情パラメータを扱って最適な画像の表示をコントロールしているのはなかったです。
具体的にcontnetの中身に感情パラメータを指定したとしてもそのデータのみを吸い上げ、テキストボックスには表示しないように設定する方法がわからなかったです。

補足情報

合わせてYouTubeのコメントを自動で入力する機能も搭載しようとしているので、その際はまたご質問させていただけますと幸いです。