Как Gemini API упрощает доступ к сотням инструментов: обзор Tool Retrieval

Google представила в Gemini API новую функцию Tool Retrieval, которая позволяет агентам получать доступ к сотням инструментов, используя при этом меньше токенов. Сейчас функция доступна в режиме предварительного просмотра.

Как Gemini API упрощает доступ к сотням инструментов: обзор Tool Retrieval
Как Gemini API упрощает доступ к сотням инструментов: обзор Tool Retrieval

Главное

  • Tool Retrieval в Gemini API сокращает расход токенов за счет динамического подбора инструментов
  • Функция доступна в предварительном просмотре и может измениться
  • Упрощает интеграцию агентов с сотнями инструментов
  • Повышает скорость ответа и масштабируемость агентских систем

Google представила в Gemini API новую функцию Tool Retrieval, которая позволяет агентам получать доступ к сотням инструментов, используя при этом меньше токенов. Сейчас функция доступна в режиме предварительного просмотра.

Суть проблемы: при работе с множеством инструментов агент должен передавать их описания в каждый запрос, что увеличивает количество токенов и замедляет обработку. Tool Retrieval решает эту задачу, динамически подбирая и добавляя в контекст только те инструменты, которые соответствуют текущему запросу. Это похоже на то, как поисковая система выбирает релевантные результаты, а не отправляет всю базу данных сразу.

Технически это реализовано через механизм, который анализирует запрос и извлекает из заданного набора наиболее подходящие инструменты. Это снижает расход токенов и повышает скорость ответа, что особенно важно для сложных агентских сценариев, где требуется работа с большим количеством функций.

Для разработчиков это означает упрощение интеграции: не нужно вручную управлять списком инструментов для каждого вызова. Достаточно один раз определить набор доступных инструментов, а дальше API сам решит, какие из них использовать. Это делает агентов более масштабируемыми и эффективными.

Важно отметить, что функция находится на стадии предварительного просмотра, поэтому возможны изменения в API и ограничения по использованию. Разработчикам стоит изучить документацию и протестировать функциональность в своих сценариях.