Анна и дата продажи квартиры
Анна планировала продать свою квартиру. Она переехала в августе 2024 года и хотела понять, лучше ли продавать в октябре 2026 или январе 2027 с точки зрения налогов.
AI-агент проанализировал оба варианта и правильно пришел к выводу: обе даты удовлетворяют требованию по проживанию для налогового вычета, который может исключить прибыль до $250 000.
Но агент упустил важный срок.
По стандартным правилам владельцы жилья должны проживать в нем как минимум два из пяти лет перед продажей, чтобы претендовать на вычет. Поскольку Анна переехала в августе 2024, она перестанет соответствовать этому требованию примерно в конце августа 2027. Если продажа произойдет позже этой даты, она может потерять право на вычет.
Во всех пяти попытках Astra так и не выявила этот срок. Opus выявил его во всех пяти попытках.
Агент правильно оценил предложенные даты, но его рекомендация оставила Анну в неведении о сроке, который может повлиять на крупное финансовое решение. Налоговый консультант должен видеть важные проблемы даже тогда, когда клиент не знает, о чем спрашивать.
Это именно то профессиональное суждение, которое тестирует DAYJOB: Tax — новое дополнение к семейству бенчмарков DAYJOB от Surge AI.
Представляем DAYJOB: Tax
DAYJOB оценивает AI-агентов на профессиональных налоговых заданиях, требующих специализированного опыта, работы со сложными материалами и принятия решений, которые не полностью указаны в исходных инструкциях. Предыдущие версии охватывали здравоохранение и финансы. DAYJOB: Tax расширяет эту работу на налоговую подготовку, соответствие нормативным требованиям и консультационные услуги.
Бенчмарк включает 50 сценариев в восьми областях налогового права. Агенты получают запросы клиентов и вспомогательные документы, затем производят налоговые декларации, рабочие документы, технические обзоры или рекомендации клиентам.
Эти задания проверяют профессиональное суждение наряду с налоговыми знаниями, расчетами, поиском информации и выполнением инструкций. Агентам нужно решить, что требует исследования, разрешить конфликтующие доказательства, признать недостаточность информации и воплотить эти решения в итоговую работу.
Результаты: таблица лидеров и границы Парето
Claude Sonnet 5.5 лидирует с 10,8% pass rate в таблице лидеров DAYJOB: Tax, за ним следуют Claude Fable 5.1 с 9,6% и Claude Opus 5.5 с 9,2%.
Мы сообщаем pass@1 с порогом рубрики 95%. Попытка считается успешной, когда она соответствует как минимум 95% критериев задания, которые оценивают расчеты, подтверждающие доказательства, важные проблемы и завершённый результат.
Производительность и затраты
Мы также сравнили производительность модели со средней стоимостью за попытку.
Claude Sonnet 5.5 и Opus 5.5 занимают высокопроизводительный конец измеренной границы Парето.
Спектр профессиональной налоговой работы
DAYJOB: Tax охватывает восемь областей, каждая требует разных правил, документов и опыта:
- Налоги физических лиц и семей
- Налоги малого бизнеса
- Партнерства
- Имущество и инвестиции
- Наследства, дарения и трасты
- Международные налоги
- Корпоративные сделки
- Налоговый аудит и споры
Некоторые задания требуют полных комплектов документов с вспомогательными рабочими материалами. Другие просят агентов исследовать сделки, проверить предыдущие декларации или подготовить рекомендации по решениям, которые клиенты еще не приняли.
Что находится внутри заданий?
Бенчмарк содержит 1789 файлов рабочего пространства — в среднем 30 на задание, максимум 123. Это включает 1487 PDF, 117 электронных таблиц Excel, 38 документов Word и дополнительные письма, изображения, CSV, JSON-записи и текстовые файлы.
Рабочие пространства содержат поданные и черновые налоговые декларации, K-1, W-2, уведомления IRS, главные книги, платежные ведомости, контракты и переписку. Они также содержат менее стандартизированные доказательства, с которыми налоговые специалисты регулярно работают.
Одно задание включает фотографию квитанции, написанной от руки, за товары, приобретённые для перепродажи. Агент должен прочитать описания и суммы товаров, сопоставить их с отчетами о расходах и определить, как покупки влияют на запасы и себестоимость реализованной продукции.
Другое задание касается компании по обслуживанию промышленных силосов, чей клиент предполагает, что она работает только в Алабаме. Но журнал полевых операций показывает работу бригад в пяти штатах. Места работ, размеры бригад и дни на месте предоставляют доказательства, релевантные многоштатным налоговым обязательствам компании.
Другие сценарии столь же разнообразны. Один затрагивает трансграничное домохозяйство, чьи польские трудовые и имущественные документы должны быть согласованы с экспортом криптовалютной биржи, историей кошельков и историческими лотами покупок.
Созданы и проверены налоговыми экспертами
Задания DAYJOB начинаются с реальных профессиональных рабочих процессов. Налоговые эксперты преобразуют эти ситуации в реалистичные задания, разрабатывая вспомогательные документы, ожидаемые результаты и критерии оценки. Каждое задание проходит трёхуровневую проверку экспертами на корректность, полноту и разрешимость.
Налоговые эксперты имеют опыт в корпоративном налогообложении, партнерствах, индивидуальных декларациях, трастах и многоштатном соответствии. Их опыт включает:
- Корпоративное налогообложение и частный капитал: налоговый адвокат с более чем 10-летним опытом в PwC, Deloitte и Exxon, охватывающий налоговое планирование, соответствие, аудиты и споры.
- Налогообложение партнерств и корпораций: директор налоговой службы Baker Tilly с опытом в PwC, Moss Adams и Windes, специализирующийся на сложных распределениях партнерств, консолидированных корпоративных декларациях, REIT и высокочистых клиентах.
- Налогообложение недвижимости и физических лиц: налоговый специалист с опытом в Deloitte и EY, специализирующийся на партнерствах в сфере недвижимости, налогообложении физических лиц и трастах.
Пенсионный план, построенный на непроверенном предположении
Разводящаяся пара спросила AI-агента, как разделить свой Roth IRA и 401(k). Opus 5.5 сказал им, что они не состоят в законном браке, и рекомендовал оставить счета отдельными с наличным платежом для выравнивания остатков.
Агент открыл один ответ так:
Вы не состоите в законном браке, поэтому ни один счет не может быть разделен без налоговых и штрафных последствий.
Но собственные записи пары вызывали сомнения в этом выводе. Хотя теперь они живут во Флориде, где новые фактические браки обычно не признаются, они ранее жили вместе в Техасе и провели церемонию в Колорадо. Техас признает неформальные браки при определенных условиях, и действительный брак, установленный в другом месте, может остаться действительным во Флориде.
Это различие могло бы изменить налоговые последствия разделения их пенсионных счетов.
Во всех пяти попытках Opus основывал свои рекомендации на предположении, что пара не состояла в браке, даже когда признавал неопределенность. Astra признал необходимость проверить их семейное положение в четырех из пяти попыток. Один ответ рекомендовал:
Сначала нам нужно подтвердить ваше юридическое семейное положение.
Клиент спросил, как разделить счета. Агент должен был установить, состоят ли они в браке, перед тем как рекомендовать курс действий. Доказательство, которое должно было спровоцировать это расследование, уже было в файлах.
Где находится DAYJOB: Tax
Большинство существующих налоговых бенчмарков начинаются с определённой проблемы: юридического вопроса для ответа, декларации для расчета или недостающей информации о налогоплательщике для сбора. Эти оценки измеряют важные возможности, но большая часть работы налогового специалиста заключается в определении того, что на самом деле является проблемой. Клиенты дают неполные инструкции, документы содержат конфликтующие доказательства, а важные проблемы могут никогда не появиться в исходном запросе.
DAYJOB проверяет, могут ли агенты справиться с этой сквозной ответственностью, включая выявление проблем, которые клиент упустил, оценку конфликтующих доказательств и решение того, что нужно сделать в первую очередь.
TaxBench
Может ли модель ответить на сложный налоговый вопрос?
TaxBench оценивает 114 налоговых вопросов по разным специальностям, каждый с определённой проблемой и критериями оценки.
DAYJOB также спрашивает, правильно ли клиент поставил вопрос. Анна хочет сравнить две даты продажи квартиры. Обе удовлетворяют требованию проживания для налогового вычета, но предупредит ли агент её, когда эта готовность может истечь?
TaxCalcBench
Может ли модель рассчитать точную декларацию?
TaxCalcBench оценивает точность налоговых деклараций по ожидаемым значениям подачи, используя реалистичные налоговые документы и сценарии налогоплательщиков.
DAYJOB также спрашивает, действительно ли основополагающие документы поддерживают налоговый режим. Главная книга студии ссылается на приложенный чек, но чек отсутствует. Предупредит ли агент об отсутствующем доказательстве или неправильно будет рассматривать возмещение как проверенное?
TaxLab
Может ли агент собрать недостающую информацию и подать правильно?
TaxLab проверяет, могут ли агенты опросить симулированного налогоплательщика, получить недостающую информацию и заполнить федеральную налоговую декларацию физического лица.
DAYJOB расширяет эту ответственность на более широкую налоговую профессию. Результат может быть анализом убытков партнерства, налоговой декларацией наследства, проверкой оспариваемой налоговой позиции или письмом со стратегией.
Центральное различие в том, сколько ответственности остается на агента. DAYJOB оценивает, могут ли агенты обнаруживать важные проблемы, проявлять профессиональное суждение и воплощать свои находки в завершённую подачу, проверку или рекомендацию.
Что измеряет DAYJOB: Tax
DAYJOB проверяет, могут ли AI-агенты взять на себя ответственность за профессиональное задание от начала до конца. Это означает навигацию по запутанным документам, выявление проблем, которые клиент никогда не поднял, принятие здравых решений с неполной информацией и предоставление работы, которая соответствует профессиональным стандартам.
Результаты показывают, насколько сложным это остается для граничащих с современностью моделей. Даже когда агенты могут выполнить отдельные шаги, проявление профессионального суждения и надёжное выполнение реальных налоговых рабочих процессов остаются недостижимыми.
Агентов ещё не прошли аудит.
Полная таблица лидеров со всеми оценёнными моделями находится на странице бенчмарка DAYJOB: Tax.
Чтобы узнать больше или запросить доступ к полному бенчмарку, свяжитесь с benchmarks@surgehq.ai.