Нова мовна модель Anthropic показала “майже людські” можливості

Коли Anthropic випустила Claude і Claude 2 у березні та липні минулого року, вони відставали від найкращих моделей OpenAI у продуктивності, хоча перевершували їх за величиною контекстного вікна. Claude 3, нарешті, нагнала лідера, хоча одностайної думки з цього питання серед експертів немає. Усе залежить від того, який саме показник вважати найважливішим.

Хай там що, Claude 3 продемонстрував успіхи в різних когнітивних тестах на логіку, експертне знання та володіння мовою. За твердженням компанії, модель Opus, найпотужніша з трьох, проявляє “майже людський рівень розуміння і швидкості у вирішенні комплексних завдань”.

Це не означає, втім, що Claude 3 Opus досягла рівня універсального штучного інтелекту або чогось такого. Але перемога над GPT-4 у десяти тестах, включно з MMLU (знання рівня неповної вищої освіти), GSM8K (математика шкільного рівня), HumanEval (програмування) і HellaSwag (загальна ерудиція), безсумнівно, значуще досягнення.

У деяких випадках різниця в набраних балах мінімальна (Opus обійшов лідера на 0,4% у MMLU), в інших – суттєва: у HumanEval він набрав 90,7%, тоді як у GPT-4 було 67%.

Такого приросту продуктивності Claude 3 домоглася частково завдяки використанню в процесі навчання штучних даних, таких, які були згенеровані за допомогою іншої мовної моделі ШІ.

Порівняно зі своїми попередниками, Claude 3 стала швидшою й економнішою: Opus, найбільша модель, витрачає $15 на один мільйон вхідних токенів, і $75 – на мільйон вихідних. У найменшої і найшвидшої Haiku – $0,25 за мільйон вхідних і $1,25 за мільйон вихідних токенів. Вартість вхідних токенів GPT-4 Turbo через API, наприклад, дорівнює $10, вихідних – $30.

У січні 2024-го OpenAI оновила моделі GPT-3.5 Turbo і GPT-4 Turbo, представила нові інструменти управління використанням API, а також знизила ціни. Оновлені GPT Turbo краще виконують інструкції, мають режим JSON і “більш відтворювані” вихідні дані, а також ефективно обробляють кілька запитів одночасно.

Джерело: Cikavosti

Джерело: storozhynets.info