OctoTools: Stanford'un açık kaynaklı çerçevesi, modüler araç orkestrasyonu aracılığıyla LLM akıl yürütmesini optimize ediyor

Stanford Üniversitesi'ndeki bilim insanları tarafından yayınlanan yeni bir açık kaynaklı aracı platform olan OctoTools , görevleri alt birimlere ayırarak ve modelleri araçlarla geliştirerek muhakeme görevleri için büyük dil modellerini (LLM'ler) turbo şarj edebilir. Araç kullanımı LLM'lerin önemli bir uygulaması haline gelmiş olsa da OctoTools, teknik engelleri kaldırarak ve geliştiricilerin ve işletmelerin kendi araçları ve iş akışlarıyla bir platformu genişletmelerine olanak tanıyarak bu yetenekleri çok daha erişilebilir hale getirir.

Yapılan deneyler, OctoTools'un klasik yönlendirme yöntemlerinden ve diğer LLM uygulama çerçevelerinden daha iyi performans gösterdiğini ve bu sayede yapay zeka modellerinin gerçek dünyadaki kullanımları için umut vadeden bir araç haline geldiğini göstermektedir.

LLM'ler genellikle birden fazla adım, mantıksal ayrıştırma veya uzmanlaşmış alan bilgisi içeren muhakeme görevleriyle mücadele eder. Bir çözüm, çözümün belirli adımlarını hesap makineleri, kod yorumlayıcıları, arama motorları veya görüntü işleme araçları gibi harici araçlara dış kaynak olarak vermektir. Bu senaryoda, model daha üst düzey planlamaya odaklanırken gerçek hesaplama ve muhakeme araçlar aracılığıyla yapılır.

Ancak, araç kullanımının kendine özgü zorlukları vardır. Örneğin, klasik LLM'ler genellikle yeni araçlara uyum sağlamak için önemli bir eğitim veya düzenlenmiş verilerle az sayıda atışlık öğrenme gerektirir ve bir kez artırıldıklarında, belirli alanlarla ve araç türleriyle sınırlı olacaklardır.

Araç seçimi de bir sorun noktası olmaya devam ediyor. LLM'ler bir veya birkaç aracı kullanmada iyi olabilirler, ancak bir görev birden fazla araç kullanmayı gerektirdiğinde kafaları karışabilir ve kötü performans gösterebilirler.

OctoTools, modelleri ince ayarlama veya ayarlama ihtiyacı olmadan birden fazla aracı düzenleyebilen eğitimsiz bir aracı çerçeve aracılığıyla bu sorun noktalarını ele alır. OctoTools, planlama ve akıl yürütme görevlerini ele almak için modüler bir yaklaşım kullanır ve omurgası olarak herhangi bir genel amaçlı LLM'yi kullanabilir.

OctoTools'un temel bileşenleri arasında, Python kod yorumlayıcıları ve web arama API'leri gibi sistemin kullanabileceği araçlara sarmalayıcı görevi gören "araç kartları" bulunur. Araç kartları, her araç için giriş-çıkış biçimleri, sınırlamalar ve en iyi uygulamalar gibi meta verileri içerir. Geliştiriciler, uygulamalarına uyması için çerçeveye kendi araç kartlarını ekleyebilirler.

OctoTools'a yeni bir komut verildiğinde, bir "planlayıcı" modülü, hedefi özetleyen, gerekli becerileri analiz eden, ilgili araçları tanımlayan ve görev için ek değerlendirmeler içeren üst düzey bir plan oluşturmak için omurga LLM'yi kullanır. Planlayıcı, sistemin görevi başarmak için elde etmesi gereken bir dizi alt hedef belirler ve bunları metin tabanlı bir eylem planında açıklar.

Planın her adımı için, bir "eylem tahmincisi" modülü, alt hedefi, hedefe ulaşmak için gereken aracı belirlemek ve bunun yürütülebilir ve doğrulanabilir olduğundan emin olmak için iyileştirir.

Plan yürütülmeye hazır olduğunda, bir "komut üreteci" metin tabanlı planı her alt hedef için belirtilen araçları çağıran Python koduna eşler, ardından komutu Python ortamında çalıştıran "komut yürütücüsüne" iletir. Her adımın sonuçları bir "bağlam doğrulayıcı" modülü tarafından doğrulanır ve nihai sonuç bir "çözüm özetleyici" tarafından birleştirilir.

Araştırmacılar, "OctoTools, stratejik planlamayı komuta üretiminden ayırarak hataları azaltıyor ve şeffaflığı artırıyor, böylece sistem daha güvenilir ve bakımı daha kolay hale geliyor" diye yazıyor.

OctoTools ayrıca her görev için en iyi araç alt kümesini seçmek için bir optimizasyon algoritması kullanır. Bu, modelin alakasız araçlarla boğulmasını önlemeye yardımcı olur.

Microsoft AutoGen , LangChain ve OpenAI API " fonksiyon çağrısı " dahil olmak üzere LLM uygulamaları ve aracı sistemler oluşturmak için çeşitli çerçeveler bulunmaktadır. Geliştiricilerine göre OctoTools, akıl yürütme ve araç kullanımı gerektiren görevlerde bu platformlardan daha iyi performans göstermektedir.

Araştırmacılar tüm çerçeveleri görsel, matematiksel ve bilimsel akıl yürütme, tıbbi bilgi ve aracı görevler için çeşitli ölçütlerde test ettiler. OctoTools, aynı araçları kullanırken AutoGen'e göre %10,6, GPT-Functions'a göre %7,5 ve LangChain'e göre %7,3 ortalama doğruluk artışı elde etti. Araştırmacılara göre, OctoTools'un daha iyi performansının nedeni üstün araç kullanım dağılımı ve sorguyu alt hedeflere doğru şekilde ayrıştırmasıdır.

OctoTools, işletmelere karmaşık görevler için LLM'leri kullanmaları için pratik bir çözüm sunuyor. Genişletilebilir araç entegrasyonu, gelişmiş AI akıl yürütme uygulamaları oluşturmanın önündeki mevcut engellerin aşılmasına yardımcı olacak. Araştırmacılar , OctoTools kodunu GitHub'da yayınladı.