آیا عامل هوش مصنوعی بعد از پایان اجرای فعلی هم می‌تواند یک قاعده کاری را به یاد بیاورد؟
این نمونه بر اساس یک آزمون واقعی ساخته شده و سفارش مشتری نیست. هدفش این است که نشان دهد یک Research Sprint کوچک در Romo7 چه شکلی دارد: یک سؤال مشخص، منابع قابل‌بررسی، آزمون، محدودیت‌ها و پیشنهاد اجرایی.
آیا وضعیت مفید یک عامل می‌تواند بیرون از جلسه چت زنده بماند؟
نیاز عملی این بود: اگر کامپیوتر قطع شد، کارهای امنِ ابری ادامه پیدا کنند و کارهای وابسته به دستگاه بعد از اتصال دوباره از همان‌جا از سر گرفته شوند؛ بدون اینکه کاربر مجبور باشد تسک را دوباره توضیح بدهد.
آزمون بررسی کرد آیا می‌شود این قاعده را بیرون از پردازه فعال مدل ذخیره کرد و در اجرای بعدی دوباره به دست آورد.
یک آزمون کوچک که نتیجه‌اش قابل‌تفکیک باشد.
- 01
SDK رسمی Lighthouse Memory نصب شد و موتور batched با ذخیره‌ساز فایل محلی به کار رفت.
- 02
یک قاعده واقعی کاری با
remember()ذخیره و batch فوراً flush شد. - 03
شناسه محتوایی (CID) ثبت شد و پردازه Node اول پایان یافت.
- 04
در یک پردازه جدا، بدون انتقال transcript قبلی، پرسیده شد عامل بعد از قطع کامپیوتر باید چه کند.
- 05
لایه حافظه همان قاعده ذخیره‌شده و همان CID را برگرداند.
این آزمون دقیقاً چه چیزی را پشتیبانی می‌کند؟
قواعد عملیاتی مهم را بیرون از جلسه مدل نگه دارید؛ نه اینکه همه‌چیز را برای همیشه حفظ کنید.
برای ورک‌فلوهای عاملی که پیوستگی لازم دارند، وضعیت مهم عملیاتی باید بیرون از جلسه فعال مدل نگه‌داری شود. فقط چیزهایی ذخیره شوند که واقعاً ارزش نگه‌داری دارند، اطلاعات محرمانه در backend ساده و plaintext قرار نگیرند و رفتار حذف داده قبل از استفاده واقعی آزمایش شود.
آزمون بعدیِ معنادار برای محصول، بازیابی چنددستگاهی یا remote backend است: ذخیره روی یک ماشین یا client، بازیابی از دیگری، و سپس اندازه‌گیری کیفیت retrieval، latency و رفتار deletion.
از این آزمون چه ادعاهایی نمی‌کنم؟
- ماندگاری روی شبکه غیرمتمرکز اثبات نشده است.
- بازیابی روی دستگاه دوم آزمایش نشده است.
- latency، هزینه یا retrieval در مقیاس بزرگ بنچمارک نشده است.
- آزمون روی یک قاعده کاری انجام شده، نه مجموعه داده تولیدی.
- حریم خصوصی و نحوه حذف داده به backend انتخاب‌شده وابسته است.
منابع عمومی استفاده‌شده در آزمون.
یک سؤال. منبع. شواهد. پیشنهاد اجرایی.
جلسه لازم نیست. محدوده مکتوب، گزارش منبع‌دار، جدول شواهد و پیشنهاد اجرایی؛ با هدف تحویل ظرف ۴۸ ساعت پس از توافق.