خانه کتاب / فصل 11
متن کامل
CHAPTER / 11

فصل یازدهم: نظام پایش، شاخص‌های عملکرد و ارزیابی اثربخشی زیست‌بوم فناوری و نوآوری اصناف ایران

۱۱-۱. مقدمه

اجرای موفق زیست‌بوم فناوری و نوآوری اصناف ایران، مستلزم برخورداری از نظامی معتبر برای پایش فعالیت‌ها، سنجش عملکرد، ارزیابی نتایج اقتصادی و بررسی آثار بلندمدت برنامه است.

در فصل‌های پیشین، مبانی اقتصادی و نهادی زیست‌بوم، ساختار اقتصاد صنفی تهران، مدل حکمرانی، معماری خدمات، برنامه‌های پیشران، چارچوب تأمین مالی، برنامه عملیاتی پایلوت و نقشه راه توسعه ملی بررسی شد.

بااین‌حال، تدوین برنامه و اجرای پروژه‌ها، به‌تنهایی به معنای تحقق تحول اقتصادی نیست.

ممکن است یک برنامه از نظر تعداد جلسات، دوره‌های آموزشی، تفاهم‌نامه‌ها و خدمات ارائه‌شده، عملکرد قابل توجهی داشته باشد؛ اما آثار اقتصادی آن برای واحدهای صنفی محدود باشد.

در مقابل، یک پروژه کوچک ممکن است با هزینه‌ای محدود، موجب کاهش قابل توجه هزینه تأمین کالا، بهبود گردش موجودی، افزایش بهره‌وری یا ارتقای کیفیت خدمات شود.

ازاین‌رو، نظام ارزیابی زیست‌بوم باید بتواند میان حجم فعالیت، کیفیت خروجی، تغییر رفتار بنگاه‌ها و اثرات اقتصادی واقعی تمایز ایجاد کند.

اصل بنیادین این فصل آن است که موفقیت زیست‌بوم باید بر اساس نتایج قابل اندازه‌گیری، شواهد معتبر و میزان تحقق اهداف اقتصادی و توسعه‌ای ارزیابی شود.

هدف این فصل، طراحی نظامی یکپارچه برای پایش و ارزیابی در سه سطح بنگاه، پروژه و کل زیست‌بوم است؛ نظامی که بتواند تصمیم‌گیری درباره تخصیص منابع، اصلاح برنامه‌ها، توقف پروژه‌های ناموفق و توسعه الگوهای موفق را پشتیبانی کند.

۱۱-۲. فلسفه نظام پایش و ارزیابی

فلسفه اصلی نظام پایش و ارزیابی عبارت است از:

«هر اقدام باید دارای هدف مشخص باشد، هر هدف باید با شاخص معتبر سنجیده شود و هر نتیجه باید مبنای تصمیم‌گیری و یادگیری قرار گیرد.»

این فلسفه بر پنج اصل استوار است.

اصل اول: نتیجه‌محوری

موفقیت صرفاً با انجام فعالیت‌ها تعیین نمی‌شود؛ بلکه باید مشخص شود فعالیت‌ها چه تغییری در عملکرد اقتصادی و عملیاتی کسب‌وکارها ایجاد کرده‌اند.

اصل دوم: اتکا به شواهد

گزارش‌های عملکرد باید بر داده‌های معتبر، روش‌های محاسباتی روشن و مستندات قابل بررسی استوار باشند.

اصل سوم: قابلیت مقایسه

شاخص‌ها باید امکان مقایسه وضعیت قبل و بعد از اجرا، گروه‌های مختلف بنگاه‌ها و دوره‌های زمانی متفاوت را فراهم کنند.

اصل چهارم: استقلال ارزیابی

در پروژه‌های مهم، ارزیابی نهایی نباید صرفاً توسط مجری ذی‌نفع انجام شود.

اصل پنجم: یادگیری و اصلاح

نتایج ارزیابی باید برای بهبود تصمیم‌ها، اصلاح خدمات و جلوگیری از تکرار خطاها مورد استفاده قرار گیرند.

۱۱-۳. تفاوت پایش، ارزیابی و ارزیابی اثر

برای طراحی نظام حرفه‌ای سنجش عملکرد، باید میان سه مفهوم اصلی تفکیک شود.

۱۱-۳-۱. پایش (Monitoring)

پایش، فرایند مستمر گردآوری و بررسی اطلاعات درباره پیشرفت فعالیت‌ها، مصرف منابع، تحقق زمان‌بندی و کیفیت خروجی‌هاست.

برای مثال، پایش مشخص می‌کند یک پروژه در ماه هفتم چه میزان پیشرفت داشته، چه مقدار هزینه کرده و چند واحد صنفی از خدمت استفاده کرده‌اند.

پایش عمدتاً به پرسش زیر پاسخ می‌دهد:

«آیا برنامه مطابق زمان‌بندی و تعهدات در حال اجراست؟»

۱۱-۳-۲. ارزیابی (Evaluation)

ارزیابی، بررسی نظام‌مند ارزش، کیفیت، اثربخشی و پایداری یک برنامه یا پروژه است.

ارزیابی مشخص می‌کند آیا راهکار انتخاب‌شده متناسب با نیاز بوده، منابع به‌صورت مناسب مصرف شده‌اند و اهداف مورد انتظار تحقق یافته‌اند یا خیر.

پرسش محوری:

«آیا برنامه درست طراحی شده و نتایج مطلوب را ایجاد کرده است؟»

۱۱-۳-۳. ارزیابی اثر (Impact Evaluation)

ارزیابی اثر تلاش می‌کند مشخص کند چه مقدار از تغییرات مشاهده‌شده را می‌توان به اجرای برنامه نسبت داد.

برای مثال، اگر فروش یک واحد صنفی پس از استقرار نرم‌افزار افزایش یافته باشد، باید بررسی شود که این افزایش ناشی از نرم‌افزار بوده یا عواملی مانند تورم، تغییر فصل، افزایش قیمت کالا، تبلیغات یا تغییر شرایط بازار نیز در آن نقش داشته‌اند.

پرسش محوری:

«اگر پروژه اجرا نمی‌شد، عملکرد بنگاه احتمالاً چه تفاوتی با وضعیت فعلی داشت؟»

ارزیابی اثر نیازمند روش‌شناسی متناسب و داده‌های کافی است و برای همه فعالیت‌ها الزاماً امکان اجرای روش‌های پیشرفته وجود ندارد.

۱۱-۴. چارچوب مرجع ارزیابی

برای طراحی نظام ارزیابی زیست‌بوم، استفاده از شش معیار ارزیابی کمیته کمک به توسعه سازمان همکاری و توسعه اقتصادی (OECD-DAC) پیشنهاد می‌شود.

این شش معیار عبارت‌اند از:

معیار اول: ارتباط با نیاز واقعی (Relevance)

آیا برنامه به مسائل و نیازهای اصلی واحدهای صنفی پاسخ می‌دهد؟

معیار دوم: انسجام (Coherence)

آیا برنامه با سایر سیاست‌ها، خدمات، مقررات و فعالیت‌های موجود سازگار و مکمل است؟

معیار سوم: اثربخشی (Effectiveness)

آیا اهداف و نتایج پیش‌بینی‌شده تحقق یافته‌اند؟

معیار چهارم: کارایی (Efficiency)

آیا منابع مالی، انسانی و زمانی به شکل مناسب برای دستیابی به نتایج مصرف شده‌اند؟

معیار پنجم: اثرگذاری (Impact)

برنامه چه تغییرات اقتصادی، نهادی یا اجتماعی مهمی ایجاد کرده است؟

معیار ششم: پایداری (Sustainability)

آیا منافع ایجادشده پس از پایان حمایت اولیه ادامه پیدا می‌کنند؟

این معیارها باید متناسب با نوع پروژه به کار گرفته شوند و نباید صرفاً به یک فرم امتیازدهی صوری تبدیل شوند.

۱۱-۵. نظریه تغییر و زنجیره نتایج

نظام ارزیابی باید با نظریه تغییر سند که در فصل اول معرفی شد هماهنگ باشد.

زنجیره پیشنهادی شامل پنج سطح است:

ورودی‌ها ← فعالیت‌ها ← خروجی‌ها ← پیامدها ← آثار بلندمدت

سطح اول: ورودی‌ها

منابع مورد استفاده برای اجرای برنامه.

نمونه‌ها:

بودجه.

نیروی انسانی.

تجهیزات.

داده.

دانش تخصصی.

ظرفیت نهادی.

سطح دوم: فعالیت‌ها

اقداماتی که برای تحقق اهداف اجرا می‌شوند.

نمونه‌ها:

مطالعات.

نیازسنجی.

آموزش.

مشاوره.

توسعه فناوری.

اجرای پایلوت.

سطح سوم: خروجی‌ها

محصولات و خدماتی که مستقیماً در نتیجه فعالیت‌ها تحویل داده می‌شوند.

نمونه‌ها:

گزارش مطالعات.

سامانه مستقرشده.

برنامه تحول بنگاه.

دوره آموزشی تکمیل‌شده.

خدمت ارائه‌شده.

سطح چهارم: پیامدها

تغییراتی که در رفتار، عملکرد یا ظرفیت بهره‌برداران ایجاد می‌شوند.

نمونه‌ها:

استفاده مستمر از فناوری.

کاهش خطای موجودی.

افزایش بهره‌وری.

بهبود زمان پاسخ‌گویی.

افزایش دسترسی به بازار.

سطح پنجم: آثار بلندمدت

تغییرات اقتصادی و نهادی گسترده‌تر.

نمونه‌ها:

افزایش رقابت‌پذیری.

تقویت تاب‌آوری.

رشد پایدار بهره‌وری.

توسعه ظرفیت نوآوری.

بهبود کیفیت اشتغال.

کاهش شکاف دسترسی به فناوری.

اصل ارزیابی

تحقق خروجی‌ها به معنای تحقق خودکار پیامدها یا آثار بلندمدت نیست.

برای مثال، نصب نرم‌افزار یک خروجی است؛ استفاده مستمر از آن یک پیامد میانی است و کاهش هزینه قابل انتساب به استفاده از نرم‌افزار، یک نتیجه اقتصادی محسوب می‌شود.

۱۱-۶. سطوح ارزیابی زیست‌بوم

پیشنهاد می‌شود نظام پایش و ارزیابی در پنج سطح سازمان‌دهی شود.

سطح اول: واحد صنفی

هدف، سنجش تغییر عملکرد اقتصادی و عملیاتی کسب‌وکارهای دریافت‌کننده خدمات است.

سطح دوم: پروژه

هدف، ارزیابی کیفیت اجرا، هزینه، عملکرد فناوری و تحقق نتایج هر پروژه است.

سطح سوم: برنامه پیشران

هدف، ارزیابی مجموعه پروژه‌های مرتبط با هر یک از ده برنامه پیشران فصل هفتم است.

سطح چهارم: زیست‌بوم تهران

هدف، بررسی عملکرد کل برنامه، کیفیت حکمرانی، پایداری مالی و ارزش اقتصادی ایجادشده در محدوده پایلوت است.

سطح پنجم: شبکه ملی

هدف، بررسی قابلیت تکرار، کیفیت توسعه استانی، پایداری خدمات مشترک و آثار اقتصادی گسترش جغرافیایی است.

هر سطح باید دارای شاخص‌های متناسب با مسئولیت و دامنه خود باشد.

۱۱-۷. اصول طراحی شاخص‌های کلیدی عملکرد

شاخص کلیدی عملکرد یا KPI، معیاری است که برای سنجش میزان تحقق یک هدف مشخص استفاده می‌شود.

پیشنهاد می‌شود شاخص‌های زیست‌بوم دارای ویژگی‌های زیر باشند:

۱. تعریف روشن.

۲. ارتباط مستقیم با هدف.

۳. قابلیت اندازه‌گیری.

۴. منبع داده معتبر.

۵. روش محاسبه مشخص.

۶. دوره زمانی معین.

۷. مسئول ثبت و تأیید.

۸. امکان مقایسه.

۹. هزینه اندازه‌گیری قابل قبول.

۱۰. قابلیت استفاده در تصمیم‌گیری.

اصل محدودسازی شاخص‌ها

افزایش تعداد شاخص‌ها الزاماً به بهبود کیفیت ارزیابی منجر نمی‌شود.

برای هر پروژه باید تعداد محدودی شاخص اصلی تعیین شود و سایر شاخص‌ها نقش پشتیبان داشته باشند.

پیشنهاد می‌شود هر پایلوت در مرحله نخست، دارای سه تا پنج شاخص نتیجه اصلی و مجموعه‌ای محدود از شاخص‌های اجرایی و کنترلی باشد.

۱۱-۸. شناسنامه استاندارد شاخص

برای هر شاخص، تهیه یک شناسنامه ضروری است.

شناسنامه شاخص باید حداقل شامل موارد زیر باشد:

۱. شناسه شاخص.

۲. عنوان فارسی.

۳. عنوان انگلیسی، در صورت نیاز.

۴. هدف مرتبط.

۵. تعریف دقیق.

۶. واحد اندازه‌گیری.

۷. فرمول محاسبه.

۸. صورت و مخرج کسر.

۹. جامعه آماری.

۱۰. محدوده جغرافیایی.

۱۱. دوره زمانی.

۱۲. خط مبنا.

۱۳. مقدار هدف.

۱۴. منبع داده.

۱۵. روش جمع‌آوری.

۱۶. مسئول تولید داده.

۱۷. مسئول تأیید.

۱۸. دوره گزارش‌دهی.

۱۹. محدودیت‌های تفسیر.

۲۰. سطح محرمانگی.

مثال: نرخ پذیرش واقعی فناوری

شناسه: KPI-D01

عنوان: نرخ پذیرش عملی فناوری.

هدف: سنجش میزان استفاده واقعی از راهکارهای مستقرشده.

تعریف: نسبت بنگاه‌هایی که در دوره ارزیابی از راهکار طبق تعریف عملیاتی مصوب استفاده کرده‌اند، به کل بنگاه‌هایی که راهکار برای آن‌ها استقرار یافته و امکان استفاده داشته‌اند.

فرمول:

نرخ پذیرش = تعداد بنگاه‌های دارای استفاده معتبر ÷ تعداد بنگاه‌های واجد شرایط استقرار‌یافته × ۱۰۰

واحد: درصد.

منبع: گزارش‌های سامانه و تأیید نمونه‌ای بهره‌برداران.

دوره: ماهانه.

مسئول: مدیر پروژه و مسئول ارزیابی.

محدودیت: ورود به سامانه یا ایجاد حساب کاربری، به‌تنهایی استفاده معتبر محسوب نمی‌شود.

تعریف «استفاده معتبر» باید متناسب با ماهیت خدمت مشخص شود.

۱۱-۹. طبقه‌بندی شاخص‌های کلیدی

شاخص‌های زیست‌بوم در هشت گروه اصلی تعریف می‌شوند.

گروه اول: حکمرانی و مدیریت برنامه

گروه دوم: مشارکت و پوشش خدمات

گروه سوم: پذیرش فناوری و بلوغ دیجیتال

گروه چهارم: بهره‌وری و عملکرد اقتصادی

گروه پنجم: توسعه بازار و زنجیره تأمین

گروه ششم: آموزش و توسعه سرمایه انسانی

گروه هفتم: پایداری مالی و سرمایه‌گذاری

گروه هشتم: امنیت، تاب‌آوری و توسعه‌پذیری

برای هر گروه، شاخص‌های اصلی و تکمیلی تعیین می‌شود.

۱۱-۱۰. شاخص‌های حکمرانی و مدیریت برنامه

شناسهشاخصروش سنجش
KPI-G01تحقق نقاط عطفنقاط عطف پذیرفته‌شده ÷ نقاط عطف سررسیدشده × ۱۰۰
KPI-G02تحویل به‌موقع خروجی‌هاتحویل‌دادنی‌های پذیرفته‌شده در موعد ÷ تحویل‌دادنی‌های سررسیدشده × ۱۰۰
KPI-G03انحراف هزینه(هزینه واقعی − بودجه مبنای قابل مقایسه) ÷ بودجه مبنا × ۱۰۰
KPI-G04تکمیل اقدامات اصلاحیاقدامات اصلاحی بسته‌شده و تأییدشده ÷ اقدامات اصلاحی سررسیدشده × ۱۰۰
KPI-G05پوشش بررسی تعارض منافعتصمیم‌های مشمول دارای بررسی ثبت‌شده ÷ کل تصمیم‌های مشمول × ۱۰۰
KPI-G06کیفیت مستندسازیپرونده‌های کامل و تأییدشده ÷ پرونده‌های بررسی‌شده × ۱۰۰

ملاحظات

در محاسبه انحراف هزینه باید بودجه مربوط به همان حجم کار انجام‌شده با هزینه واقعی مقایسه شود.

کمتر بودن هزینه واقعی از بودجه همیشه به معنای عملکرد بهتر نیست؛ زیرا ممکن است ناشی از انجام‌نشدن فعالیت‌ها باشد.

همچنین تحویل خروجی تنها زمانی معتبر است که معیارهای پذیرش آن محقق شده باشند.

۱۱-۱۱. شاخص‌های مشارکت و پوشش خدمات

شناسهشاخصروش سنجش
KPI-P01اتحادیه‌های مشارکت‌کننده فعالتعداد اتحادیه‌های دارای مشارکت معتبر در دوره
KPI-P02بنگاه‌های یکتای خدمت‌گیرندهتعداد شناسه‌های یکتای بنگاه دریافت‌کننده خدمت معتبر
KPI-P03نرخ مشارکت مؤثربنگاه‌های دارای مشارکت معتبر ÷ بنگاه‌های واجد شرایط دعوت‌شده × ۱۰۰
KPI-P04نرخ تکمیل خدمتدرخواست‌های تکمیل و پذیرفته‌شده ÷ درخواست‌های قابل رسیدگی در دوره × ۱۰۰
KPI-P05زمان متوسط ارائه خدمتمجموع زمان رسیدگی ÷ تعداد پرونده‌های تکمیل‌شده
KPI-P06نرخ استفاده مجددبنگاه‌های دارای استفاده مجدد در دوره تعریف‌شده ÷ بنگاه‌های واجد شرایط دوره مبنا × ۱۰۰

الزامات محاسباتی

باید میان موارد زیر تفاوت قائل شد:

بنگاه دعوت‌شده.

بنگاه ثبت‌نام‌کرده.

بنگاه ارزیابی‌شده.

بنگاه خدمت‌گیرنده.

بنگاه استفاده‌کننده واقعی.

بنگاه دارای استفاده مستمر.

این گروه‌ها یکسان نیستند و نباید بدون توضیح با یکدیگر جمع یا جایگزین شوند.

همچنین یک بنگاه ممکن است چند خدمت دریافت کند؛ بنابراین تعداد خدمات ارائه‌شده با تعداد بنگاه‌های یکتا متفاوت است.

۱۱-۱۲. شاخص‌های پذیرش فناوری و بلوغ دیجیتال

KPI-D01: نرخ پذیرش عملی فناوری

فرمول:

تعداد بنگاه‌های دارای استفاده معتبر ÷ تعداد بنگاه‌های دارای استقرار واجد شرایط × ۱۰۰.

KPI-D02: نرخ تداوم استفاده

فرمول:

تعداد بنگاه‌های یک گروه اولیه که پس از دوره مشخص همچنان استفاده معتبر دارند ÷ تعداد بنگاه‌های همان گروه اولیه × ۱۰۰.

دوره می‌تواند ۳۰، ۹۰ یا ۱۸۰ روز پس از آغاز استفاده باشد.

KPI-D03: تغییر امتیاز بلوغ دیجیتال

فرمول:

میانگین امتیاز پس از مداخله − میانگین امتیاز پیش از مداخله، برای بنگاه‌های قابل مقایسه.

KPI-D04: سهم فرایندهای دیجیتالی‌شده

فرمول:

تعداد فرایندهای هدف که طبق معیار مصوب دیجیتالی شده‌اند ÷ کل فرایندهای هدف قابل ارزیابی × ۱۰۰.

KPI-D05: نرخ خطای عملیاتی سامانه

فرمول:

تعداد عملیات ناموفق مشمول تعریف خطا ÷ کل عملیات معتبر انجام‌شده × ۱۰۰.

ملاحظه

افزایش امتیاز بلوغ دیجیتال، به‌تنهایی نشان‌دهنده افزایش سودآوری نیست.

این شاخص باید در کنار نتایج اقتصادی بررسی شود.

۱۱-۱۳. شاخص‌های بهره‌وری اقتصادی

KPI-E01: تغییر هزینه عملیاتی فرایند

فرمول:

(هزینه دوره بعد − هزینه دوره مبنا) ÷ هزینه دوره مبنا × ۱۰۰.

برای تفسیر معتبر، هزینه‌ها باید از نظر حجم فعالیت، سطح قیمت و سایر عوامل مؤثر قابل مقایسه شوند.

KPI-E02: هزینه هر واحد خدمت یا سفارش

فرمول:

هزینه کل قابل انتساب به فرایند ÷ تعداد واحدهای خدمت یا سفارش تکمیل‌شده.

KPI-E03: بهره‌وری نیروی کار

فرمول پیشنهادی:

ارزش افزوده یا خروجی عملیاتی تعدیل‌شده ÷ ساعت کار نیروی انسانی.

نوع خروجی باید متناسب با فعالیت صنفی تعریف شود.

KPI-E04: نرخ خطای فرایند

فرمول:

تعداد موارد خطا ÷ تعداد کل موارد پردازش‌شده × ۱۰۰.

KPI-E05: نرخ ضایعات یا اتلاف

فرمول:

مقدار یا ارزش ضایعات تعریف‌شده ÷ کل مقدار یا ارزش ورودی مرتبط × ۱۰۰.

KPI-E06: بازده اقتصادی پروژه برای بهره‌بردار

بر اساس منافع خالص قابل انتساب و هزینه‌های مرتبط، مطابق روش مصوب ارزیابی مالی.

اصل مهم

کاهش هزینه تنها زمانی منفعت اقتصادی واقعی محسوب می‌شود که کیفیت خدمت، حجم فعالیت و ریسک‌های مرتبط به شکل نامناسب آسیب ندیده باشند.

برای مثال، کاهش هزینه از طریق حذف پشتیبانی ضروری یا افت کیفیت خدمات نباید بدون بررسی به‌عنوان موفقیت گزارش شود.

۱۱-۱۴. شاخص‌های زنجیره تأمین و تجارت B2B

شناسهشاخصروش سنجش
KPI-B01سفارش‌های تکمیل‌شدهتعداد سفارش‌های دارای وضعیت نهایی معتبر
KPI-B02نرخ تکمیل سفارشسفارش‌های تکمیل‌شده ÷ سفارش‌های ثبت‌شده واجد شرایط × ۱۰۰
KPI-B03زمان متوسط تأمینمجموع فاصله زمانی ثبت تا تحویل معتبر ÷ تعداد سفارش‌های تحویل‌شده
KPI-B04هزینه پردازش سفارشهزینه مستقیم و تخصیص‌یافته پردازش ÷ سفارش‌های تکمیل‌شده
KPI-B05نرخ خطای سفارشسفارش‌های دارای خطای تعریف‌شده ÷ سفارش‌های ارزیابی‌شده × ۱۰۰
KPI-B06نرخ تکرار خریدخریداران دارای سفارش مجدد در دوره معین ÷ خریداران واجد شرایط گروه اولیه × ۱۰۰
KPI-B07ارزش معاملات تکمیل‌شدهمجموع ارزش معاملات معتبر و غیرتکراری تکمیل‌شده
KPI-B08حاشیه مشارکت خدمت B2Bدرآمد خالص خدمت − هزینه‌های متغیر مستقیم

تفکیک ارزش معاملات از درآمد

ارزش ناخالص معاملات یا GMV، درآمد خالص پلتفرم نیست.

برای مثال، ممکن است ارزش معاملات یک سامانه بسیار بالا باشد، اما درآمد واقعی آن پس از کسر هزینه‌ها محدود باشد.

بنابراین، GMV باید در کنار نرخ کارمزد، درآمد شناسایی‌شده، هزینه‌های مستقیم و حاشیه مشارکت گزارش شود.

کنترل دوباره‌شماری

باید روشن شود:

سفارش لغوشده در GMV لحاظ می‌شود یا خیر.

مرجوعی‌ها چگونه ثبت می‌شوند.

معاملات تکراری چگونه حذف می‌شوند.

تاریخ ثبت معامله با تاریخ تکمیل آن چه تفاوتی دارد.

معاملات میان چند واسطه چگونه تجمیع می‌شوند.

۱۱-۱۵. شاخص‌های توسعه بازار و فروش

KPI-M01: فروش واقعی تعدیل‌شده

فروش اسمی، پس از تعدیل مناسب اثر تغییر قیمت‌ها، برای مقایسه دوره‌ها مورد استفاده قرار می‌گیرد.

در رسته‌های مختلف ممکن است نیاز به شاخص قیمت تخصصی باشد.

KPI-M02: حاشیه سود ناخالص

فرمول:

(فروش خالص − بهای تمام‌شده کالای فروش‌رفته) ÷ فروش خالص × ۱۰۰.

KPI-M03: هزینه جذب مشتری

فرمول:

هزینه‌های قابل انتساب جذب مشتری ÷ تعداد مشتریان جدید معتبر.

KPI-M04: نرخ بازگشت مشتری

فرمول:

تعداد مشتریان گروه اولیه که در دوره تعریف‌شده خرید مجدد داشته‌اند ÷ تعداد مشتریان واجد شرایط همان گروه × ۱۰۰.

KPI-M05: سهم فروش کانال دیجیتال

فرمول:

فروش خالص کانال‌های دیجیتال تعریف‌شده ÷ فروش خالص کل بنگاه × ۱۰۰.

KPI-M06: فروش افزوده قابل انتساب

تغییر فروش واقعی که بر اساس روش ارزیابی معتبر، به مداخله نسبت داده می‌شود.

ملاحظه

افزایش فروش دیجیتال به‌تنهایی به معنای افزایش فروش کل نیست.

ممکن است بخشی از فروش قبلی حضوری به کانال دیجیتال منتقل شده باشد.

همچنین افزایش فروش اسمی در شرایط تورمی، الزاماً نشان‌دهنده افزایش مقدار فروش یا سود واقعی نیست.

۱۱-۱۶. شاخص‌های آموزش و توانمندسازی

KPI-T01: نرخ تکمیل آموزش

تعداد فراگیران تکمیل‌کننده دوره ÷ تعداد فراگیران آغازکننده واجد شرایط × ۱۰۰.

KPI-T02: تغییر امتیاز یادگیری

میانگین امتیاز پس‌آزمون − میانگین امتیاز پیش‌آزمون در نمونه قابل مقایسه.

KPI-T03: نرخ کاربرد مهارت

تعداد فراگیرانی که کاربرد عملی مهارت را طبق شواهد مصوب نشان داده‌اند ÷ تعداد فراگیران قابل پیگیری × ۱۰۰.

KPI-T04: هزینه هر فراگیر مؤثر

هزینه کل مرتبط با آموزش ÷ تعداد فراگیرانی که معیار اثربخشی تعریف‌شده را احراز کرده‌اند.

KPI-T05: رضایت آموزشی

نتیجه پیمایش استاندارد رضایت با گزارش نرخ پاسخ‌گویی.

اصل ارزیابی

تعداد گواهی‌های صادرشده، معیار کافی برای ارزیابی برنامه آموزشی نیست.

نظام ارزیابی باید مشخص کند آموزش چه تغییری در توانایی و رفتار کاری افراد ایجاد کرده است.

۱۱-۱۷. شاخص‌های مالی و سرمایه‌گذاری

KPI-F01: تحقق منابع مالی

وجوه وصول‌شده در دوره ÷ منابع نقد پیش‌بینی‌شده همان دوره × ۱۰۰.

KPI-F02: انحراف هزینه

اختلاف هزینه واقعی با بودجه مبنای قابل مقایسه.

KPI-F03: حاشیه مشارکت خدمات

درآمد خالص خدمات − هزینه‌های متغیر مستقیم.

KPI-F04: پوشش هزینه ثابت

حاشیه مشارکت خدمات ÷ هزینه ثابت قابل انتساب.

KPI-F05: نقدینگی قابل استفاده

مانده نقدی که پس از کسر وجوه دارای محدودیت مصرف و تعهدات مربوط، واقعاً برای فعالیت مورد نظر قابل استفاده است.

KPI-F06: سرمایه محقق‌شده

مبلغ سرمایه‌ای که واقعاً طبق قرارداد پرداخت یا تزریق شده است.

KPI-F07: بازده سرمایه‌گذاری

شاخص مالی متناسب با پروژه، مانند ROI یا NPV.

KPI-F08: پایداری عملیاتی خدمات

میزان پوشش هزینه‌های جاری یک خط خدمت از منابع درآمدی و قراردادی پایدار همان خط.

ملاحظات

تعهد سرمایه‌گذار با وجه پرداخت‌شده تفاوت دارد.

همچنین تسهیلات بانکی اعطاشده به یک بنگاه، درآمد عملیاتی زیست‌بوم محسوب نمی‌شود.

۱۱-۱۸. شاخص‌های امنیت و تاب‌آوری

KPI-R01: پوشش ارزیابی ریسک

تعداد خدمات یا پروژه‌های مشمول دارای ارزیابی ریسک معتبر ÷ کل خدمات یا پروژه‌های مشمول × ۱۰۰.

KPI-R02: رفع آسیب‌پذیری‌های اولویت‌دار

تعداد آسیب‌پذیری‌های اولویت‌دار رفع و تأییدشده ÷ تعداد آسیب‌پذیری‌های اولویت‌دار سررسیدشده × ۱۰۰.

KPI-R03: موفقیت آزمون بازیابی

تعداد آزمون‌های بازیابی موفق ÷ تعداد آزمون‌های بازیابی انجام‌شده × ۱۰۰.

KPI-R04: زمان بازیابی خدمت

فاصله زمانی بین وقوع اختلال ثبت‌شده و بازگشت خدمت به سطح توافق‌شده.

KPI-R05: پوشش برنامه تداوم فعالیت

تعداد خدمات حیاتی دارای برنامه تداوم تأییدشده ÷ کل خدمات حیاتی شناسایی‌شده × ۱۰۰.

KPI-R06: رخدادهای امنیتی مؤثر

تعداد رخدادهای تأییدشده، به تفکیک شدت و اثر.

ملاحظه

افزایش تعداد رخدادهای ثبت‌شده ممکن است ناشی از بهبود شناسایی و گزارش‌دهی باشد، نه الزاماً افزایش تعداد رخدادهای واقعی.

ازاین‌رو، تعداد خام رخدادها نباید بدون بررسی کیفیت پایش و شدت رخدادها تفسیر شود.

۱۱-۱۹. شاخص‌های توسعه ملی و عدالت دسترسی

KPI-N01: استان‌های دارای برنامه فعال

تعداد استان‌هایی که معیارهای عملیاتی مصوب را احراز کرده‌اند.

KPI-N02: نرخ تکرار موفق

تعداد پروژه‌های انتقال‌یافته که در منطقه جدید معیار موفقیت را احراز کرده‌اند ÷ تعداد پروژه‌های انتقال‌یافته ارزیابی‌شده × ۱۰۰.

KPI-N03: هزینه راه‌اندازی هر استان

هزینه‌های مستقیم و مشترک تخصیص‌یافته راه‌اندازی ÷ تعداد استان‌های راه‌اندازی‌شده در دامنه بررسی.

KPI-N04: سهم بنگاه‌های خرد

تعداد بنگاه‌های خرد دریافت‌کننده خدمت معتبر ÷ کل بنگاه‌های خدمت‌گیرنده دارای طبقه‌بندی اندازه × ۱۰۰.

KPI-N05: شکاف پذیرش فناوری

اختلاف نرخ پذیرش فناوری میان گروه‌های اقتصادی، جغرافیایی یا اندازه بنگاه.

KPI-N06: نرخ استفاده از خدمات مشترک

تعداد مراکز یا واحدهای واجد شرایط استفاده‌کننده از خدمت مشترک ÷ کل مراکز یا واحدهای واجد شرایط × ۱۰۰.

اصل عدالت

افزایش تعداد استان‌های مشارکت‌کننده، به‌تنهایی به معنای کاهش شکاف دسترسی نیست.

باید بررسی شود خدمات به چه گروه‌هایی رسیده و چه کسانی همچنان از آن محروم مانده‌اند.

۱۱-۲۰. مجموعه شاخص‌های کلیدی مدیریتی سال نخست

برای جلوگیری از پیچیدگی بیش از حد، پیشنهاد می‌شود داشبورد اصلی پایلوت تهران با دوازده شاخص محوری آغاز شود.

ردیفشاخص محوریسطح
۱تحقق نقاط عطف مصوبمدیریت برنامه
۲انحراف بودجه و وضعیت نقدینگیمالی
۳اتحادیه‌های دارای مشارکت مؤثرمشارکت
۴بنگاه‌های یکتای ارزیابی‌شدهپوشش
۵نرخ تبدیل ارزیابی به اقدام عملیخدمات
۶نرخ پذیرش واقعی فناوریفناوری
۷نرخ تداوم استفاده از خدماتفناوری
۸کاهش هزینه یا زمان فرایند هدفاقتصادی
۹بهبود بهره‌وری در پایلوت‌های منتخباقتصادی
۱۰رضایت بهره‌بردارانکیفیت
۱۱ارزش اقتصادی خالص قابل انتساباثرگذاری
۱۲تعداد پایلوت‌های واجد شرایط توسعهتوسعه‌پذیری

مقادیر هدف این شاخص‌ها باید پس از تعیین خط مبنا، دامنه پروژه و منابع مصوب مشخص شوند.

۱۱-۲۱. طراحی خط مبنا

خط مبنا یا Baseline، وضعیت اندازه‌گیری‌شده پیش از اجرای مداخله است که برای مقایسه نتایج آینده مورد استفاده قرار می‌گیرد.

بدون خط مبنای معتبر، ارزیابی تغییرات اقتصادی دشوار خواهد بود.

الزامات خط مبنا

۱. تعریف شاخص پیش از اندازه‌گیری.

۲. تعیین محدوده بنگاه‌ها.

۳. تعیین دوره زمانی.

۴. انتخاب منبع معتبر.

۵. ثبت روش جمع‌آوری.

۶. بررسی کیفیت داده‌ها.

۷. ثبت شرایط اقتصادی زمان اندازه‌گیری.

۸. تعیین مسئول تأیید.

مثال

اگر هدف یک پروژه کاهش زمان سفارش‌گذاری باشد، باید پیش از استقرار فناوری، زمان ثبت و تکمیل سفارش در شرایط واقعی اندازه‌گیری شود.

صرف پرسیدن اینکه «آیا بعد از نصب نرم‌افزار کار شما سریع‌تر شده است؟» برای محاسبه میزان واقعی کاهش زمان کافی نیست.

۱۱-۲۲. طراحی نظام داده‌های پایش

نظام پایش باید داده‌ها را از منابع مختلف به‌صورت ساختاریافته دریافت کند.

منابع پیشنهادی

منبع اول: اطلاعات ثبتی مجاز

مانند اطلاعات عمومی یا قابل دسترس قانونی درباره واحدها و اتحادیه‌ها.

منبع دوم: پیمایش میدانی

برای سنجش نیازها، مهارت‌ها، رضایت و بلوغ دیجیتال.

منبع سوم: سامانه مدیریت خدمات

برای ثبت درخواست‌ها و وضعیت ارائه خدمات.

منبع چهارم: سامانه‌های عملیاتی پایلوت‌ها

برای ثبت استفاده واقعی، سفارش‌ها، زمان پردازش و شاخص‌های فنی.

منبع پنجم: اسناد مالی و حسابداری

برای بررسی هزینه‌ها، درآمدها، پرداخت‌ها و منابع.

منبع ششم: گزارش‌های مجریان و بهره‌برداران

برای ثبت پیشرفت و مشکلات.

منبع هفتم: ارزیابی مستقل

برای اعتبارسنجی نتایج اقتصادی و کیفیت اجرا.

اصل استفاده از منابع داده

وجود داده در یک سامانه، به معنای مجازبودن دسترسی یا استفاده نامحدود از آن نیست.

برای هر منبع باید مبنای قانونی، هدف استفاده و سطح دسترسی مشخص باشد.

۱۱-۲۳. کیفیت داده‌ها

برای معتبرماندن نظام پایش، کیفیت داده باید به‌صورت مستقل سنجیده شود.

معیار اول: کامل‌بودن

آیا اطلاعات ضروری برای محاسبه شاخص ثبت شده‌اند؟

فرمول نمونه:

تعداد رکوردهای دارای داده کامل ÷ کل رکوردهای مشمول × ۱۰۰.

معیار دوم: صحت

آیا داده‌ها با واقعیت یا اسناد معتبر مطابقت دارند؟

معیار سوم: سازگاری

آیا تعاریف و قالب اطلاعات در سامانه‌ها و دوره‌های مختلف یکسان است؟

معیار چهارم: به‌روزبودن

آیا داده‌ها متناسب با دوره تصمیم‌گیری، به‌موقع ثبت و به‌روزرسانی شده‌اند؟

معیار پنجم: یکتایی

آیا رکوردهای تکراری شناسایی و کنترل شده‌اند؟

معیار ششم: قابلیت ردیابی

آیا منبع و سابقه تغییرات داده مشخص است؟

معیار هفتم: تناسب با هدف

آیا داده برای محاسبه شاخص و تصمیم مورد نظر مناسب است؟

الزام اجرایی

هیچ شاخص مهم اقتصادی نباید بدون بررسی کیفیت داده و اعلام محدودیت‌های آن به‌عنوان نتیجه قطعی منتشر شود.

۱۱-۲۴. جلوگیری از خطاهای آماری

در تحلیل نتایج، باید از چند خطای رایج جلوگیری شود.

خطای اول: تعمیم نمونه محدود

نتایج چند بنگاه داوطلب را نباید بدون طراحی نمونه‌گیری معتبر به کل اصناف تهران تعمیم داد.

خطای دوم: نادیده‌گرفتن تورم

افزایش فروش اسمی به معنای افزایش واقعی فروش نیست.

خطای سوم: دوباره‌شماری بهره‌برداران

یک بنگاه ممکن است چند خدمت دریافت کند و در چند پروژه مشارکت داشته باشد.

خطای چهارم: اختلاط خروجی و اثر

نصب نرم‌افزار، لزوماً به معنای افزایش بهره‌وری نیست.

خطای پنجم: انتخاب‌گری نمونه

بنگاه‌های داوطلب ممکن است از ابتدا آمادگی بیشتری نسبت به سایر بنگاه‌ها داشته باشند.

خطای ششم: نادیده‌گرفتن فصل

فروش و فعالیت اقتصادی برخی رسته‌ها دارای نوسانات فصلی است.

خطای هفتم: گزارش‌کردن درصد بدون مخرج

گزارش افزایش یا کاهش درصدی، بدون تعداد نمونه و مقدار اولیه، می‌تواند گمراه‌کننده باشد.

خطای هشتم: میانگین‌گیری نامناسب

میانگین ساده نتایج بنگاه‌های کوچک و بزرگ، ممکن است تصویر نادرستی از عملکرد کل گروه ایجاد کند.

روش تجمیع باید متناسب با سؤال ارزیابی انتخاب شود.

۱۱-۲۵. روش‌های ارزیابی اثر

برای پروژه‌های زیست‌بوم، چهار سطح روش ارزیابی پیشنهاد می‌شود.

روش اول: ارزیابی توصیفی

شامل ثبت وضعیت پیش و پس از اجرا.

این روش برای شناخت اولیه و پایش تغییرات مناسب است، اما به‌تنهایی برای اثبات رابطه علّی کافی نیست.

روش دوم: مقایسه با گروه مشابه

نتایج بنگاه‌های مشارکت‌کننده با بنگاه‌هایی که از نظر ویژگی‌های اصلی مشابه‌اند اما مداخله را دریافت نکرده‌اند مقایسه می‌شود.

روش سوم: تفاضل در تفاضل (Difference-in-Differences)

در این روش، تغییرات گروه دریافت‌کننده خدمت با تغییرات گروه مقایسه در همان دوره زمانی بررسی می‌شود.

این روش برای استنباط علّی به فرض‌هایی مانند قابل مقایسه‌بودن روندهای دو گروه در غیاب مداخله وابسته است.

روش چهارم: ارزیابی آزمایشی

در شرایط مناسب و مجاز، می‌توان تخصیص مداخله را به‌صورت تصادفی طراحی کرد.

این روش ممکن است امکان استنباط علّی قوی‌تری فراهم کند، اما از نظر هزینه، اخلاق پژوهش، امکان اجرا و پذیرش ذی‌نفعان باید بررسی شود.

اصل انتخاب روش

روش ارزیابی باید متناسب با اهمیت پروژه، دسترسی به داده، حجم نمونه و هزینه پژوهش انتخاب شود.

۱۱-۲۶. نمونه محاسبه اثر با روش تفاضل در تفاضل

فرض کنیم یک پروژه فناورانه برای کاهش زمان سفارش‌گذاری اجرا شده است.

دو گروه بنگاه بررسی می‌شوند.

گروه اول، از فناوری استفاده می‌کند.

گروه دوم، در دوره ارزیابی از آن استفاده نمی‌کند و به‌عنوان گروه مقایسه در نظر گرفته می‌شود.

داده‌های فرضی

گروهقبل از اجرابعد از اجرا
گروه دریافت‌کننده فناوری۳۰ دقیقه۲۰ دقیقه
گروه مقایسه۲۵ دقیقه۲۳ دقیقه

محاسبه تغییر گروه اول

۲۰ − ۳۰ = منفی ۱۰ دقیقه.

محاسبه تغییر گروه دوم

۲۳ − ۲۵ = منفی ۲ دقیقه.

محاسبه تفاضل در تفاضل

منفی ۱۰ − (منفی ۲) = منفی ۸ دقیقه.

بنابراین، برآورد خام این روش نشان می‌دهد که کاهش زمان سفارش‌گذاری مرتبط با مداخله، برابر با هشت دقیقه به ازای هر سفارش بوده است.

محدودیت تفسیر

این عدد صرفاً در صورت برقرار‌بودن فرض‌های روش و کیفیت مناسب داده‌ها می‌تواند به‌عنوان برآورد اثر علّی تفسیر شود.

از جمله باید بررسی شود که دو گروه پیش از مداخله روندهای قابل مقایسه‌ای داشته‌اند و عوامل دیگری به‌طور متفاوت بر آن‌ها اثر نگذاشته‌اند.

همچنین تغییر ترکیب بنگاه‌ها، خروج مشارکت‌کنندگان از مطالعه و تفاوت حجم سفارش‌ها باید بررسی شود.

۱۱-۲۷. محاسبه ارزش اقتصادی زمان صرفه‌جویی‌شده

در مثال پیشین، کاهش زمان سفارش‌گذاری برابر هشت دقیقه به ازای هر سفارش برآورد شد.

اما این کاهش زمان، به‌صورت خودکار معادل منفعت نقدی برای بنگاه نیست.

برای تبدیل آن به ارزش اقتصادی باید مشخص شود:

۱. چه تعداد سفارش در دوره انجام می‌شود؟

۲. چه نوع نیروی انسانی در فرایند مشارکت دارد؟

۳. هزینه فرصت زمان آزادشده چقدر است؟

۴. آیا زمان آزادشده واقعاً به کاهش هزینه یا افزایش خروجی منجر شده است؟

۵. آیا برای استفاده از فناوری، زمان یا هزینه جدیدی ایجاد شده است؟

مثال فرضی

تعداد سفارش‌های ماهانه:

۳۰۰ سفارش.

صرفه‌جویی زمان در هر سفارش:

هشت دقیقه.

کل زمان صرفه‌جویی‌شده:

۲۴۰۰ دقیقه یا ۴۰ ساعت در ماه.

اگر ارزش اقتصادی قابل دفاع هر ساعت زمان آزادشده در مثال، ۲۰۰ هزار تومان فرض شود:

ارزش بالقوه ماهانه:

۸ میلیون تومان.

ملاحظه

این رقم منفعت بالقوه زمان است و نباید بدون احراز امکان استفاده مؤثر از زمان آزادشده، به‌عنوان صرفه‌جویی نقدی قطعی گزارش شود.

اگر کارکنان همچنان همان هزینه قبلی را داشته باشند و زمان آزادشده به فعالیت مولد دیگری اختصاص نیابد، ممکن است کاهش هزینه نقدی مستقیم رخ نداده باشد.

۱۱-۲۸. روش محاسبه ارزش اقتصادی خالص

برای هر پروژه باید میان منافع ناخالص و منافع خالص تفکیک شود.

منافع قابل بررسی

کاهش هزینه عملیاتی.

کاهش خطا و ضایعات.

افزایش حاشیه سود.

آزادسازی سرمایه در گردش.

کاهش هزینه تأمین.

کاهش هزینه جذب مشتری.

کاهش خسارات قابل انتساب.

افزایش بهره‌وری.

هزینه‌های قابل بررسی

استقرار اولیه.

اشتراک یا خرید خدمت.

آموزش.

پشتیبانی.

یکپارچه‌سازی.

نگهداری.

زمان کارکنان.

هزینه تغییر فرایند.

سایر هزینه‌های ضروری.

فرمول عمومی

ارزش اقتصادی خالص = مجموع منافع اقتصادی قابل انتساب − مجموع هزینه‌های اقتصادی مرتبط

اصل عدم دوباره‌شماری

برای مثال، اگر کاهش موجودی را به‌عنوان آزادسازی سرمایه در گردش گزارش می‌کنیم، نباید تمام ارزش موجودی آزادشده را هم‌زمان به‌عنوان سود عملیاتی جدید نیز محاسبه کنیم.

همچنین کاهش زمان کارکنان و کاهش هزینه نیروی انسانی، در صورتی که به یک منفعت واحد اشاره دارند، نباید دو بار ثبت شوند.

۱۱-۲۹. سطوح اعتبار شواهد اقتصادی

پیشنهاد می‌شود نتایج اقتصادی با سطح اعتبار مشخص گزارش شوند.

سطح A: شواهد دارای قابلیت استنباط علّی قوی

نتایج حاصل از طراحی ارزیابی معتبر، با گروه مقایسه مناسب یا روش آزمایشی، همراه با بررسی فرض‌ها و محدودیت‌ها.

سطح B: شواهد اقتصادی مستند و قابل راستی‌آزمایی

تغییرات عملکردی که با اسناد معتبر ثبت شده‌اند، اما انتساب کامل آن‌ها به پروژه از نظر روش‌شناختی اثبات نشده است.

سطح C: شواهد اولیه و خوداظهاری

اطلاعات حاصل از مصاحبه، پرسش‌نامه یا گزارش بهره‌برداران که هنوز به اندازه کافی راستی‌آزمایی نشده‌اند.

سطح D: فرضیه یا پیش‌بینی

منافع مورد انتظار که هنوز تحقق و اندازه‌گیری نشده‌اند.

اصل گزارش‌دهی

سطح D نباید به‌عنوان منفعت تحقق‌یافته گزارش شود.

همچنین سطح B یا C نباید بدون توضیح به‌عنوان اثر علّی قطعی معرفی شود.

این طبقه‌بندی، پیشنهاد داخلی برای مدیریت اعتبار شواهد است و استاندارد رسمی OECD محسوب نمی‌شود.

۱۱-۳۰. طراحی ارزیابی سه پایلوت سال نخست

برنامه سال نخست، سه پایلوت پیشنهادی دارد.

برای هر یک، نظام ارزیابی اختصاصی تعریف می‌شود.

پایلوت اول: بهره‌وری و مدیریت هوشمند بنگاه

هدف اقتصادی: کاهش هزینه و خطای فرایندهای مدیریتی منتخب.

شاخص‌های اصلی:

۱. هزینه پردازش فرایند هدف.

۲. نرخ خطای ثبت موجودی یا اطلاعات.

۳. زمان انجام فرایند.

۴. نرخ پذیرش واقعی فناوری.

۵. نرخ تداوم استفاده.

روش پیشنهادی:

ثبت خط مبنا، اندازه‌گیری عملکرد بعد از اجرا و در صورت امکان مقایسه با بنگاه‌های مشابه.

پایلوت دوم: سفارش‌گذاری و تأمین B2B

هدف اقتصادی: کاهش هزینه مبادله و بهبود فرایند تأمین.

شاخص‌های اصلی:

۱. زمان متوسط تأمین.

۲. هزینه پردازش سفارش.

۳. نرخ تکمیل سفارش.

۴. نرخ تکرار سفارش.

۵. حاشیه مشارکت خدمت.

روش پیشنهادی:

مقایسه فرایندهای پیش و پس از اجرا، بررسی سفارش‌های واقعی و در صورت امکان استفاده از گروه مقایسه.

پایلوت سوم: تحول خدمات اتحادیه

هدف عملیاتی: افزایش کارایی خدمات و بهبود تجربه اعضا.

شاخص‌های اصلی:

۱. زمان متوسط رسیدگی.

۲. هزینه متوسط هر خدمت.

۳. نرخ تکمیل درخواست‌ها.

۴. رضایت اعضا.

۵. نرخ استفاده از خدمات دیجیتال.

روش پیشنهادی:

ثبت داده‌های فرایندی قبل و بعد از اصلاح و بررسی کیفیت خدمت.

۱۱-۳۱. مدیریت نتایج ناخواسته

ارزیابی نباید صرفاً بر نتایج مثبت مورد انتظار متمرکز شود.

ممکن است یک مداخله، در کنار منافع اقتصادی، پیامدهای نامطلوب نیز ایجاد کند.

برای مثال:

افزایش وابستگی به یک پلتفرم.

افزایش هزینه اشتراک خدمات.

دشواری استفاده برای کارکنان کم‌مهارت.

جابه‌جایی فروش میان کسب‌وکارها بدون افزایش ارزش کل.

افزایش ریسک محرمانگی داده.

کاهش دسترسی برخی بنگاه‌های کوچک.

اختلال در روابط تجاری موجود.

الزام ارزیابی

برای هر پروژه باید سازوکاری برای شناسایی و ثبت نتایج ناخواسته، شکایات و آثار توزیعی طراحی شود.

موفقیت پروژه نباید تنها بر اساس منافع یک گروه خاص و بدون بررسی هزینه‌های تحمیل‌شده به سایر ذی‌نفعان اعلام شود.

۱۱-۳۲. سنجش رضایت بهره‌برداران

رضایت واحدهای صنفی یکی از شاخص‌های مهم کیفیت خدمات است، اما جایگزین سنجش اثربخشی اقتصادی نخواهد بود.

ابعاد پیشنهادی رضایت

۱. تناسب خدمت با نیاز.

۲. سهولت استفاده.

۳. کیفیت پشتیبانی.

۴. شفافیت هزینه.

۵. کیفیت ارتباط با مجری.

۶. اعتماد به خدمت.

۷. ارزش اقتصادی ادراک‌شده.

۸. تمایل به ادامه استفاده.

روش گردآوری

پرسش‌نامه استاندارد.

مصاحبه.

ثبت شکایات.

بررسی رفتار استفاده واقعی.

ملاحظات

نرخ پاسخ‌گویی باید اعلام شود.

همچنین باید بررسی شود که آیا پاسخ‌دهندگان از نظر ویژگی‌های اصلی با کل گروه بهره‌برداران قابل مقایسه هستند یا خیر.

رضایت بالای تعداد محدودی پاسخ‌دهنده، بدون بررسی سوگیری عدم پاسخ، نباید به همه کاربران تعمیم داده شود.

۱۱-۳۳. سنجش پایداری منافع

یکی از مهم‌ترین پرسش‌های ارزیابی آن است که آیا منافع پروژه پس از پایان حمایت اولیه ادامه پیدا می‌کنند یا خیر.

شاخص‌های پیشنهادی

۱. تداوم استفاده پس از پایان پایلوت.

۲. میزان تمدید اختیاری خدمات.

۳. توان پرداخت هزینه نگهداری.

۴. پایداری عملکرد فناوری.

۵. ادامه بهبود اقتصادی.

۶. استقلال نسبی از حمایت اجرایی.

۷. دسترسی به پشتیبانی.

۸. قابلیت انتقال داده و تغییر تأمین‌کننده.

دوره‌های ارزیابی

پیشنهاد می‌شود متناسب با نوع خدمت، تداوم نتایج در دوره‌های ۹۰ روزه، شش‌ماهه و در صورت امکان دوازده‌ماهه پس از پایان پایلوت بررسی شود.

این ارزیابی‌های پسینی ممکن است از سال دوم ادامه یابند و باید در برنامه مالی و اجرایی دوره بعد پیش‌بینی شوند.

۱۱-۳۴. مدل امتیازدهی عملکرد پروژه‌ها

برای پشتیبانی از تصمیم‌های مدیریتی، می‌توان یک کارت امتیازی طراحی کرد.

وزن‌های پیشنهادی عبارت‌اند از:

معیاروزن
تحقق نتیجه اقتصادی یا عملیاتی اصلی۳۰ درصد
استفاده واقعی و تداوم پذیرش۲۰ درصد
کارایی مصرف منابع۱۵ درصد
کیفیت خدمت و رضایت۱۵ درصد
پایداری مالی و عملیاتی۱۰ درصد
قابلیت توسعه و تکرار۱۰ درصد
مجموع۱۰۰ درصد

هر معیار بر اساس شواهد و روش امتیازدهی مصوب سنجیده می‌شود.

ملاحظه

این مدل، ابزار تصمیم‌سازی است و نباید جایگزین تحلیل تخصصی شود.

برای مثال، یک پروژه با امتیاز کل بالا اما دارای نقص امنیتی غیرقابل قبول، نباید صرفاً به دلیل امتیاز عددی مناسب توسعه یابد.

۱۱-۳۵. نظام وضعیت‌بندی پروژه‌ها

برای نمایش سریع وضعیت، می‌توان از سه وضعیت استفاده کرد.

وضعیت سبز: مطابق برنامه

پروژه از نظر شاخص‌های اصلی در محدوده قابل قبول قرار دارد و مانع بحرانی شناسایی نشده است.

وضعیت زرد: نیازمند اقدام اصلاحی

پروژه دارای انحراف قابل توجه اما قابل اصلاح است.

وضعیت قرمز: نیازمند تصمیم مدیریتی

پروژه با انحراف شدید، مشکل تأمین مالی، ریسک بحرانی یا عدم تحقق شرایط اساسی مواجه است.

آستانه‌های اولیه پیشنهادی

برای شاخص‌های مثبت و دارای هدف کمی:

سبز: تحقق حداقل ۹۰ درصد هدف.

زرد: تحقق ۷۰ تا کمتر از ۹۰ درصد هدف.

قرمز: تحقق کمتر از ۷۰ درصد هدف.

این آستانه‌ها صرفاً نمونه‌ای برای شاخص‌های مناسب هستند.

برای شاخص‌هایی مانند هزینه، زمان تأخیر، رخداد امنیتی یا الزامات قانونی، باید قواعد اختصاصی تعریف شود.

همچنین برخی ریسک‌های بحرانی باید مستقل از امتیاز کلی، موجب توقف یا ارجاع فوری شوند.

۱۱-۳۶. داشبورد مدیریتی زیست‌بوم

پیشنهاد می‌شود داشبورد اصلی زیست‌بوم در شش بخش طراحی شود.

بخش اول: نمای کلان عملکرد

پیشرفت برنامه.

وضعیت نقاط عطف.

تعداد اتحادیه‌های فعال.

تعداد بنگاه‌های خدمت‌گیرنده یکتا.

تعداد پروژه‌های فعال.

وضعیت کلی ریسک.

بخش دوم: عملکرد اقتصادی

کاهش هزینه قابل انتساب.

تغییر بهره‌وری.

منافع خالص پروژه‌ها.

عملکرد زنجیره تأمین.

فروش افزوده قابل انتساب.

هزینه متوسط خدمت.

بخش سوم: فناوری و خدمات

نرخ پذیرش.

نرخ تداوم استفاده.

وضعیت دسترس‌پذیری خدمات.

زمان پاسخ‌گویی.

نرخ خطای سامانه.

رضایت بهره‌برداران.

بخش چهارم: مالی

بودجه مصوب.

هزینه واقعی.

تعهدات.

منابع وصول‌شده.

نقدینگی.

حاشیه مشارکت خدمات تجاری.

بخش پنجم: آموزش و نوآوری

فراگیران مؤثر.

نرخ کاربرد مهارت.

پروژه‌های نوآورانه.

پایلوت‌های تکمیل‌شده.

محصولات تجاری‌سازی‌شده.

بخش ششم: توسعه ملی

استان‌های دارای مشارکت فعال.

خدمات منتقل‌شده.

نرخ تکرار موفق.

هزینه توسعه منطقه‌ای.

کیفیت اجرای استانداردها.

اصل طراحی

داشبورد مدیریتی باید ساده، قابل فهم و تصمیم‌محور باشد.

افزودن نمودارها و شاخص‌های متعدد، بدون امکان استفاده در تصمیم‌گیری، ارزش مدیریتی چندانی ایجاد نمی‌کند.

۱۱-۳۷. معماری فنی نظام پایش

برای استقرار نظام پایش، معماری زیر پیشنهاد می‌شود.

لایه اول: منابع داده

سامانه‌های خدمات، نرم‌افزارهای پایلوت، پیمایش‌ها، گزارش‌های مالی و سایر منابع معتبر.

لایه دوم: دریافت و اعتبارسنجی

کنترل قالب، کامل‌بودن، یکتایی و سازگاری داده‌ها.

لایه سوم: مخزن شاخص‌ها

ذخیره مقادیر محاسبه‌شده، تعاریف شاخص، تاریخچه و اطلاعات مربوط به کیفیت داده.

لایه چهارم: موتور محاسباتی

اجرای فرمول‌های مصوب و تولید شاخص‌های قابل گزارش.

لایه پنجم: داشبورد و گزارش

نمایش شاخص‌ها برای سطوح مدیریتی مختلف.

لایه ششم: کنترل دسترسی و ممیزی

مدیریت مجوزها، ثبت دسترسی و حفاظت از اطلاعات.

اصل اجرایی

در مرحله نخست، ضرورتی برای توسعه سامانه تحلیلی پیچیده وجود ندارد.

می‌توان با استفاده از ابزارهای موجود و معماری سبک، گزارش‌دهی قابل اعتماد را آغاز کرد و توسعه زیرساخت را به حجم واقعی داده و نیازهای مصوب وابسته ساخت.

۱۱-۳۸. ساختار پیشنهادی بانک اطلاعات شاخص‌ها

برای مدیریت منسجم اطلاعات، حداقل موجودیت‌های داده‌ای زیر پیشنهاد می‌شود.

۱. پروژه‌ها

شناسه، عنوان، هدف، محدوده، تاریخ و وضعیت.

۲. برنامه‌های پیشران

شناسه برنامه و ارتباط آن با پروژه‌ها.

۳. اتحادیه‌ها

شناسه مرجع، نام، محدوده و وضعیت مشارکت.

۴. بنگاه‌های مشارکت‌کننده

شناسه یکتا یا شناسه مستعار مجاز، رسته و ویژگی‌های مورد نیاز ارزیابی.

۵. شاخص‌ها

تعریف، فرمول، واحد، مسئول و دوره گزارش.

۶. مقادیر شاخص‌ها

شناسه شاخص، پروژه، دوره، مقدار و وضعیت تأیید.

۷. منابع داده

عنوان منبع، مالک یا متولی، روش دسترسی و کیفیت.

۸. اهداف و خطوط مبنا

شاخص، مقدار مبنا، تاریخ مبنا و هدف مصوب.

۹. گزارش‌های ارزیابی

دوره، روش، یافته‌ها و محدودیت‌ها.

۱۰. اقدامات اصلاحی

شرح اقدام، مسئول، موعد و وضعیت.

اصل حفاظت داده

در طراحی بانک اطلاعات، شناسه‌های فنی و تحلیلی باید تا حد امکان از اطلاعات هویتی و محرمانه تفکیک شوند.

۱۱-۳۹. نظام گزارش‌دهی

گزارش‌دهی باید متناسب با نیاز تصمیم‌گیرندگان انجام شود.

گزارش هفتگی عملیاتی

محتوا:

فعالیت‌های انجام‌شده.

موانع اجرایی.

اقدامات آتی.

تصمیم‌های فوری.

گزارش ماهانه مدیریتی

محتوا:

پیشرفت پروژه‌ها.

وضعیت بودجه.

شاخص‌های اصلی.

ریسک‌ها.

اقدامات اصلاحی.

گزارش فصلی عملکرد

محتوا:

تحقق اهداف دوره.

تغییر شاخص‌های عملیاتی.

نتایج اقتصادی اولیه.

عملکرد تأمین‌کنندگان.

تصمیم‌های مورد نیاز.

گزارش شش‌ماهه ارزیابی

محتوا:

اثربخشی برنامه‌ها.

تحلیل هزینه و منفعت.

میزان پذیرش فناوری.

کیفیت خدمات.

وضعیت پایداری.

گزارش سالانه جامع

محتوا:

عملکرد کل زیست‌بوم.

نتایج اقتصادی.

گزارش مالی.

ارزیابی حکمرانی.

ریسک‌ها و محدودیت‌ها.

نتایج ناخواسته.

درس‌آموخته‌ها.

برنامه اصلاح یا توسعه.

۱۱-۴۰. جایگاه ارزیاب مستقل

برای افزایش اعتبار نتایج، پیشنهاد می‌شود ارزیابی پروژه‌های مهم توسط فرد یا نهاد واجد شرایط و فاقد منفعت مستقیم در نتایج پروژه انجام شود.

معیارهای انتخاب ارزیاب

۱. تخصص در ارزیابی اقتصادی یا حوزه مربوط.

۲. آشنایی با روش‌های پژوهش و تحلیل داده.

۳. استقلال از مجری پروژه.

۴. نداشتن تعارض منافع مؤثر.

۵. توان بررسی مستندات.

۶. رعایت محرمانگی.

۷. توان ارائه گزارش روشن و قابل دفاع.

وظایف

بررسی روش ارزیابی.

اعتبارسنجی داده‌ها.

بررسی محاسبات.

ارزیابی محدودیت‌ها.

تحلیل نتایج.

ارائه پیشنهاد اصلاح یا توسعه.

اصل استقلال

مجری پروژه می‌تواند داده‌ها و گزارش عملکرد ارائه کند، اما نباید مرجع یگانه تأیید اثر اقتصادی پروژه خود باشد.

۱۱-۴۱. ارزیابی برنامه‌های ده‌گانه

در فصل هفتم، ده برنامه پیشران تعریف شد.

برای هر برنامه باید سؤال ارزیابی اصلی مشخص باشد.

برنامهسؤال محوری ارزیابی
رصدخانه اقتصاد صنفیآیا اطلاعات معتبر موجب تصمیم‌گیری بهتر شده‌اند؟
مرکز تحول دیجیتالآیا خدمات به بهبود واقعی عملکرد بنگاه‌ها کمک کرده‌اند؟
زنجیره تأمین B2Bآیا هزینه و زمان مبادلات کاهش یافته است؟
توسعه بازارآیا فروش سودآور و دسترسی مؤثر به مشتری افزایش یافته است؟
تأمین مالیآیا دسترسی مؤثر و اقتصادی به منابع مالی مجاز بهبود یافته است؟
آکادمی اصناف هوشمندآیا آموزش به تغییر مهارت و رفتار کاری منجر شده است؟
شبکه خدمات فناوریآیا انتخاب و دریافت راهکار مناسب آسان‌تر و اقتصادی‌تر شده است؟
شبکه نوآوریآیا مسائل واقعی به راهکارهای دارای مشتری و درآمد تبدیل شده‌اند؟
امنیت و تاب‌آوریآیا آمادگی بنگاه‌ها برای مدیریت ریسک افزایش یافته است؟
تحول خدمات اتحادیه‌هاآیا کیفیت، سرعت و هزینه ارائه خدمات بهبود یافته است؟

۱۱-۴۲. تصمیم‌گیری بر اساس نتایج ارزیابی

نظام پایش و ارزیابی باید مستقیماً به تصمیم‌های مدیریتی متصل باشد.

چهار نوع تصمیم اصلی پیش‌بینی می‌شود.

تصمیم اول: ادامه

در صورتی که پروژه مطابق اهداف مصوب پیشرفت کرده و ریسک غیرقابل قبول وجود نداشته باشد.

تصمیم دوم: اصلاح

در صورتی که پروژه دارای تقاضای واقعی و ظرفیت ارزش‌آفرینی باشد، اما در اجرا یا مدل اقتصادی ضعف قابل اصلاح داشته باشد.

تصمیم سوم: توسعه

در صورتی که پروژه ارزش اقتصادی، پایداری فنی، قابلیت تکرار و منابع لازم را احراز کرده باشد.

تصمیم چهارم: توقف

در صورتی که پروژه فاقد تقاضای واقعی، ارزش اقتصادی کافی، امکان تأمین مالی یا شرایط قانونی و امنیتی قابل قبول باشد.

اصل تصمیم

هیچ تصمیم توسعه‌ای نباید صرفاً بر اساس تعداد کاربران ثبت‌نام‌شده، جذابیت فناوری یا فشار زمانی اتخاذ شود.

۱۱-۴۳. ارتباط نظام ارزیابی با دروازه‌های تصمیم‌گیری

در فصل نهم، پنج دروازه تصمیم برای پایلوت تهران تعریف شد.

نظام ارزیابی باید اطلاعات لازم برای عبور از این دروازه‌ها را فراهم کند.

G0: تصویب آغاز برنامه

شواهد مورد نیاز:

مبنای حقوقی.

ساختار اجرایی.

منابع مالی.

برنامه عملیاتی.

نظام کنترل ریسک.

G1: تأیید شناخت اولیه

شواهد مورد نیاز:

کیفیت اطلاعات پایه.

مشارکت اتحادیه‌ها.

اعتبار مسائل شناسایی‌شده.

کفایت داده برای طراحی پروژه.

G2: تصویب پایلوت

شواهد مورد نیاز:

مسئله معتبر.

مدل اقتصادی.

طرح ارزیابی.

خط مبنا.

قرارداد.

منابع مالی.

کنترل امنیت و حقوق داده.

G3: ادامه یا اصلاح

شواهد مورد نیاز:

استفاده واقعی.

پیشرفت اجرایی.

هزینه‌های واقعی.

کیفیت خدمات.

نتایج اقتصادی اولیه.

ریسک‌های باقی‌مانده.

G4: توسعه

شواهد مورد نیاز:

ارزیابی اقتصادی.

پایداری مالی.

رضایت بهره‌برداران.

قابلیت تکرار.

کیفیت داده.

انطباق قانونی.

منابع مرحله توسعه.

۱۱-۴۴. نظام هدف‌گذاری شاخص‌ها

هدف‌گذاری باید بر اساس داده‌های واقعی و ظرفیت اجرایی انجام شود.

برای هر شاخص، چهار مقدار ثبت می‌شود.

۱. مقدار خط مبنا.

۲. مقدار هدف مصوب.

۳. مقدار عملکرد واقعی.

۴. میزان انحراف از هدف.

روش هدف‌گذاری

گام اول: اندازه‌گیری خط مبنا.

گام دوم: بررسی ظرفیت بهبود.

گام سوم: تحلیل منابع و زمان.

گام چهارم: بررسی تجربه‌های قابل مقایسه.

گام پنجم: تعیین هدف پیشنهادی.

گام ششم: تصویب هدف.

گام هفتم: پایش و بازنگری مستند.

اصل مهم

اهداف نباید به‌صورت دلخواه یا صرفاً برای نمایش رشد بالا تعیین شوند.

همچنین تغییر هدف در میانه اجرا، بدون ثبت علت و تأیید معتبر، می‌تواند اعتبار ارزیابی را کاهش دهد.

۱۱-۴۵. برنامه زمانی استقرار نظام پایش

ماه اول

تعیین مسئول پایش.

تدوین فهرست اولیه شاخص‌ها.

شناسایی منابع داده.

طراحی الگوی گزارش‌دهی.

ماه دوم

تکمیل شناسنامه شاخص‌ها.

طراحی ابزارهای گردآوری.

تعیین کنترل‌های کیفیت داده.

بررسی الزامات محرمانگی.

ماه سوم

آغاز ثبت خط مبنا.

آزمون روش‌های محاسبه.

اصلاح تعاریف شاخص.

تهیه نخستین گزارش تحلیلی مقدماتی.

ماه چهارم تا ششم

تکمیل خط مبنای پروژه‌های منتخب.

طراحی روش ارزیابی.

تعیین اهداف مصوب.

راه‌اندازی داشبورد اولیه.

ماه هفتم تا نهم

ثبت داده‌های پایلوت‌ها.

پایش عملکرد.

تهیه گزارش‌های ماهانه.

بررسی نتایج اولیه و اقدامات اصلاحی.

ماه دهم تا دوازدهم

ارزیابی نتایج.

تحلیل اقتصادی.

بررسی کیفیت داده‌ها.

تهیه گزارش نهایی.

ارائه پیشنهاد توسعه یا توقف.

دوره پس از سال نخست

در صورت تصویب ادامه برنامه، ارزیابی پایداری خدمات و برخی آثار بلندمدت باید مطابق برنامه دوره بعد انجام شود.

۱۱-۴۶. مسئولیت‌های نظام پایش و ارزیابی

نهاد راهبر

بررسی گزارش‌های عملکرد.

نظارت در حدود اختیارات قانونی.

تصمیم‌گیری درباره اصلاح یا توسعه در موارد دارای اختیار.

شورای راهبری پیشنهادی

بررسی شاخص‌های کلان.

ارائه نظر درباره نتایج.

پیشنهاد اقدامات اصلاحی.

مدیر اجرایی

اطمینان از استقرار نظام پایش.

پیگیری گزارش‌ها.

کنترل اقدامات اصلاحی.

ارائه گزارش عملکرد.

مدیر پروژه

ثبت داده‌های پروژه.

بررسی کیفیت اولیه اطلاعات.

ارائه گزارش پیشرفت.

پیگیری مشکلات.

مسئول داده و ارزیابی

مدیریت تعاریف شاخص.

کنترل کیفیت داده.

اجرای محاسبات.

تهیه گزارش تحلیلی.

مجری فناوری

ارائه اطلاعات عملکردی معتبر در حدود قرارداد.

پشتیبانی از صحت داده‌های سامانه.

همکاری در ارزیابی.

ارزیاب مستقل

بررسی روش‌شناسی.

اعتبارسنجی داده‌ها.

ارزیابی نتایج.

اعلام محدودیت‌ها و پیشنهادها.

۱۱-۴۷. نظام ممیزی داده و شاخص‌ها

برای افزایش قابلیت اعتماد، پیشنهاد می‌شود داده‌های مهم به‌صورت دوره‌ای مورد ممیزی قرار گیرند.

حوزه‌های ممیزی

۱. صحت محاسبات.

۲. انطباق فرمول با شناسنامه شاخص.

۳. کیفیت منبع داده.

۴. وجود رکوردهای تکراری.

۵. ثبت تغییرات.

۶. کنترل دسترسی.

۷. رعایت محرمانگی.

۸. انطباق دوره زمانی.

۹. کفایت نمونه.

۱۰. قابلیت بازیابی مستندات.

اصل ممیزی

نتیجه ممیزی باید در صورت وجود ضعف، به اقدام اصلاحی مشخص منجر شود.

۱۱-۴۸. انتشار عمومی نتایج

انتشار گزارش‌های عملکرد می‌تواند به افزایش شفافیت و اعتماد کمک کند.

بااین‌حال، انتشار باید متناسب با حقوق و محرمانگی اطلاعات انجام شود.

اطلاعات قابل بررسی برای انتشار عمومی

اهداف مصوب عمومی برنامه.

تعداد خدمات ارائه‌شده.

تعداد بنگاه‌های یکتای مشارکت‌کننده، در صورت مجازبودن انتشار تجمیعی.

گزارش‌های اقتصادی تجمیعی.

نتایج ارزیابی تأییدشده.

درس‌آموخته‌ها.

اقدامات اصلاحی عمومی.

اطلاعات نیازمند محدودیت

اطلاعات مالی اختصاصی بنگاه‌ها.

اطلاعات مشتریان.

قراردادهای محرمانه.

داده‌های تجاری حساس.

اطلاعات امنیتی.

داده‌های شناسایی شخصی خارج از حدود مجاز.

اصل گزارش‌دهی مسئولانه

در گزارش عمومی باید میان پیش‌بینی، نتیجه اولیه، نتیجه راستی‌آزمایی‌شده و اثر علّی برآوردشده تفکیک وجود داشته باشد.

۱۱-۴۹. ارزیابی اثرات نهادی و اجتماعی

زیست‌بوم علاوه بر نتایج مالی، ممکن است آثار نهادی و اجتماعی نیز داشته باشد.

نمونه‌ها:

افزایش توان مدیریتی اتحادیه‌ها.

بهبود همکاری میان نهادها.

افزایش دسترسی کسب‌وکارهای کوچک به خدمات.

کاهش هزینه هماهنگی.

افزایش اعتماد به خدمات فناورانه.

توسعه مهارت‌های نیروی انسانی.

ایجاد فرصت‌های همکاری اقتصادی.

روش سنجش

پیمایش.

مصاحبه تخصصی.

بررسی فرایندها.

تحلیل شبکه همکاری.

مقایسه عملکرد نهادی.

مطالعه موردی.

ملاحظه

در صورت نبود روش معتبر ارزش‌گذاری پولی، این آثار باید به‌صورت شاخص‌های غیرمالی یا گزارش تحلیلی ارائه شوند.

نباید برای افزایش ظاهری بازده اقتصادی، به همه منافع اجتماعی ارزش مالی فرضی و نامستند نسبت داده شود.

۱۱-۵۰. چارچوب ارزیابی ملی در افق ۱۴۰۶ تا ۱۴۱۰

برای دوره پنج‌ساله، سه مرحله اصلی ارزیابی پیشنهاد می‌شود.

مرحله نخست: ارزیابی پایلوت تهران

تمرکز بر:

اعتبار مدل اجرایی.

ارزش اقتصادی پروژه‌ها.

کیفیت حکمرانی.

پایداری خدمات.

قابلیت انتقال تجربه.

مرحله دوم: ارزیابی تکرارپذیری استانی

تمرکز بر:

امکان اجرای مدل در شرایط متفاوت.

هزینه انتقال.

کیفیت بومی‌سازی.

عملکرد شرکای محلی.

تفاوت نتایج میان استان‌ها.

مرحله سوم: ارزیابی شبکه ملی

تمرکز بر:

عملکرد خدمات مشترک.

میزان کاهش هزینه تکرار.

آثار اقتصادی تجمیعی معتبر.

عدالت دسترسی.

پایداری مالی.

کیفیت هماهنگی نهادی.

اصل تجمیع ملی

در گزارش ملی باید از جمع‌زدن منافع تکراری جلوگیری شود.

برای مثال، اگر کاهش هزینه یک بنگاه در گزارش پایلوت و گزارش برنامه استانی ثبت شده باشد، نباید هر دو مقدار به‌صورت مستقل در منافع کل کشور محاسبه شوند.

۱۱-۵۱. چارچوب امتیازدهی نهایی اثربخشی زیست‌بوم

برای جمع‌بندی نتایج، پیشنهاد می‌شود ارزیابی نهایی بر اساس پنج حوزه صورت گیرد.

حوزه اول: ارزش اقتصادی

آیا زیست‌بوم به کاهش هزینه، بهبود بهره‌وری یا توسعه درآمد سودآور کمک کرده است؟

حوزه دوم: کیفیت خدمات

آیا خدمات متناسب با نیاز، قابل اعتماد و دارای کیفیت قابل قبول بوده‌اند؟

حوزه سوم: حکمرانی و سلامت اجرایی

آیا تصمیم‌گیری، انتخاب مجریان، مصرف منابع و گزارش‌دهی شفاف و معتبر بوده است؟

حوزه چهارم: پایداری

آیا خدمات و منافع ایجادشده قابلیت ادامه دارند؟

حوزه پنجم: توسعه‌پذیری

آیا مدل می‌تواند با هزینه و ریسک قابل قبول در رسته‌ها و مناطق دیگر تکرار شود؟

اصل ارزیابی نهایی

برای صدور نظر درباره موفقیت کل زیست‌بوم، نباید صرفاً میانگین امتیاز چند شاخص محاسبه شود.

ارزیابی باید شامل تحلیل کیفی، کمی، اقتصادی، حقوقی و ریسک باشد.

۱۱-۵۲. خروجی‌های اصلی فصل یازدهم

برای عملیاتی‌شدن نظام پایش و ارزیابی، تهیه اسناد زیر ضروری است.

۱. سند نظام پایش و ارزیابی زیست‌بوم.

۲. چارچوب نظریه تغییر و زنجیره نتایج.

۳. فهرست شاخص‌های کلیدی.

۴. شناسنامه استاندارد هر شاخص.

۵. روش تعیین خط مبنا.

۶. برنامه جمع‌آوری داده.

۷. استاندارد کیفیت داده.

۸. روش‌های ارزیابی اقتصادی.

۹. چارچوب ارزیابی اثر.

۱۰. طرح ارزیابی پایلوت‌های منتخب.

۱۱. مدل محاسبه ارزش اقتصادی خالص.

۱۲. نظام طبقه‌بندی اعتبار شواهد.

۱۳. الگوی گزارش عملکرد ماهانه.

۱۴. الگوی گزارش ارزیابی فصلی.

۱۵. الگوی گزارش ارزیابی مستقل.

۱۶. داشبورد مدیریتی.

۱۷. نظام ممیزی داده و شاخص‌ها.

۱۸. چارچوب مدیریت نتایج ناخواسته.

۱۹. معیارهای تصمیم توسعه یا توقف.

۲۰. مدل ارزیابی توسعه ملی.

۱۱-۵۳. جمع‌بندی فصل یازدهم

موفقیت زیست‌بوم فناوری و نوآوری اصناف ایران، تنها با طراحی راهبرد، ایجاد زیرساخت یا اجرای پروژه‌های فناورانه محقق نمی‌شود.

این موفقیت زمانی قابل اثبات خواهد بود که بتوان نشان داد اقدامات انجام‌شده، تغییرات اقتصادی و عملیاتی واقعی و قابل اندازه‌گیری برای کسب‌وکارهای صنفی ایجاد کرده‌اند.

بر این اساس، در این فصل نظامی چندسطحی برای پایش و ارزیابی طراحی شد که عملکرد را در سطوح بنگاه، پروژه، برنامه پیشران، زیست‌بوم تهران و شبکه ملی بررسی می‌کند.

همچنین میان ورودی‌ها، فعالیت‌ها، خروجی‌ها، پیامدها و آثار بلندمدت تفکیک ایجاد شد تا تحقق فعالیت‌های اجرایی با موفقیت اقتصادی اشتباه گرفته نشود.

شاخص‌های پیشنهادی، حوزه‌های حکمرانی، مشارکت، پذیرش فناوری، بهره‌وری، توسعه بازار، زنجیره تأمین، آموزش، پایداری مالی، امنیت و توسعه ملی را پوشش می‌دهند.

بااین‌حال، تأکید شد که نظام مدیریت باید از تعداد محدودی شاخص محوری استفاده کند و سایر شاخص‌ها برای تحلیل تخصصی و پشتیبانی تصمیم‌ها به کار گرفته شوند.

یکی از نتایج مهم این فصل، ضرورت تفکیک تغییر مشاهده‌شده از اثر قابل انتساب به پروژه است.

برای مثال، افزایش فروش اسمی یک بنگاه در شرایط تورمی یا افزایش تعداد کاربران یک سامانه، به‌تنهایی نشانه موفقیت اقتصادی نیست.

به همین دلیل، استفاده از خط مبنای معتبر، روش‌های مقایسه مناسب، کنترل عوامل بیرونی و در صورت امکان ارزیابی اثر علّی پیشنهاد شد.

همچنین برای افزایش اعتبار گزارش‌ها، نتایج بر اساس کیفیت شواهد طبقه‌بندی شدند و نقش ارزیاب مستقل در پروژه‌های مهم مورد تأکید قرار گرفت.

از منظر مدیریت، نظام پایش باید اطلاعات مورد نیاز را برای تصمیم درباره ادامه، اصلاح، توسعه یا توقف پروژه‌ها فراهم کند.

از منظر توسعه ملی نیز کیفیت و قابلیت تکرار نتایج اهمیت بیشتری نسبت به افزایش صرف تعداد استان‌ها، اتحادیه‌ها یا کاربران خواهد داشت.

در نهایت، اصل بنیادین نظام ارزیابی زیست‌بوم چنین تعریف می‌شود:

«آنچه اندازه‌گیری می‌کنیم باید به تصمیم بهتر منجر شود، آنچه اجرا می‌کنیم باید ارزش واقعی ایجاد کند و آنچه توسعه می‌دهیم باید اثربخشی آن با شواهد معتبر اثبات شده باشد.»

بر این اساس، نظام پایش و ارزیابی نه یک فعالیت جانبی، بلکه یکی از ارکان اصلی حکمرانی، تأمین مالی، تصمیم‌گیری و توسعه زیست‌بوم فناوری و نوآوری اصناف ایران خواهد بود.

منابع و مستندات پایه فصل یازدهم

۱. OECD. Evaluation Criteria: Relevance, Coherence, Effectiveness, Efficiency, Impact and Sustainability.

https://www.oecd.org/en/topics/sub-issues/development-co-operation-evaluation-and-effectiveness/evaluation-criteria.html

۲. OECD (2021). Applying Evaluation Criteria Thoughtfully.

https://doi.org/10.1787/543e84ed-en

۳. World Bank – DIME Wiki. Difference-in-Differences.

https://dimewiki.worldbank.org/Difference-in-Differences

۴. OECD (2025). SME Digitalisation for Competitiveness: The 2025 OECD D4SME Survey.

https://doi.org/10.1787/197e3077-en

۵. NIST (2024). The NIST Cybersecurity Framework 2.0.

https://doi.org/10.6028/NIST.CSWP.29

۶. فصول اول تا دهم سند جامع توسعه زیست‌بوم فناوری و نوآوری اصناف ایران.

یادداشت روش‌شناختی: شاخص‌ها، وزن‌های پیشنهادی، آستانه‌ها، روش‌های ارزیابی و ساختار داشبورد این فصل، چارچوب پیشنهادی برای طراحی نظام سنجش عملکرد هستند. نهایی‌سازی آن‌ها باید پس از تعیین محدوده پروژه، خط مبنا، منابع داده، ظرفیت اجرایی و بررسی حقوقی انجام شود. مثال‌های عددی فصل فرضی هستند و نباید به‌عنوان نتیجه واقعی پایلوت تهران یا اثر اثبات‌شده برنامه گزارش شوند.

عبارت موردنظر را بنویسید؛ میان‌بر Ctrl+K.