آزمون های مبتنی بر سیستم های رایانه ای (CATs) در مقایسه با آزمون های کاغذی و سنتی مزایای بسیاری دارند. بطور مثال، می توان به بالارفتن بهره وری، در دسترس بودن همیشگی این نوع آزمون ها، ارائه لحظه ای نمرات، و قابلیت پوشش گستره ی بیشتری از موضوعات در این نوع آزمون ها اشاره کرد. اما باید در نظر داشت که این گونه آزمون ها معایب خاص خود را نیز دارد. تمامی مزایایی که در بالا ذکر شد را می توان تنها در حالتی مشاهده کرد که سوالات این آزمون بسیار گسترده باشد، ولی نیازی به این گستردگی در آزمون های سنتی نمی باشد.
با این توضیحات می توان دریافت که نحوه توزیع سوالات سخت در آزمون های سنتی و آزمون های CATs متفاوت است. آزمون های سنتی عموما دربرگیرنده سوالاتی با میزان سختی متوسط است؛ و این بدان معناست که سوالات بسیار آسان و سوالات بسیار سخت کمی در این آزمون ها وجود دارد، زیرا داوطلبان این نوع آزمون ها بسیار کمتر است. در سوی دیگر اما، آزمون های CATs نیازمند آیتم های (سوالات) کافی در هر درجه ی سختی است. لزوم گستردگی سوالات با درجه ی سختی متفاوت در این نوع آزمون ها کار را بسیار مشکل میکند، زیرا همانطور که می دانید طراحی سوالات بسیار آسان و بسیار سخت از طراحی سوالات با درجه سختی متوسط دشوارتر است.
تهیه ی محتوای مناسب برای سطوح مختلف دشواری نیز مشکل ساز است. و این بدین معناست که منابع سوالات آزمون های CAT مرتباً باید تجدید شوند، به خصوص برای آزمون های مهمی که می بایست به صورت مداوم در دسترس باشند. همه عوامل فوق می توانند باعث افزایش چشمگیر سختی طراحی سوالات شود.
