The Software Audit Guide

John W. Helgeson

Description

Audit – now there’s a word that can strike terror into your heart. Whether it’s the IRS looking over your shoulder or a quality tool utilized by your company, it requires accountability. A software audit monitors the development process and provides management with an independent view of the software development status. The purpose of this book is to remove the terror and error while improving the audit process.
Software is not produced on a production line; the only thing that is the same on all software projects is that there is input and output. Everything in the middle is customized for the project at hand. Thus, The Software Audit Guide does not contain a one-size-fits-all approach. It gives a choice of areas to audit and different questions that should be asked within these areas. This book provides a flexible, user-friendly checklist of more than 1,300 questions designed to stimulate creative thinking that will ultimately result in the best possible software audit.

Sujets

• Business
• Qualité, hygiène, sécurité, environnement
• Auditing
• Economie gestion
• risk management
• Economics

Informations

• Publié par: ASQ Quality Press
• Date de parution: 01 juin 2009
• Nombre de lectures: 0
• EAN13: 9780873890809
• Langue: English
• Poids de l'ouvrage: 1 Mo

Extrait

The Software Audit Guide

Also available from ASQ Quality Press:

The Certied Software Quality Engineer Handbook Linda Westfall

Fundamental Concepts for the Software Quality Engineer, Volume 2 Sue Carroll and Taz Daughtrey, editors

Safe and Sound Software: Creating an Efcient and Effective Quality System for Software Medical Device Organizations Thomas H. Faris

ISO 9001:2000: Achieving Compliance and Continuous Improvement in Software Development Companies Vivek (Vic) Nanda

The ASQ Auditing Handbook, Third Edition J.P. Russell, editing director

The Internal Auditing Pocket Guide: Preparing, Performing, Reporting and Follow-up, Second Edition J.P. Russell

Quality Audits for Improved Performance, Third Edition Dennis R. Arter

Root Cause Analysis: Simplied Tools and Techniques, Second Edition Bjørn Andersen and Tom Fagerhaug

The Certied Manager of Quality/Organizational Excellence Handbook: Third Edition Russell T. Westcott, editor

Six Sigma for the New Millennium: A CSSBB Guidebook, Second Edition Kim H. Pries

Process Improvement Using Six Sigma: A DMAIC Guide Rama Shankar

To request a complimentary catalog of ASQ Quality Press publications, call 8002481946, or visit our Web site at http://www.asq.org/qualitypress.

The Software Audit Guide

John W. Helgeson

ASQ Quality Press Milwaukee, Wisconsin

American Society for Quality, Quality Press, Milwaukee 53203 © 2010 American Society for Quality All rights reserved. Published 2009 Printed in the United States of America 13 12 11 10 09 5 4 3 2 1

Library of Congress CataloginginPublication Data Helgeson, John W.  The software audit guide / John W. Helgeson.  p. cm.  Includes bibliographical references and index.  ISBN 9780873897730 (hardcover : alk. paper)  1. Computer software—Validation. 2. Computer software—Verification.  QA76.76.V47H45 2009  005.14—dc22  2009023947

ISBN13: 978–0873897730

I. Title.

No part of this book may be reproduced in any form or by any means, electronic, mechanical, photocopying, recording, or otherwise, without the prior written permission of the publisher.

Publisher: William A. Tony Acquisitions Editor: Matt Meinholz Project Editor: Paul O’Mara Production Administrator: Randall Benson

ASQ Mission: The American Society for Quality advances individual, organizational, and community excellence worldwide through learning, quality improvement, and knowledge exchange.

Attention Bookstores, Wholesalers, Schools, and Corporations: ASQ Quality Press books, videotapes, audiotapes, and software are available at quantity discounts with bulk purchases for business, educational, or instructional use. For information, please contact ASQ Quality Press at 800–248–1946, or write to ASQ Quality Press, P.O. Box 3005, Milwaukee, WI 53201–3005.

To place orders or to request a free copy of the ASQ Quality Press Publications Catalog, including ASQ membership information, call 800–248–1946. Visit our Web site at www.asq.org or http://www.asq.org/qualitypress

Printed on acidfree paper

To my wonderful wife, Jeanne, for her love and patience.

Contents

Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv Acknowledgments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xix Part I Audit Fundamentals. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 Chapter 1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1 Definitions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.2 Process and Quality. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.3 Quality. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.4 Auditor’s Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.5 Types of Audits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.6 Standards10. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.7 Capability Maturity Model Integration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.8 Hierarchy of Standards and Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.9 Quality Record . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.10 Timeline and Name Game . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.11 General Audit Process. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.11.1 Purpose and Scope . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.11.2 Contact and Document Requests. . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.11.3 Review the Documents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.11.4 Announcement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.11.5 Writing the Checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.11.6 Opening Meeting. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.11.7 The Audit17. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.11.8 Closing Meeting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.11.9 Writing the Report. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.11.10 Present the Report to the Client. . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.11.11 Review the Corrective Actions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.11.12 Auditing Corrective Actions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.12 How to Use the Questions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.13 Examples. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

vii

viii

Contents

Chapter 2 Software Audit Life Cycle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.1 Software Development Life Cycles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.1.1 The Waterfall Model. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.1.2 The Spiral Model. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.1.3 The Incremental Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.1.4 Prototyping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.1.5 The ObjectOriented Programming System (OOPS) . . . . . . . . . . . . 28 2.1.6 Blending of Models (or Hybrid). . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.1.7 Cleanroom . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.1.8 Rapid Application Development . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.1.9 Agile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.1.10 Extreme Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.2 How Audits Fit into the Life Cycle. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.2.1 Proof of Concept (or Demo). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.2.2 Idea/Functional Specification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 2.2.3 Analysis/Planning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2.2.4 Software Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 2.2.5 Coding (and Unit Testing)46. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.6 Test (System Integration) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 2.2.7 Maintenance (Production and Deployment). . . . . . . . . . . . . . . . . . . 51 Part II Audit Activities. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 Chapter 3 The Audit’s Purpose and Scope . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3.1 Purpose. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3.2 Scope63. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3 Management’s Part in an Audit64. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4 Preparing for the Audit. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Chapter 4 Opening Meeting. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 4.1 The Meeting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 4.1.1 Introductions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 4.1.2 Present the Purpose and Scope of the Audit. . . . . . . . . . . . . . . . . . . 68 4.1.3 Review Previous Audits68. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1.4 Explain the Quality Audit. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 4.1.5 Explain How the Audit Will Work . . . . . . . . . . . . . . . . . . . . . . . . . . 69 4.1.6 Daily Meetings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 4.1.7 Questions and Answers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.2 An Escort . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.3 Work Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.4 A Brief Tour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.5 Meeting the People . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 4.6 Informal Overview Presentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 4.7 Explain the Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Chapter 5 Conducting the Audit. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 5.1 Roles of the Auditors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 5.1.1 Lead Auditor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 5.1.2 Auditor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

Contents

5.2 The Audit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 5.3 Work Sheet/Checklist. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 5.4 Findings Form79. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Chapter 6 Meetings and Final Report. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 6.1 Caucus Meeting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 6.2 Closing (Exiting) Meeting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 6.3 Final Report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 6.3.1 Executive Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 6.3.2 Identify Documents Reviewed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 6.3.3 Preparation Dates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 6.3.4 Specify the Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 6.3.5 Software Risk Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 6.3.6 Description of Areas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 6.4 Writing the Report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 6.5 Detail Finding Pages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 6.6 Presenting the Report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 6.7 Corrective Action Requests. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 Chapter 7 Audit Followup and Closure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 7.1 Immediate Actions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 7.2 Temporary Actions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 7.3 Permanent Actions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 7.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 Part III Audit Constants. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 Chapter 8 “Project” Management99. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.1 Upper and Middle Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 8.2 Accounting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 8.3 Project Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 Chapter 9 Schedule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 9.1 Types of Project Management Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 9.2 Simple Charts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 9.3 Interdependencies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 9.4 Partially Completed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 9.5 Baselines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 9.6 Critical Path . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 9.7 More Schedule Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 Chapter 10 Project Status Reports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 Chapter 11 Configuration Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 11.1 Document Control123. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Baselining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 11.3 Software Configuration Control. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 11.4 Incident Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 11.5 Incident Report and Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 11.6 Software Meeting or Board133. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.7 Backups and Recovery. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

ix