fix: ensure worker node cannot be instantiaed without proper arguments
authorJérôme Benoit <jerome.benoit@sap.com>
Sat, 19 Aug 2023 12:46:17 +0000 (14:46 +0200)
committerJérôme Benoit <jerome.benoit@sap.com>
Sat, 19 Aug 2023 12:46:17 +0000 (14:46 +0200)
Signed-off-by: Jérôme Benoit <jerome.benoit@sap.com>
CHANGELOG.md
src/pools/abstract-pool.ts
src/pools/cluster/dynamic.ts
src/pools/cluster/fixed.ts
src/pools/thread/dynamic.ts
src/pools/thread/fixed.ts
src/pools/worker-node.ts
tests/pools/abstract/abstract-pool.test.js

index 3a5cac156d0b6d21aa8afa5465f87a3157db23d2..ccd7e49f4fdbccf0e0afaaab1bc16a24199425b5 100644 (file)
@@ -11,6 +11,7 @@ and this project adheres to [Semantic Versioning](https://semver.org/spec/v2.0.0
 
 - Ensure pool event `backPressure` is emitted.
 - Ensure pool event `full` is emitted only once.
+- Ensure worker node cannot be instantiated without proper arguments.
 
 ## [2.6.29] - 2023-08-18
 
index 670866069d97dfff46e817c29f54810370dec552..183344f84b42a2a55411788d1d414fb82383f9dc 100644 (file)
@@ -84,6 +84,11 @@ export abstract class AbstractPool<
   Response
   >
 
+  /**
+   * Dynamic pool maximum size property placeholder.
+   */
+  protected readonly max?: number
+
   /**
    * Whether the pool is starting or not.
    */
@@ -117,13 +122,6 @@ export abstract class AbstractPool<
     this.chooseWorkerNode = this.chooseWorkerNode.bind(this)
     this.executeTask = this.executeTask.bind(this)
     this.enqueueTask = this.enqueueTask.bind(this)
-    this.dequeueTask = this.dequeueTask.bind(this)
-    this.checkAndEmitTaskExecutionEvents =
-      this.checkAndEmitTaskExecutionEvents.bind(this)
-    this.checkAndEmitTaskQueuingEvents =
-      this.checkAndEmitTaskQueuingEvents.bind(this)
-    this.checkAndEmitDynamicWorkerCreationEvents =
-      this.checkAndEmitDynamicWorkerCreationEvents.bind(this)
 
     if (this.opts.enableEvents === true) {
       this.emitter = new PoolEmitter()
@@ -305,7 +303,7 @@ export abstract class AbstractPool<
       tasksQueueOptions.concurrency <= 0
     ) {
       throw new Error(
-        `Invalid worker tasks concurrency '${tasksQueueOptions.concurrency}' is a negative integer or zero`
+        `Invalid worker tasks concurrency: ${tasksQueueOptions.concurrency} is a negative integer or zero`
       )
     }
   }
@@ -517,12 +515,16 @@ export abstract class AbstractPool<
   /**
    * The pool minimum size.
    */
-  protected abstract get minSize (): number
+  protected get minSize (): number {
+    return this.numberOfWorkers
+  }
 
   /**
    * The pool maximum size.
    */
-  protected abstract get maxSize (): number
+  protected get maxSize (): number {
+    return this.max ?? this.numberOfWorkers
+  }
 
   /**
    * Checks if the worker id sent in the received message from a worker is valid.
index 75296f7a1a894d45b51b65727610f53f361d6fc9..b93d7e87c4290a21b8a9b8f7c2845647d05592da 100644 (file)
@@ -39,11 +39,6 @@ export class DynamicClusterPool<
     return PoolTypes.dynamic
   }
 
-  /** @inheritDoc */
-  protected get maxSize (): number {
-    return this.max
-  }
-
   /** @inheritDoc */
   protected get busy (): boolean {
     return this.full && this.internalBusy()
index 9022c7025961e9fc206358a48843c9fc5070b0be..c7c95c4b3dad537b39dfd44d37481178035fcb4c 100644 (file)
@@ -116,16 +116,6 @@ export class FixedClusterPool<
     return WorkerTypes.cluster
   }
 
-  /** @inheritDoc */
-  protected get minSize (): number {
-    return this.numberOfWorkers
-  }
-
-  /** @inheritDoc */
-  protected get maxSize (): number {
-    return this.numberOfWorkers
-  }
-
   /** @inheritDoc */
   protected get busy (): boolean {
     return this.internalBusy()
index 1d3f3f5d3c64d0d94a367c17f92a6df1d2b4d75f..a34f0c25f78b1da3a306c9c07edb5c5d43f0f21b 100644 (file)
@@ -39,11 +39,6 @@ export class DynamicThreadPool<
     return PoolTypes.dynamic
   }
 
-  /** @inheritDoc */
-  protected get maxSize (): number {
-    return this.max
-  }
-
   /** @inheritDoc */
   protected get busy (): boolean {
     return this.full && this.internalBusy()
index 8dd4e7e33e422b4467a76931b201c45c0ad80712..32107e48635314e25269cc37e2c0ad7fdd3fcd75 100644 (file)
@@ -128,16 +128,6 @@ export class FixedThreadPool<
     return WorkerTypes.thread
   }
 
-  /** @inheritDoc */
-  protected get minSize (): number {
-    return this.numberOfWorkers
-  }
-
-  /** @inheritDoc */
-  protected get maxSize (): number {
-    return this.numberOfWorkers
-  }
-
   /** @inheritDoc */
   protected get busy (): boolean {
     return this.internalBusy()
index 7667dd16a6b99c2994eaeda37866662b43f8d178..09e4a7b5cd8831360365a7a88e338e3b921eaf91 100644 (file)
@@ -40,6 +40,22 @@ implements IWorkerNode<Worker, Data> {
    * @param poolMaxSize - The pool maximum size.
    */
   constructor (worker: Worker, workerType: WorkerType, poolMaxSize: number) {
+    if (worker == null) {
+      throw new Error('Cannot construct a worker node without a worker')
+    }
+    if (workerType == null) {
+      throw new Error('Cannot construct a worker node without a worker type')
+    }
+    if (poolMaxSize == null) {
+      throw new Error(
+        'Cannot construct a worker node without a pool maximum size'
+      )
+    }
+    if (isNaN(poolMaxSize)) {
+      throw new Error(
+        'Cannot construct a worker node with a NaN pool maximum size'
+      )
+    }
     this.worker = worker
     this.info = this.initWorkerInfo(worker, workerType)
     if (workerType === WorkerTypes.thread) {
@@ -82,7 +98,7 @@ implements IWorkerNode<Worker, Data> {
 
   /** @inheritdoc */
   public hasBackPressure (): boolean {
-    return this.tasksQueueSize() >= this.tasksQueueBackPressureSize
+    return this.tasksQueue.size >= this.tasksQueueBackPressureSize
   }
 
   /** @inheritdoc */
index 0ecd39440efb43718400eeed0e3ef2b92e357736..4fd76d03585bd7f76966591ff0f54bfc2300594f 100644 (file)
@@ -242,7 +242,9 @@ describe('Abstract pool test suite', () => {
             workerChoiceStrategy: 'invalidStrategy'
           }
         )
-    ).toThrowError("Invalid worker choice strategy 'invalidStrategy'")
+    ).toThrowError(
+      new Error("Invalid worker choice strategy 'invalidStrategy'")
+    )
     expect(
       () =>
         new FixedThreadPool(
@@ -253,7 +255,9 @@ describe('Abstract pool test suite', () => {
           }
         )
     ).toThrowError(
-      'Invalid worker choice strategy options: must have a weight for each worker node'
+      new Error(
+        'Invalid worker choice strategy options: must have a weight for each worker node'
+      )
     )
     expect(
       () =>
@@ -265,7 +269,9 @@ describe('Abstract pool test suite', () => {
           }
         )
     ).toThrowError(
-      "Invalid worker choice strategy options: invalid measurement 'invalidMeasurement'"
+      new Error(
+        "Invalid worker choice strategy options: invalid measurement 'invalidMeasurement'"
+      )
     )
     expect(
       () =>
@@ -277,7 +283,11 @@ describe('Abstract pool test suite', () => {
             tasksQueueOptions: { concurrency: 0 }
           }
         )
-    ).toThrowError("Invalid worker tasks concurrency '0'")
+    ).toThrowError(
+      new TypeError(
+        'Invalid worker tasks concurrency: 0 is a negative integer or zero'
+      )
+    )
     expect(
       () =>
         new FixedThreadPool(
@@ -288,7 +298,9 @@ describe('Abstract pool test suite', () => {
             tasksQueueOptions: 'invalidTasksQueueOptions'
           }
         )
-    ).toThrowError('Invalid tasks queue options: must be a plain object')
+    ).toThrowError(
+      new TypeError('Invalid tasks queue options: must be a plain object')
+    )
     expect(
       () =>
         new FixedThreadPool(
@@ -299,7 +311,9 @@ describe('Abstract pool test suite', () => {
             tasksQueueOptions: { concurrency: 0.2 }
           }
         )
-    ).toThrowError('Invalid worker tasks concurrency: must be an integer')
+    ).toThrowError(
+      new TypeError('Invalid worker tasks concurrency: must be an integer')
+    )
   })
 
   it('Verify that pool worker choice strategy options can be set', async () => {
@@ -439,17 +453,23 @@ describe('Abstract pool test suite', () => {
     expect(() =>
       pool.setWorkerChoiceStrategyOptions('invalidWorkerChoiceStrategyOptions')
     ).toThrowError(
-      'Invalid worker choice strategy options: must be a plain object'
+      new TypeError(
+        'Invalid worker choice strategy options: must be a plain object'
+      )
     )
     expect(() =>
       pool.setWorkerChoiceStrategyOptions({ weights: {} })
     ).toThrowError(
-      'Invalid worker choice strategy options: must have a weight for each worker node'
+      new Error(
+        'Invalid worker choice strategy options: must have a weight for each worker node'
+      )
     )
     expect(() =>
       pool.setWorkerChoiceStrategyOptions({ measurement: 'invalidMeasurement' })
     ).toThrowError(
-      "Invalid worker choice strategy options: invalid measurement 'invalidMeasurement'"
+      new Error(
+        "Invalid worker choice strategy options: invalid measurement 'invalidMeasurement'"
+      )
     )
     await pool.destroy()
   })
@@ -484,12 +504,21 @@ describe('Abstract pool test suite', () => {
     expect(pool.opts.tasksQueueOptions).toStrictEqual({ concurrency: 2 })
     expect(() =>
       pool.setTasksQueueOptions('invalidTasksQueueOptions')
-    ).toThrowError('Invalid tasks queue options: must be a plain object')
+    ).toThrowError(
+      new TypeError('Invalid tasks queue options: must be a plain object')
+    )
     expect(() => pool.setTasksQueueOptions({ concurrency: 0 })).toThrowError(
-      "Invalid worker tasks concurrency '0'"
+      new Error(
+        'Invalid worker tasks concurrency: 0 is a negative integer or zero'
+      )
+    )
+    expect(() => pool.setTasksQueueOptions({ concurrency: -1 })).toThrowError(
+      new Error(
+        'Invalid worker tasks concurrency: -1 is a negative integer or zero'
+      )
     )
     expect(() => pool.setTasksQueueOptions({ concurrency: 0.2 })).toThrowError(
-      'Invalid worker tasks concurrency: must be an integer'
+      new TypeError('Invalid worker tasks concurrency: must be an integer')
     )
     await pool.destroy()
   })
@@ -870,6 +899,45 @@ describe('Abstract pool test suite', () => {
     await pool.destroy()
   })
 
+  it.skip("Verify that pool event emitter 'backPressure' event can register a callback", async () => {
+    const pool = new DynamicThreadPool(
+      Math.floor(numberOfWorkers / 2),
+      numberOfWorkers,
+      './tests/worker-files/thread/testWorker.js',
+      {
+        enableTasksQueue: true
+      }
+    )
+    const promises = new Set()
+    let poolBackPressure = 0
+    let poolInfo
+    pool.emitter.on(PoolEvents.backPressure, (info) => {
+      ++poolBackPressure
+      poolInfo = info
+    })
+    for (let i = 0; i < Math.pow(numberOfWorkers, 2); i++) {
+      promises.add(pool.execute())
+    }
+    await Promise.all(promises)
+    expect(poolBackPressure).toBe(1)
+    expect(poolInfo).toStrictEqual({
+      version,
+      type: PoolTypes.dynamic,
+      worker: WorkerTypes.thread,
+      ready: expect.any(Boolean),
+      strategy: WorkerChoiceStrategies.ROUND_ROBIN,
+      minSize: expect.any(Number),
+      maxSize: expect.any(Number),
+      workerNodes: expect.any(Number),
+      idleWorkerNodes: expect.any(Number),
+      busyWorkerNodes: expect.any(Number),
+      executedTasks: expect.any(Number),
+      executingTasks: expect.any(Number),
+      failedTasks: expect.any(Number)
+    })
+    await pool.destroy()
+  })
+
   it('Verify that listTaskFunctions() is working', async () => {
     const dynamicThreadPool = new DynamicThreadPool(
       Math.floor(numberOfWorkers / 2),