У flake8 есть ключ --diff, который говорит flake8 отфильтровать все ошибки, не относящиеся к строкам в diff, поданном на stdin. Это позволяет запускать на CI некоторые проверки только для измененного кода.

Например, вы внезапно решили, что надо бы аннотировать типы во всём проекте. Сесть и сделать всё везде и сразу времени нет, но что-то всё-таки нужно делать. Поэтому можно потребовать аннотации типов только для тех функций, которые были добавлены или изменены. А чтобы автоматизировать проверку этого правила, можно добавить flake8-annotations на CI. Вот пример для Gitlab CI:

  image: "python:3.7-slim"
  stage: test
  before_script:
    - pip install flake8 flake8-annotations
  script:
    - git diff $CI_MERGE_REQUEST_TARGET_BRANCH_SHA | flake8 --diff```

Если же нужно более универсальное решение, чтобы работало и локально, во [flakehell](https://github.com/life4/flakehell) есть [baseline](https://flakehell.readthedocs.io/commands/baseline.html). Baseline -- файлик, в который flakehell записывает все текущие ошибки в проекте и больше их не репортит. То есть, примерно то же самое, но чуть лучше.