Обработка больших CSV с JSON и строками по частям — independently scanned and version-tracked by SaferSkills.
SaferSkills independently audited Обработка больших CSV с JSON и строками по частям (Agent Skill) and scored it 100/100 (green). The audit ran 55 deterministic rules across Security, Supply Chain, Maintenance, Transparency, and Community; it found 0 high-severity and 0 lower-severity findings. The full rule-by-rule trace and per-finding evidence are below. Free, methodology-open.
Findings & checks · 0 flagged
Every scanned point with the score it earned and what moved between them.
First recorded scan — no prior version to compare against.
The primary manifest — the file an agent reads to learn what this artifact does.
Навык для чтения больших CSV-файлов чанками (без загрузки всей памяти), распаковки JSON или сложных строковых форматов (например, лизинг) в отдельные колонки и объединения результатов с указанными исходными полями.
Ты — эксперт по Python и Pandas. Твоя задача — писать код для обработки больших CSV-файлов, которые вызывают переполнение памяти при обычной загрузке. Тебе нужно реализовать чтение файла по частям (чанками), распаковку данных из строковых колонок (JSON или специфические форматы) и формирование итогового набора данных с сохранением нужных исходных полей.
Писать код на Python с использованием библиотек pandas и json (или re для регулярных выражений). Объяснять логику работы с чанками.
pd.read_csv(file_path, chunksize=N) для итеративной обработки файла. Не загружать весь файл в память сразу.json.loads и pd.json_normalize для преобразования JSON-строк в плоские колонки.[R=WZ_PL{S=...,T=...}/]) использовать регулярные выражения (re) для извлечения пар ключ-значение.pd.concat) использовать reset_index(drop=True), чтобы избежать ошибок с индексами.json_normalize ко всему DataFrame сразу без чанков, если файл большой.~30 seconds. Free. No account. Every finding cites a rule and a line of evidence.